索尼新专利曝光:AI可在GPU渲染完成前预测下一帧画面,减少游戏卡顿
IT之家10月18日消息,据科技媒体TechSpot今天报道,索尼最近申请一项专利,描绘以下场景:让AI在GPU完成渲染前预测下一帧画面,减少游戏画面卡顿,同时避免帧生成技术带来的额外延迟。
IT之家从原报道获悉,这项技术能够解决帧生成的缺点,让显示画面不再等待两帧画面完成渲染,才能生成插入其中的中间帧。 而是直接利用已经生成的画面预测下一帧 , 无需等待两帧画面就能插值 ,帮助游戏维持更稳定的帧输出节奏。
同时,索尼使用了联合训练的编解码器,将渲染完成的画面转换为嵌入表示,对图像进行紧凑的数值化表达,让解码器利用这些提示生成预测帧。游戏运行时, 该系统会与图形渲染管线并行工作 。硬件渲染下一帧时,AI会处理上一帧,并将预测结果发送至显示缓冲区。 因此在下一帧完成渲染之前 , 预测画面就有可能先行显示 。
此外,该系统还可利用运动矢量和玩家近期的手柄操作。使玩家操作角色的历史,成为下一帧动作预测的根基。该系统训练过程使用连续的视频帧。神经网络最初采用随机初始化的权重,以一帧画面作为输入,并尝试预测下一帧。随后,系统会将预测结果与实际的后续画面进行比较,并计算一个用于衡量预测误差的损失值。
不过这项技术能否发挥实际作用,取决于AI能否迅速地生成准确画面,从而在渲染速度下降时填补帧输出间隙。
转载说明引用来源:IT之家引用网址:https://www.ithome.com/1/014/615.htm