Genie 4公布:实时交互世界加入原生声音
在生成的世界里走动、转动镜头,再用文字改变天气或加入人物,场景会继续演化,也会发出声音。Google DeepMind于10月27日公布的Genie 4,展示的就是这种实时交互模拟。
这次值得关注的是原生音频:环境声、音乐和角色的互动对白,可以与世界一起生成。画面中的人也被作为模拟的一部分,会移动、回应周围环境。操作者用键盘导航和控制镜头,同时用文字调整正在发展的场景。
它还结合了Gemini家族的能力。按官方介绍,Gemini Omni帮助模拟贴近现实的外观与行为,其他Gemini模型参与推理,帮助保持场景的连贯性。团队也在探索把这种世界用于机器人和智能体的训练环境;这些仍是研究方向,不能据此认为它已能准确复现任意真实场所。
Genie 4已经向一部分受信任测试者提供研究预览。面向Google AI Ultra订阅者的Project Genie,以及Gemini API和Google AI Studio的早期合作伙伴,目前仍列为后续开放安排。
连续性也是目前要留意的地方。模型页给出的连续交互范围是“几分钟”,没有承诺长时间运行;模拟变长、经过多次复杂修改或在场景里移动时,细节和物体持续性可能漂移。实时音频的准确性、可读文字、复杂交互和空间准确性也仍在研究中。