从”被动感知”到”理解接触”，它石智航联合六大机构发布OmniVTA视触觉世界模型

OmniVTA 视触觉世界模型：让 AI “触摸”真实世界

它石智航（Omnivision）联合清华大学、浙江大学、上海交通大学、中国科学技术大学、香港科技大学、新加坡国立大学六大机构，正式发布 OmniVTA（Omni-Modal Vision-Touch Assistant）视触觉世界模型。这是全球首个将视觉与触觉深度融合的多模态大模型，标志着 AI 从”被动感知”迈向”理解接触”的关键跨越。

技术突破：视觉+触觉的协同学习

传统大模型主要依赖视觉信息（图像、视频），而 OmniVTA 创新性地引入触觉数据，构建了全新的多模态学习框架。模型通过以下技术突破实现质的飞跃：

• 跨模态对齐：首次实现视觉-触觉特征的空间-语义双重对齐；
• 跨模态生成：支持ONLY视觉输入生成触觉预测，或ONLY触觉输入生成视觉图像；
• 物理一致性约束：引入物理引擎先验知识，确保生成数据符合真实物理规律。

应用前景：机器人、元宇宙、虚拟现实

OmniVTA 的应用场景广泛，主要包括服务机器人、远程手术、元宇宙/虚拟现实、智能零售。

📰 来源：量子位 | 作者：量子位的朋友们

🔗 原文链接：https://www.qbitai.com/2026/03/392105.html

游侠云AI普通

收藏 链接