研究人员研发AI框架，可预测物体运动

最近的人工智能研究指出了触觉和视觉之间的协同效应。其中一个可以测量三维表面和惯性特性，而另一个则提供了物体投影外观的整体视图。

在这项工作的基础上，三星、麦吉尔大学和约克大学的研究人员调查了人工智能系统是否可以通过对物体初始状态的视觉和触觉测量来预测物体的运动。

研究人员在一篇论文中描述表示：“之前的研究已经表明，预测运动中的物体的轨迹是具有挑战性的，因为在相互作用的表面上存在未知的摩擦和几何特性，以及不确定的压力分布。”“为了减轻这些困难，我们专注于学习一种经过训练的预测工具，它可以捕捉运动轨迹中信息最丰富、最稳定的元素。”

具体来说，研究人员开发了一种可以穿透皮肤的传感器，他们声称这种传感器可以在捕捉图像的同时提供详细的触觉测量。

除此之外，他们还创建了一个名为“生成式多模态感知（Generative Multimodal Perception）”的框架，该框架利用视觉和触觉数据来学习对物体姿态、形状和力的信息，从而进行编码，并对物体运动做出预测。

为了预测物体在物理交互过程中的静止状态，他们使用了所谓的静止状态预测，以及动态场景中的视觉触觉运动数据集，包括物体在平面上自由落体，沿斜面上滑下，以及从他们的静止状态收到干扰。

在实验中，研究人员说，他们的方法能够预测物体静止状态下的原始视觉和触觉测量值，而且准确度很高，预测结果与事实非常吻合。

此外，研究人员声称框架学习了视觉、触觉和3D姿势模式之间的映射，以便它可以处理缺失的模式，例如当触觉信息在输入中不可用时，以及预测对象脱离传感器表面的情况时，导致空的输出图像。

研究称，在物理场景中预测对象运动受益于利用两种形式：视觉信息捕获对象属性，如3D形状和位置，而触觉信息提供了相互作用力和由此产生的对象运动和接触的关键线索。新的AI框架则，可根据图像和触觉数据预测物体运动，这将可以更好帮助人类做出预测。
责编AJX