基于人工智能视觉问答技术的人机协作数字孪生模型仿真方案

作为实现智能制造、工业4.0、工业互联网和智能城市的一种技术和手段，数字孪生（Digital twin）正迅速引起学术界和工业界的关注并被逐渐应用。数字孪生是以数字化的方式建立多空间尺度、多时间尺度、多物理实体的多维动态虚拟模型来仿真真实环境中的属性、行为和性能等。目前，基础的数字孪生模型通常为最初定义的三维模型，即物理实体、虚拟实体以及它们之间的联系。随着物联网、大数据、人工智能等新信息技术的发展，数字孪生在向着基于物联网的集成、虚拟实体与实体的互联等方向发展。通过大数据分析方法和人工智能的深入结合，融合多源异构数据，支持虚拟数据与真实数据的连接，数字孪生模型可以提供智能决策。这一进展为实时仿真和优化创造了可能，从而提供了按需智能服务。

本研究旨在结合人工智能中的视觉问答技术，将数字孪生模型应用于人机协作任务上。如图1所示，用于人机协作的数字孪生模型由五部分组成：物理系统、虚拟系统、服务系统、数据库和各部分间的交互。物理系统中包括每个物理实体，人类和机器是重要的组成部分，此外，还考虑了加工的产品、加工设备、周围环境信息等。速度、能量、温度、湿度、压力等数据可直接由传感器从材料、设备和环境中采集，人类的行为、状态、意图则以摄像、语音或计算及外部输入设备等方式进行获取。上述数字信息共同构成了人机协作的数字孪生模型中的虚拟系统。然后，在服务系统中，应用人工智能技术，对系统中的视觉信息、自然语言信息和传感器信息进行综合分析、建模、表征和预测，其结果进一步补充至虚拟系统。最后，虚拟系统对现实世界中的人类、机器进行反馈，从而形成完整的数字孪生闭环系统。

图1  数字孪生五维模型示意图

结合视觉问答技术，现实的物理世界在虚拟系统中进行演化，其演化结果进一步反馈并影响现实世界，过程如图2所示。举例来说，如果采用新的策略对生产线进行改造，则可以首先在数字孪生系统中对生产过程进行仿真。用数字孪生模型模拟人类、机器及其相互作用。例如，如果将产品的尺寸改为较小的尺寸，则可能会调整相机的位置、传感器参数以获得清晰的图像和数据。同时，模型的结构和参数也可能需要调整。如果在数字孪生模型中新的策略得到成功的测试，那么就可以在实际的生产环境中进行部署。

图2 人机协作（HMC）流程示意图