胶囊机器人是如何完成深度学习与算法训练的？

一颗胶囊大小的胃肠道内窥镜机器人，被服下后，通过体外磁控的方式实现在消化道中的运动，途经食道、胃部、肠部，最后被人体排出。这个过程中，电脑可以同步显示胃肠道的相关检测数据，从而让医生有依据地完成诊断。  

（图片来源：2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)）

听起来好像很简单，而实际上胶囊机器人在投入使用前，必须先经过深度学习和训练。就像游戏玩家出发去升级打怪需要游戏装备和地图一样，胶囊机器人需要通过深度学习技术改善密集地形重建和姿态估计算法，以及通过SLAM（ Simultaneous Localization and Mapping）同步定位与地图构建的机器视觉技术实现检测、识别能力。

通俗一点讲，机器人不是人，它的视觉和决策能力，都需要研制者通过一些方法赋予给它。通过深度学习获得的能力相当于胶囊机器人的大脑，而通过SLAM机器视觉获得的就相当于胶囊机器人的“火眼金睛”。

2000年，以色列研制的第一个胶囊内镜获得FDA批准进入临床，当时的胶囊机器人是随消化道的自然蠕动而前进的，由于没有经过深度学习训练，也没有SLAM技术的加持，有点像盲人摸象，对于像胃这样大的消化道器官，其观察范围十分有限，因此会造成相当大的漏检。

土耳其伊斯坦布尔的Bogazici大学的生物医学工程专业，有一个专业的生物医学实验室，其研究领域包括生物医学仪器、生物电子学、生物力学、神经信号分析、生物光子学、医学成像、细胞成像和电生理学、机器人技术、医疗设备设计和测试，以及心理物理学等。

2020年，该实验室的Mehmet Turan博士，通过TUBI TAK2232国际杰出研究人员研究金方案获得了资金支持，开展了一项名为“磁性驱动的Al-Powered内窥镜胶囊机器人用于靶向药物传递和多活检操作”的研究项目。该项目旨在利用人工智能的最新进展，在无线胶囊内窥镜（WCE）机器人的机电一体化设计、远程磁控以及定位和映射算法方面进行重大的科技创新。

在该项目中，研究人员基于1个胶囊内镜图像的基础SLAM数据集，1只Panda机械臂，1台EinScan Pro 2X（先临三维品牌的3D扫描仪），2个具有不同相机特性的商用胶囊机器人，对体外猪胃肠道的数据进行了采集，并完成了算法测试和胶囊机器人的深度学习与训练。

研究人员把器官固定在六个支架上，创造出L形、Z形和O形三种胃肠道形态，以模拟通过升结肠到横结肠的GI-牵引路径。EinScan Pro 2X的功能就是3D扫描获取这六个器官形态的点云数据。所收集的数据结果，需要满足两点：使SLAM数据集适合于迁移学习；此外，还可以对同一器官类型的具有不同纹理细节的组织进行算法性能测试。

由于被扫描的物体本身明暗多变，柔软易变形，一开始并不顺利。先临三维的技术人员在了解项目情况后，为研究人员及时提供了3D扫描仪的操作指导，包括如何通过亮度调整应对明暗变化，如何使用标志点辅助数据高精度拼接，选择哪一种无毒无害的医用显影剂可以帮助进一步改善数据细节，以及面对不同的情况如何选择合适的扫描模式。

最终，我们很高兴地看到，研究人员如愿以偿获取到了六组高精细的3D数据，如实记录了器官所有结构、角落和深度。

然后，原始点云数据被进一步编辑，得到了色谱图。

这些数据都被用于胶囊机器人的深度学习和算法训练。Bogazici大学的研究人员使用胶囊内镜图像的基础SLAM数据集作为输入，然后利用此次3D扫描获取的三维模型在SLAM数据集中确定定位。

研究组的Mehmet Turan博士说：“在以前的一个研究项目中，我使用过另一个品牌的3D扫描仪。那款3D扫描仪也很好，但是与EinScan Pro 2X相比，在分辨率和点精度上存在技术差异。点精度是我们此次项目实现深度学习过程的最重要因素之一，这就是为什么团队最终决定依靠EinScan Pro 2X的能力来完成这个项目的原因。”