如何利用AI追踪或研究大型的小动物群落

研究动物有多种原因，无论是为了医学研究还是为了更深入地了解它们的行为。特别是斑马鱼，它们不仅可用性高，且与人类共有70%的基因，并且具有与我们相似的基因结构而被普遍研究。已知与人类疾病相关的基因中，有84%都在斑马鱼中有对应基因。   但是我们该如何追踪或研究大型的小动物群落呢？idtracker.ai是一个旨在识别和追踪群体中每个个体的位置，而不需考虑动物的种类或大小的工具。          

基于idtracker.ai的机器视觉

idtracker.ai是由葡萄牙里斯本Champalimaud研究所集体行为实验室的团队创建的，它是一个旨在识别和追踪集体中每个个体的位置，而不管动物的种类或大小的工具。在这种情况下，idtracker.ai可以追踪多达100条幼年斑马鱼的大型群落，准确率高达99.9%。该系统还可以跟踪单个个体。为此，该系统使用两个深度网络。一个用来检测动物何时接触或交叉，另一个用来识别每个个体。

系统装配

该系统由一个直径70厘米的定制水箱和一个水循环系统组成。水箱被放置在一个盒子里，盒子由白色哑光的亚克力墙和一个门组成，方便进出。

采用28毫米蔡司Distagon镜头的虹科EVT单色HT-20000相机位于水箱表面上方70厘米处。HT-20000是一款2000万像素的相机，采用AMS的CMV20000 CMOS传感器。其高速RJ45 10GBaseT接口为许多应用和100米长的电缆提供了经济高效的解决方案。

红外和RBG LED条带和位于相机周围的圆柱形可伸缩光漫射器提供均匀照明。使用运行64位Windows 10和NorPix StreamPix软件的RAID 2TB台式计算机录制视频。

个体的识别和检测

idtracker.ai使用两个深度卷积神经网络（CNN）。一个用于检测动物何时接触或穿越（深度穿越探测器），另一个用于识别动物（识别网络）。   系统通过在每秒25到50帧的范围内采集图像数据来启动该进程。这使得系统能够收集属于同一个体的图像，并将其组织成图像碎片，以便准确追踪和识别，而不会使系统过载，产生冗余的图像数据。
从视频中提取代表单个或多个接触动物的图像。每个图像被标记为单个个体或交叉点。表示相同个体（或交叉）的视频的后续帧中的图像组分别被命名为个体和交叉的片段。idtracker.ai依靠个体的视觉特征来跟踪个体。   单个片段集合的子集，其中所有个体在视频的同一部分中可见，然后用于生成带有相应标识的单个图像的数据集。然后利用这个数据集训练第二个CNN根据图像的身份（识别网络）对图像进行分类。

从标记图像的第一个数据集获得的信息将允许准确地分配单个片段的整个集合，或者通过在整个视频中合并安全地识别的单个片段来增加第一个数据集。最后，通过一系列的后处理例程来纠正微小的识别错误，并在最后一个计算核中推断交叉片段的身份。          

10 GigE HT-20000高速相机

HT-20000相机采用CMV20000 CMOS传感器，成像区尺寸达35mm。在最大分辨率(5120×3840)下，每秒可以采集32帧图像。其采用10GBase-T接口，小尺寸，通过CAT6A线缆连接，这款相机与GigE相机相似，但速度却是GigE相机的10倍。使用CAT6A线缆，可以满足1米-100米的连接长度。HT-20000提供小于1μs精度多相机同步技术，低CPU开销，具有出色的性价比。

责任编辑：haq