一文解析眼动追踪中的坐标+追踪原理

目前的追踪方案都是基于CV的，使用红外灯光打亮眼底，使用高帧率的相机来捕获光源在角膜上面的位置。其实这个不难，难点在多个坐标之间的转换，因为有些是固定的，有些是不固定的，这就需要各种转换了，这个也是我们的眼动中最重要也是最需要研究的东西。

所有注视数据都映射到与活动显示区域对齐的 2D 坐标系中。将眼动仪与监视器一起使用时，活动显示区域是不包括监视器框架的显示区域。对于在没有显示器的情况下使用的眼动仪，活动显示区域是在对用户眼睛进行眼动仪校准时用于显示校准点的区域。 活动显示坐标系的原点是活动显示区域的左上角。点 (0, 0) 表示左上角， (1, 1) 表示右下角。
 

主动显示坐标系 (ADCS)

大多数描述 3D 空间坐标的数据，来自 Tobii 的基于屏幕的眼动仪，都在所谓的用户坐标系或简称 UCS 中给出。UCS 是一个基于毫米的系统，其原点位于眼动仪正面的中心。 坐标轴的方向如下：x 轴水平指向用户的右侧，y 轴垂直指向用户的上方，z 轴指向用户，垂直于眼动仪的前表面。
 

用户坐标系 (UCS)

跟踪框是眼动仪理论上能够跟踪眼睛的体积。因此，用户可以自由移动头部，并且只要眼睛保持在框内，就仍然可以跟踪。在 SDK 中，有一些方法可以找出轨道盒体积的大小和位置，以及眼睛在其中的位置。用于描述眼睛在轨迹框内的位置的坐标系称为轨迹框坐标系（TBCS）。

TBCS 是一个归一化坐标系，在这种情况下，这意味着 trackbox 的对角坐标为 0,0,0（最靠近眼动仪的右上角）和 1,1,1（左下角） ，最远，角）分别。 坐标轴的方向如下：x 轴水平指向用户左侧，y 轴垂直指向用户下方，z 轴指向用户。
 

轨道盒坐标系 (TBCS)

使用眼动仪时，最感兴趣的通常是注视，即一个人在看什么。但是，一个人不会将事物视为空间中的一个点，而是将其视为向量方向内的所有事物，该向量从被跟踪的人的眼睛开始，并在它碰到不透明的物体时结束。我们称之为凝视向量。（这是一种简化，因为它假设你只能看到中央凹中心记录的内容。）

视线来源

为左眼和右眼分别提供注视原点，并描述注视矢量开始的位置。三个浮点值分别用于描述 x、y 和 z 坐标。对于基于屏幕的眼动仪，位置总是在用户坐标系中描述，有时在跟踪框坐标系中。

凝视点

注视点是为左眼和右眼分别提供的，它描述了活动显示区域平面与源自与注视矢量方向相同的注视原点的线之间的交点位置。注视点的坐标在用户坐标系中作为 3D 点给出，在活动显示坐标系中作为归一化的 2D 点给出。

凝视矢量

对于基于 HMD 的眼动仪，没有活动显示区域，因此无法计算注视点（如上所述）。相反，注视由（标准化）注视向量描述。分别为左眼和右眼提供注视矢量。注视向量源自注视原点，在HMD 坐标系中进行了描述。

这里需要写一下中HMD的眼动仪，我去找图哈~

这个就是所谓的HMD眼动仪

HMD 坐标系是一个基于毫米的系统，其原点位于 HMD 设备的镜头之间的一点，与每个镜头中心的距离相等。

坐标轴方向如下：从佩戴者的角度看，x 轴水平指向左侧，y 轴垂直向上指向，z 轴指向（向前）远离 HMD，垂直到 HMD 跟踪器的镜头。

追踪区域和前面的眼动有些不一样

HMD Tracking Area 是一个标准化的二维坐标系，其原点 (0, 0) 在右上角（从佩戴者的角度来看），而 (1, 1) 在左下角。每只眼睛应位于跟踪区域的中间，坐标为 (0.5, 0.5)。  

瞳孔大小定义为瞳孔的实际内部物理大小，而不是从外部看眼睛时看起来的大小。记住这一点很重要，因为如果你从外部看到相同的内部瞳孔大小可能会有所不同，具体取决于你从哪个角度看眼睛。这是因为眼睛的前部基本上是一个透镜，通过它你可以看到瞳孔。根据你通过镜头观察的角度，瞳孔或多或少会出现扭曲。

然而，在大多数科学研究中，瞳孔的实际大小不如其随时间变化的大小重要。在眼动追踪会话期间记录瞳孔大小的变化。瞳孔直径数据分别为左眼和右眼提供，是对瞳孔大小的估计，以毫米为单位。   眼睛张开度定义为上下眼睑之间可以安装的最大球体的直径（以毫米为单位）。上下眼睑由巩膜和睫毛/眼睑结构之间的对比线定义。  

大眼睛

这里再补一个眼动仪器的原理：

瞳孔中心角膜反射 (PCCR)。基本概念是使用光源照亮眼睛，引起高度可见的反射，并使用相机捕捉显示这些反射的眼睛图像。然后使用相机捕获的图像来识别光源在角膜（闪光）和瞳孔中的反射。然后可以计算由角膜和瞳孔反射之间的角度形成的向量——这个向量的方向，结合反射的其他几何特征，然后用于计算注视方向。  

近红外照明用于在对象眼睛的角膜和瞳孔上创建反射图案，并且图像传感器用于捕获眼睛的图像和反射图案。然后使用图像处理算法和眼睛的生理 3D 模型以高精度估计眼睛在空间中的位置和注视点。  
 

结合上面的一些坐标空间的概念就可以看到这个东西的意思啦
 

我之前写过一个pupill的眼动仪，这个是单眼追踪的方案

（A）当以球形坐标表示地面真实注视方向dgt时，可以将其可视化为球体上的一个点（参见上下面板中的蓝色圆盘；两个面板都显示相同的球体部分，尽管从不同的角度）。将瞳孔不可见注视估计管道应用于相应的并发左眼和右眼图像对，导致注视估计d dev，它们分布在地面真实值（上下面板中的红色圆盘）周围。

（B） 正交投影到局部切线平面中，有效地展平了球体的曲率。因此，凝视估计值可以被视为 2D 平面中的点（白色圆盘）。因此，它们会产生点的2D分布，这可以通过2D高斯（密度显示为热图）来解释。

打完收工！

审核编辑：刘清