人工智能如何通过眼球运动测量语言能力

这项研究跟踪眼球运动，以确定人们对英语作为第二外语的理解程度

麻省理工学院研究人员的一项研究发现了一种判断人们学习英语水平的新方法：跟踪他们的眼球运动。

没错。研究小组通过人工智能技术，利用安装在读者眼睛上的摄像机生成的数据发现，眼球的运动模式——特别是人们眼睛停留在某些单词上的时间——与作为第二语言的英语标准化测试的表现密切相关。

麻省理工学院脑与认知科学系（BCS）的博士后、概述这项研究的一篇新论文的合著者叶夫格尼•贝尔扎克说：“在很大程度上（眼球运动）捕捉到了语言能力，因为我们可以根据标准化测试的基准来衡量它。”他补充道：“在阅读过程中，眼球运动的信号非常丰富，信息也非常丰富。”

事实上，研究人员甚至认为这种新方法作为一种测试工具有潜在的用途。“它有真正的潜在应用，”罗杰·利维说，他是麻省理工学院脑与认知科学系的副教授，也是该研究的另一位合作者。

这篇论文“从阅读中的眼球运动来评估语言能力”，发表在计算语言学：人类语言技术协会北美分会第16届年会论文集上。作者是麻省理工学院脑与认知科学系计算心理语言学组的博扎克，麻省理工学院计算机科学和人工智能实验室（CSAIL）的首席研究科学家和信息实验室小组负责人鲍里斯·卡茨，以及BCS计算心理语言学实验室的主任利维。

人工智能如何通过眼球运动测量语言能力

连续性的错觉

这项研究深入探讨了一种我们可能永远不会注意到的阅读现象，不管我们读了多少：我们的眼睛不会沿着一系列文本连续移动，而是固定在特定的单词上长达200到250毫秒。我们还可以从一个词跳到另一个词，这可能持续大约1/20秒。

利维说：“虽然你有一个连续、流畅的文本阅读主观体验，但这绝对不是你眼睛所做的。”“你的眼睛跳来跳去，大多是向前，有时是向后。你的头脑将这样一个断断续续的过程平稳地缝合在一起。…这证明了心灵创造幻觉的能力。”

但如果你正在学习一门新语言，当你试图理解课文时，你的眼睛可能会停留在特定的单词上更长的时间。由于这个原因，眼睛运动的特殊模式可以揭示很多关于理解的东西，至少当在一个明确定义的上下文中进行分析时。

为了进行这项研究，研究人员使用了Berzak关于眼球运动记录的大数据信息。该数据集有145名英语作为第二语言的学生，几乎平均分为四种母语——汉语、日语、葡萄牙语和西班牙语，以及37名英语母语者。

给这些学生156个句子的阅读文本，其中一半是“固定测试”的一部分，研究中的每个人都阅读相同的句子。视频片段使研究小组能够集中关注一系列的持续时间——读者关注特定词语的时间长度。

研究小组称这组指标为“眼球分数”，在评估了它与密歇根大学英语考试（MET）和托福英语考试（TOEFL）的相关性之后，他们在论文中得出结论，眼球分数评估法通过标准化的测试产生了更好的结果。进一步巩固了对人们获得熟练语言程度的方法的猜想。

因此，作者写道，新的方法是“第一个证明概念的系统——通过对眼球运动的跟踪来衡量语言能力。”

逐句

另外有学者说，这项研究是对该课题研究文献的有趣补充。

澳大利亚悉尼麦格理大学（Macquarie University）心理学系主任埃里克·雷切尔（Erik Reichle）说：“（在研究中使用的）这一方法非常创新，而且在我看来，眼球跟踪技术非常有潜力。”Reichle补充说，他相信该论文“将在许多不同领域产生巨大影响，包括那些与第二语言学习更直接相关的领域。”

正如研究人员所看到的，目前的研究仅仅是探索语言与认知相互作用的漫长旅程中的一小步。

正如卡茨所说，“更大的问题是，语言如何影响你的大脑？他指出，鉴于我们在过去几千年内才开始处理书面文本，我们的阅读能力就是大脑“惊人的可塑性”的实证。不久之后，他补充道，“我们就可以开始回答这些问题了。”

利维认为，也许可以让这些关于阅读的眼球跟踪测试更加具体。专家们不必像目前的研究那样，通过156个句子的语料库来评估读者的理解力，而是能够对更小的文本串做出更为明确的判断。

利维说：“例如，我们希望在未来做一件我们还没有做过的事情，那就是逐句地问，我们能在多大程度上通过你读句子时所做的眼球运动来判断你对句子的理解程度。”“这是一个没有人回答的开放性问题。我们希望将来能够做到这一点。”

这项研究部分由麻省理工学院的“大脑、意识和机器中心”通过国家科学基金会资助。