多语言AI基准可以干什么

目前谷歌（Google）发布自然语言处理系统基准测试Xtreme，可提供9项任务，涵盖40种语言12个语系。多语言模型通过对各种语言，与不同等级的语法以及语意推理等任务后，便能依得分评估其效能，用以评估人工智能（AI）模型跨语言共享知识能力，而这也有助推动自然语言应用的发展。

自然语言处理主要挑战，在于要能够建立一个可使用全世界6，900种语言的系统，虽然大多数的语言都缺乏数据，并不足以单独训练出准确模型，但幸运的是这其中有不少语言，都共享大量的基础结构，且在词汇上也有不少来自同一来源。故而，在自然语言处理中可利用多语言共享结构，来克服数据数量不足问题。

而XTREME作为评估跨语言泛化的大规模多语言多任务基准，涵盖许多未被充分研究的语言，目的是要最大程度提高语言多样性，增加现有语言任务覆盖范围以及训练数据的可用性。其中九项任务，包括语句分类、结构预测、语句检索和问答等，而Xtreme会利用零样本评估方法，来评估这些模型跨语言的转换效能，也就是要求模型对未曾训练过的语言数据进行预测，计算所有Xtreme任务的综合得分。

但值得注意的是，这些模型仍然很难把知识转移到非拉丁语系。根据香港IDC新天域互联的了解，实验结果显示，所有模型在英语和其他语言之间的效能差距仍然非常大，这代表在跨语言转换上还有很大研究潜力。谷歌表示，说英文的人口仅占全世界15％，但是英文却一直是自然语言处理的重点，他们希望XTREME能够促进多语言迁移学习的发展。

责任编辑：Ct