探究机器学习 (ML) 模型的性能

机器学习 (ML) 模型的性能既取决于学习算法，也取决于用于训练和评估的数据。算法的作用已经得到充分研究，也是众多挑战（如 SQuAD、GLUE、ImageNet 等）的焦点。此外，数据也已经过改进，包括一系列应对 ML 评估问题的研讨会。相比之下，专注于 - 用于评估 ML 模型的数据的研究和挑战并不常见。

此外，许多评估数据集包含容易评估的项目，例如带有易于识别的主题的照片，因此错过了真实世界环境的自然歧义。评估中缺少模糊的真实世界样本，削弱了可靠地测试机器学习性能的能力，这使 ML 模型容易形成“弱点”，即模型难以或无法准确评估的样本的类别，因为评估集中缺少这一类样本。

SQuAD

https://rajpurkar.github.io/SQuAD-explorer/

GLUE

https://gluebenchmark.com/leaderboard

ImageNet

https://kobiso.github.io/Computer-Vision-Leaderboard/imagenet

为了解决识别 ML 模型中这些弱点的问题，我们最近在 HCOMP 2020 上发起了众包机器学习不良测试集 (CATS4ML) 数据挑战赛（面向全球研究人员和开发者开放至 2021 年 4 月 30 日）。挑战的目标是提高 ML 评估集的标准，并尽可能多地找到使算法处理起来会有困惑或其他问题的样本。CATS4ML 依靠人们的能力和直觉来发现机器学习具有信心但实际上却分类错误的新数据样本。

众包机器学习不良测试集

https://cats4ml.humancomputation.com/

什么是 ML 的“弱点”？

弱点有两类：已知的未知(Known Unknowns) 和未知的未知(Unknown Unknowns)。已知的未知是指模型对正确分类没有把握的样本。研究界在被称为主动学习的领域研究这一问题，并发现了解决方法，用很笼统的话来说就是，在不确定的样本上向人们交互式地征集新的标签。例如，如果模型不确定一张照片的主题是否是猫，会要求人员进行验证；但如果系统确定，则不会要求人员验证。虽然这方面还有改进的空间，但令人欣慰的是，模型的置信度与其性能相关，也就是说，人们可以看到模型不知道的东西。

主动学习

http://digital.library.wisc.edu/1793/60660

另一方面，未知的未知是指模型对其答案充满信心，但实际上是错误的样本。主动发现未知的未知的研究（例如，Attenberg 2015 和 Crawford 2019）已经帮助发现了大量的非预期机器行为。与这类发现未知的未知方法相比，生成对抗网络 (GAN) 以计算机光学错觉的形式为图像识别模型生成未知的未知，导致深度学习模型犯下人类无法感知的错误。虽然 GAN 在有意操纵的情况下会发现模型漏洞，但真实世界样本可以更好地突出模型在日常性能中的失败。这些真实世界样本是 CATS4ML 感兴趣的未知的未知 - 挑战的目的是收集人类可以可靠地解释但许多 ML 模型会自信地不同意的未经操作的样本。

Attenberg 2015

https://dl.acm.org/doi/10.1145/2700832

Crawford 2019

https://excavating.ai

示例说明由对抗噪声引起的计算机视觉错觉如何帮助发现 ML 模型的机器操作未知的未知（基于 Brown 2018）

Brown 2018

https://ai.googleblog.com/2018/09/introducing-unrestricted-adversarial.html

CATS4ML 数据挑战赛第一版：

Open Images 数据集

CATS4ML 数据挑战赛侧重于视觉识别，使用Open Images 数据集的图像和标签。挑战赛的目标图像选自 Open Images 数据集，以及来自同一数据集的一组 24 个目标标签。挑战赛的参与者被邀请发明新的创造性方法探索这个现有的公开可用数据集，并以预先选择的目标标签列表为中心，为 ML 模型发现未知的未知样本。

CATS4ML 数据挑战赛

https://cats4ml.humancomputation.com/

CATS4ML 是对 FAIR 最近推出的 DynaBench 动态数据收集研究平台的补充。DynaBench 使用 ML 模型在人类参与下解决静态基准问题，而 CATS4ML 则专注于通过鼓励探索现有 ML 基准有无可能属于未知的未知不利样本改善 ML 评估数据集。结果将有助于检测和避免未来的错误，也将对模型的可解释性提供见解。

FAIR 

https://ai.facebook.com/tools/dynabench/

DynaBench

https://dynabench.org/

CATS4ML 旨在由此通过提供数据集资源来提高人们对这个问题的认识，开发者可以利用这些资源发现算法弱点。这也将让研究人员了解如何为机器学习创建更平衡、更多样化、更具有社会意识的基准数据集。

编辑：jq