谷歌使用深度学习分析视网膜图像来识别心脏病

谷歌大脑研究人员刚刚在官博上宣布了他们的最新研究成果，使用深度学习分析视网膜图像，以此预测心血管疾病突发的风险。使用深度学习来获得人体解剖学和疾病变化之间的联系，这是人类医生此前完全不知道的诊断和预测方法，不仅能帮助科学家生成更有针对性的假设，还可能代表了科学发现的新方向。

谷歌AI发现了人类医生尚未发现的诊断方法：用深度学习找到视网膜图像与心血管疾病联系

心脏病发作、中风和其他心血管疾病仍是最重要的公共卫生问题。评估这种风险是未来减少患者遭受心血管疾病的第一步。为了做这个评估，医生将各种风险因素纳入考虑，例如：遗传因素（如年龄和性别），生活方式因素（如吸烟和血压）。虽然可以通过简单询问患者来获得大多数上述信息，但其他因素（如胆固醇）则需要抽血。医生还要考虑患者是否患有其他疾病，如糖尿病，这与心血管疾病风险显着增加有关。

最近，我们看到了很多用深度学习技术帮助提高医学成像诊断准确性的案例，尤其是糖尿病眼病。在《自然》子刊 Nature Biomedical Engineering中发表的《使用深度学习从视网膜基底照片中预测心血管危险因子》中，我们展示了除了检测眼病外，眼睛的医学图像还可以非常准确地预测心血管健康的其他指标。这一发现令人异常兴奋，因为它表明通过视网膜图像，我们可能会发现更多诊断疾病的方法。

通过在来自284335名患者数据上训练的深度学习算法，我们能够从12026名和999名患者的两个独立数据集中患者的视网膜图像，以惊人的高准确度预测病人的心血管疾病风险因子。例如，我们的算法通过视网膜图像区分吸烟者与不吸烟者的准确率有71%。此外，虽然医生通常可以区分严重高血压患者和正常患者的视网膜图像，但我们的算法可以进一步预测在11 mmHg以内的患者平均收缩压，包括患有或不患有高血压的患者血压。

左图：眼球背部图像显示斑疹（中间的黑点），视盘（右侧亮点）和血管（右侧亮点旁的深红线）。右图：视网膜图像呈灰色，使用了深度学习算法的像素可以预测血压（绿色阴影高亮显示）。我们发现每个心血管风险因子预测使用不同模式，例如血管用于血压，视盘用于其他预测。

除了从视网膜图像预测各种风险因素（年龄，性别，吸烟史，血压等），我们的算法在直接预测心血管疾病风险方面准确率很高。算法使用整个图像来量化图像与心脏病发作／中风之间的关联。基于两张视网膜图像，一张是（最多5年后）经历过重大心血管疾病（例如心脏病发作）患者的视网膜图像，另一张是没有突发心血管疾病的患者的视网膜图像，我们的算法能够以70%的准确率识别出罹患心血管疾病的患者。这一数字接近需要抽血测量胆固醇的其他心血管疾病风险计算器的准确性。

更重要的是，我们通过使用Attention技术打开了“黑匣子”，以查看算法如何进行预测。这些技术使我们生成一个热图，显示哪些像素对于预测特定的心血管风险因子最为重要。例如，如上图所示，该算法更注重血管情况来预测血压。解释算法如何进行预测，可以让医生对算法本身更有信心。此外，这项技术有助于为将来对心血管风险和视网膜进行科学研究生成假设。

在最广泛的层面上，我们对这项工作感到兴奋，因为它可能代表了科学发现的新方法。传统上，医学发现通常是通过一种复杂的猜测和测试形式：通过观察得出假设，然后设计和运行实验来测试假设。然而，对于医学图像，由于实际图像中存在的各种特征、图案、颜色、值和形状，观察和量化关联是困难的。我们使用深度来获得人体解剖学和疾病变化之间的联系，类似于医生学会将体征和症状与诊断新疾病联系起来。这可以帮助科学家生成更有针对性的假设，并推动未来的广泛研究。

有了这些结果，还有很多科学工作需要去做。我们的数据集有许多标注有吸烟状况、收缩压、年龄、性别和其他变量的图像，但只有几百个心血管疾病的例子。我们期待在更大和更全面的数据集上开发和测试算法。为了确保这对患者有用，我们将试图了解干预措施的效果，如生活方式改变或在风险预测基础上的药物治疗，我们将生成新的假设和理论来测试。

谷歌使用深度学习分析视网膜图像的里程碑事件

以上的最新突破，与谷歌在使用深度学习分析视网膜图像方面的长期积累进展分不开。

16年11月，谷歌在《美国医学会杂志》发表题为 “Development and Validation of a Deep Learning Algorithm for Detection of Diabetic RetinoPathy in Retinal Fundus Photographs”的论文，谷歌研究人员提出的一种基于深度学习的算法，该算法能够在视网膜造影中对糖尿病视网膜病变的迹象做出解释，帮助医生克服资源短缺资困难，为更多的病人做出更专业的诊断。

任务：糖尿病性视网膜病变是致盲的主要成因之一，主要由眼睛后部细小血管损伤引起。这是通过观察眼睛的背面，可以看到血管。所以这是一个感知任务。他们训练了一个深度学习系统，执行与糖尿病视网膜病变评估相关的几项工作。文章标题中所提到的结果是评估“可参考”的糖尿病性视网膜病变，其正在检测中度或更差的眼睛疾病（该组患者的治疗方式与“不可参考”眼病患者的治疗方式不同）。他们还评估了识别严重视网膜病变并检测黄斑水肿的能力。

数据：他们对13万个视网膜照片进行了训练，每个级别由3到7名眼科医生进行评估，最终的标签以多数票决定。图像来自使用各种相机的4个位置（美国EyePACS和3家印度医院）的康复临床数据集。

网络模型：他们使用了Google Inception-v3深层神经网络的预训练版本，这是目前使用最好的图像分析系统之一。预训练通常意味着他们已经接受过训练的网络来检测非医疗物体（如猫和汽车的照片），然后进一步对特定医学图像进行了训练。这就是为什么网络只能接受229 x 299像素的图像。

结果：这篇论文我认为是医学深度学习的第一个大突破。他们的AI系统获得了与单个眼科医生相同水平的表现，在于眼科医生的平均水平相比时，也不落下风。

图：彩色的点是人类眼科医生，黑线是谷歌的深度学习系统

与人类以上相比，他们的系统在检测黄斑水肿上做到了相同的水平，但是在更严重视网膜病变绝对值（AUC值）上要差一些。

关于这一研究的10点总结

Google（和合作者）训练了一个系统，以检测糖尿病视网膜病变（其导致全世界5％的失明），系统的表现与一组眼科医生的表现相当。

这是一个有用的临床任务，这可能不会节省大量资金，也不会在自动化的时候取代医生，但具有很强的人道主义动机。

他们使用130,000个视网膜图像进行训练，比公开的数据集大1到2个数量级。

他们用更多阳性的案例丰富了他们的训练集，大概是为了抵消训练对不平衡数据的影响（一个没有共识性的解决解决方案的问题）。

由于大多数深度学习模型都针对小型照片进行了优化，所以图像被大量采样，丢弃了90％以上的像素。目前看来，我们还不知道这是不是件好事。

他们使用一组眼科医生来标注数据，很可能花费了数百万美元。这是为了获得比任何单个医生的解释更准确的“真正的真相”。

第5点和第6点是所有当前医学深度学习系统的错误来源，而且人们对这些话题知之甚少。

深度学习系统比医生有优势，因为它们可以用于各种“操作点”。相同的系统可以执行高灵敏度筛选和高特异性诊断，而无需再训练。所涉及的trade-off是透明的（不像医生）。

这是一个很好的研究。它在可读性上是令人难以置信的，并在文本和补充中包含了大量有用的信息。

该研究似乎符合目前FDA对510（k）法案的要求。虽然这项技术不太可能要通过这一手续，但是该系统或衍生物完全可能在未来一两年内成为临床实践的一部分。

另一主力DeepMind，用机器学习诊断三大眼疾，或几年后进入临床试验

而早在2016年6月，谷歌医疗的另一大主力DeepMind，就开始在视网膜医疗图像方面，使用机器学习发力。

视网膜3D扫描图

那也是DeepMind开展的第一个纯粹以研究为基础的（research-based）健康项目。此前，NHS旗下眼科医院已经让DeepMind全权访问超过160万患者的病例和数据。研究计划通过筛选100万眼部扫描图像，帮助医生发现视觉衰退的早期迹象。最初聚焦如何让AI自动诊断糖尿病视网膜病变和年龄相关黄斑变性。原因是这两种疾病都是影响大，而且一旦成功就收效很高的案例——相比其他患者，糖尿病患者更可能遭受视力丧失，而年龄相关性黄斑变性是英国失明最常见的原因；这两种视力问题，如果能在早期诊断出来，都能提供更有效的治疗。

现在，与英国NHS和伦敦的摩尔菲尔兹眼科医院（世界上最著名的眼科医院之一）合作了两年后，该研究已经展现出希望，成果也预计在医学期刊发表。具体说，DeepMind的算法使用摩尔菲尔兹提供的匿名3D视网膜扫描进行训练，训练使用的图像都经过了医生的严格标记。由于图像提供了数百万像素的丰富数据信息，该算法使用机器学习分析三种最严重的眼病：青光眼、糖尿病性视网膜病变和年龄相关性黄斑变性的征兆。

就在2月5日，DeepMind Health的临床主管Dominic King告诉英国《金融时报》，如果通过同行评审，这项技术可以在几年内进入临床试验阶段。King表示：“在像医学影像这样的特定领域，你可以看到未来几年内我们用人工智能取得巨大的进步……机器学习处理更敏感、更具体的问题。”

DeepMind表示，下一阶段将通过与伦敦大学医院和伦敦帝国理工学院合作，分别培训分析放射线扫描和乳房X光的算法。

医疗是最容易受到AI影响的行业，独立的AI诊断中心前景可期

普华永道去年10月发布的名为“探索 AI 革命”的全球AI报告，特别推出了“AI 影响指数”，对最容易受到 AI 影响的行业进行了排名。其中，医疗和汽车并列第一位。

AI影响评分从1-5（1是最低的影响，5最高），医疗和汽车都是3.7分，并列第一：

而实际上，从 2011 年开始，医疗领域一直高居 AI 行业应用前列。CB Insights 曾发布过 AI 应用的“行业热图”，可以直观地看出智能医疗的火热程度。

从全球范围来看，IDC 在其《全球半年度认知/人工智能支出指南》中将医疗人工智能统列为2016年吸引最多投资的领域之一，并表示在未来五年内，包括医疗人工智能+诊断和治疗系统的使用案例将获得最大的发展。在五年期间，它预测医疗健康人工智能投资的年复合增长率为69.3%。

说回到普华永道的最新报告。该报告以“基于数据的诊断支持”作为智能医疗的高潜力用例，认为“人工智能最初可能被作为人类医生的辅助来采纳，而不是替代人类医生。这将改善医生的诊断，但此过程也为 AI 学习提供了有价值的见解，让其可以不断学习和改进。人类医生和 AI 驱动的诊断之间的这种持续的相互作用将提高系统的准确性，并且随着时间的推移，人类将有足够的信心完全授权 AI 系统进行自主操作。”

实际上，这一美好前景已展现出了些许萌芽。如依靠计算机视觉的智能医疗影像识别，已经随着深度学习等技术的使用，来到了“超越人类水平”的临界点。同时，2017 年 8 月，国家卫计委在新闻发布会上也传达出一个重要信息：将在已有的 5 类可独立设置的医疗机构上，再增加 5 类独立设置的医疗机构类别（包括病理诊断中心、康复医疗中心等等）。随着支持社会办医的政策落实，医疗的“牌照”价值正在下降，未来很有可能出现独立的 AI 诊断中心，直接为患者提供诊断服务。