Radiology:在MRI和CT上识别癌症诊断中AI性能降低的预测变异性

在大多数国家，癌症是导致死亡的主要原因，也是全世界主要的公共卫生问题和经济负担。医学影像是癌症管理的关键，而影像学检查已被证明是降低死亡率的有效方法。然而，全球缺乏能够判析医学图像的放射科医生，因此会进一步延迟诊断并导致生存率下降。

人工智能 (AI)有可能通过协助放射科医生诊断癌症来减轻全球癌症负担。在过去的十年里，关于AI的癌症检测和诊断的研究有所增加。然而，在人工智能研究和临床应用之间存在差距，很少有算法应用于实践。

大多数医学人工智能研究集中在算法开发上，而没有在个体水平上解决其安全的临床整合机制。具体来说，关键是要了解哪些患者将安全地受益于AI。

近日，发表在Radiology杂志上的一篇研究评估了人工智能预测可变性作为不确定性量化(UQ)的指标，以及用于识别不同癌症类型、数据集和算法的MRI和CT诊断中存在人工智能失败风险的病例。

本项研究回顾性分析了先前三项研究的多中心数据集和公开可用的AI算法，这些研究评估了对比增强CT图像对胰腺癌的检测、MRI扫描对前列腺癌的检测以及低剂量CT图像对肺结节恶性肿瘤的预测。研究对每个任务的算法进行扩展，生成基于集合预测可变性的不确定性评分。在不确定性评分的百分位数阈值(10%-90%)范围内，采用置换检验比较确定和不确定患者组之间的AI准确率百分比和受试者工作特征曲线下的局部面积(PAC)。对确定组(CG)和不确定组(UG)的11种临床读卡器进行肺结节恶性肿瘤预测算法的比较。

研究共使用18 022张图像进行训练，使用838张图像进行测试。在所有任务中，CG病例的AI诊断准确率更高(P < 0.001)。在某些预测的80%阈值下，CG的准确率比UG高21%-29%，比整体测试数据集高4%-6%。CG的病变水平pac比UG高0.25 ~ 0.39，比整体测试数据集高0.05 ~ 0.08 (P < 0.001)。对于肺结节恶性肿瘤的预测，人工智能的准确性与临床医生在CG病例中的准确性相当(人工智能结果与临床医生结果，80% [95% CI: 76, 85]vs 78% [95% CI: 70, 87];P = 0.07)，但UG病例的情况更糟(人工智能结果vs临床结果，50% [95% CI: 37, 64] vs 68% [95% CI: 60, 76];P < 0.001)。

 表 肺结节恶性肿瘤风险评估数据集的临床特征

本项研究表明，人工智能预测的UQ指标一致地表明人工智能在癌症诊断中的表现有所下降。

原文出处：

Natália Alves,Joeran S Bosma,Kiran V Venkadesh,et al.Prediction Variability to Identify Reduced AI Performance in Cancer Diagnosis at MRI and CT.DOI:10.1148/radiol.230275