「凭据（对于）OpenAI的最新论文kaiyun体育最新版，o1-preview在推理任务上远远优于大夫，以至一丈差九尺。AI对143项繁重的NEJM CPC会诊成果分歧为约80%到30%。目下肯定你的大夫而不商议东谈主工智能模子是危境的。」

Deedy的言论引来百万围不雅。

事实究竟怎样？

在处置复杂的信息学、数学和工程问题以及医疗问答方面，o1-preview模子泄清晰优于 GPT-4 的才智。

医疗决策远非问答，o1-preview在医学上是否已全面越过东谈主类？

哈佛、斯坦福、等机构的多名医学、AI各人联手，在医学推理任务中评估了OpenAI的o1-preview。

成果泄露，模子在辩认会诊、会诊临床推理和经管推理方面，如故越过东谈主类；建议使用更好和更挑升念念意思的评估战略，跟上自动化系统在医疗推理基准上的跨越。

著作推测要使用大言语模子援助大夫， 需要集成AI系统的临床锻真金不怕火和劳能源（再）锻真金不怕火。

1

AI援助会诊器具评估

在医学顶刊《JAMA》、《JAMA·内科》和《NPJ·数字医学》，有论文已指出大言语模子已在会诊基准测试中越过了东谈主类，包括医科学生、入院医师和主治医师。

这次，针对辩认会诊生成、推默契说、概率推理和经管推理任务， 皆集团队评估了o1-preview的临床多步推理才智。

与大夫、已有的大言语模子比拟, o1-preview在辩认会诊以及会诊和经管推理的质料都有昭彰升迁。

1

辩认会诊

自20世纪50年代以来，评估辩认会诊生成器的首要行径是《新英格兰医学杂志》（NEJM）发表的临床病理学会议（CPCs）病例。这是亦然评估o1-preview的第一个基准。

两位大夫同期评估o1-preview的辩认会诊质料，且在143个案例中有120个成果一致。

o1-preview在辩认会诊中准确率高达78.3%（见图1）。

图1中的o1-preview的数据是基于在《新英格兰医学杂志》（NEJM）发表的临床病理学会议（CPCs）病例。其他大言语模子或DDx生成器的数据是从文件中赢得的。

o1-preview的建议的初度会诊的正确率为52%。

o1-preview在预锻真金不怕火截止日历前的准确率为79.8%，之后为73.5%， 莫得显耀互异。

表1展示了o1-preview不错处置而ChatGPT4无法处置的复杂案例。

表1：o1-preview正确会诊出GPT-4无法处置的三个复杂病例

表1中Bond Score的边界是从0到5, 其中5分暗意辩认会诊列表中包含了正确的指标会诊， 而0分暗意辩认会诊列表中莫得接近指所在选项。

o1-preview在88.6%的病例中得出了准确或相配接近准确的会诊成果，而GPT-4只须72.9%（见图 2A）。

两名大夫凭据CPC中形色的患者实验诊治情况，对o1-preview冷落的检验筹谋进行了评分， 共计132例，其中113例两东谈主的评分一致。

在87.5%的病例中，o1-preview接受了正确的检验形态，另有11%的病例中，两位大夫觉得所选的检验决议是灵验的，只须1.5%的病例觉得是没用的（图 3）。关连例子见表2。

图3：o1-preview在瞻望下一步应进行的会诊测试方面的性能

在实验中两名大夫使用「无须（unhelpful）」、「灵验（helpful）」和「皆备正确（exactly right）」的李克特量表对瞻望成果进行了测量。

并从沿途病例中剔除了7个病例，因为这些病例条款进行下一次检验是不对理的。

表2：o1-preview 建议的测试筹谋与案例中使用的测试筹谋对比示例（足下滑动检验）

表2中案例得分为2分，标明测试比较好，与案例筹谋险些皆备换取。1分暗意所建议的会诊蓝本是有匡助的，或者不错通过病例中莫得使用的测试得出会诊成果。0分暗意所建议的会诊设施莫得匡助。

1

NEJM Healer会诊案例

为评估临床推理， NEJM Healer案例专门联想了假造患者遇到。

两位医陌生别评估o1-preview的临床推理质料，在80个案例中，有79个案例达成了一致（约占99%）。

在80个案例中，o1-preview在78个案例中达到了竣工的R-IDEA评分， 其线路远超GPT-4、主治医师和入院医师，如图4A所示。

图4：图A暗意在20个NEJM Healer案例中，凭据回答者分层的312个R-IDEA评分分散。图B暗意初诊解说（ initial triage presentation）中包含的不成遗漏会诊的比例的箱线图

图B中的总样本量为70，其中包括来自主治医师、GPT-4和o1-preview的18个回答，以及来自入院医师的16个回答。

o1-preview在初诊解说（ initial triage presentation）中识别“不成错过”的会诊的比例见图4B，包含「不成错过」的会诊的中位数比例为0.92，与GPT-4、主治医师或入院医师莫得显耀互异。

1

灰质经管案例

在着实案例基础上，25位大夫手人愚弄共鸣设施建树了5个临床实例(clinical vignettes)。

测试中先将临床实例呈现给模子，然后向其冷落对于下一步经管的一系列问题。

两位大夫对o1-preview的五个案例的恢复进行了评分，一致性十分大。

o1-preview每个案例的中位数评分为86%（图5A），优于GPT-4、使用GPT-4的大夫和使用传统资源的大夫。

图5：图A暗意大言语模子和大夫的经管推理得分的行径化箱线图。图B暗意模子和大夫会诊推理得分的行径化箱线图

图A共包括五个案例。o1-preview为每个案例生成一个响应，GPT-4为每个案例生成五个响应，使用GPT-4的大夫总有176个响应，使用传统资源的大夫总有199个响应。

使用搀杂效应模子猜测，o1-preview比单独的GPT-4高出41.6%，比使用GPT-4的大夫高出42.5%，比使用传统资源的大夫高出49.0%。

1

标记性会诊案例

两位内科大夫对o1-preview在六个会诊推理案例中的回答进行了评分，评价成果较为一致。o1-preview的中位数评分为97% （图5B）。

与历史罢了数据比拟，比GPT-4的得分为92%，使用GPT-4的医师得分为76% ，而使用传统资源的医师为74%。

使用搀杂效应模子猜测，o1-preview与GPT-4比拟线路十分（高出4.4%），比使用GPT-4的医师高18.6%，比使用传统资源的医师高20.2%。

1

会诊概率推理案例

在会诊概率推理中， 总使用了五个低级保健主题的案例。

以科学参考概率（scientific reference probabilities）为基准，比较了o1-preview，GPT-4和东谈主类的概率推理才智。

其中东谈主类由553名具有寰宇代表性的医疗从业者构成， 包括290名入院医师、202名主治医师和61名照料或大夫助理。

如图6和表3所示，在概率推理方面， 不管在测试前照旧在测试后o1-preview与GPT-4线路差未几。

只须的压力测试中，o1-preview的瞻望密度比模子和东谈主类更接近参考边界。

1

筹商的局限性

此筹商也有四处主要的局限性。 领先，o1-preview有啰嗦的倾向，可能会在锻真金不怕火中取得更高得分。

其次，目下的筹商只反应了模子性能， 但现实中离不开东谈主机交互。东谈主机交互对建树临床决策援助器具至关紧要， 下一步应该细目大言语模子（比如o1-preview）能否增强东谈主机交互。

但东谈主类与算计机之间的交互粗略是不可瞻望的，以至线路素雅的模子与东谈主类交互中可能出现退化。

第三，筹商只查考了临床推理的五个方面；但如故发现了几十个其他任务，它们可能对实验的临床督察有更大影响。

第四，筹商案例鸠合在内科，但并不代表更无为的医疗扩张，包括多个亚专科，这些专科需要各式手段，如外科决策。筹商也莫得研究会诊、患者特征或就医地点的互异。

参考贵寓：

https://arxiv.org/pdf/2412.10849

https://x.com/deedydas/status/1869049071346102729