每日毅讯| Circulation子刊：ChatGPT在心房颤动患者的咨询方面的表现

每日毅讯+

ChatGPT目前已经成为日常生活的一部分，Bing也推出了AI和Creater，这些让写作、制图、制作PPT变得更加容易。那么，ChatGPT在患者教育与咨询方面的表现又如何呢？今年曾有一篇JAMA文章探讨了ChatGPT在心血管预防方面的患教表现。近期，Circulation：Arrhythmia and Electrophysiology杂志也发表了一项关于ChatGPT和Bing AI进行心房颤动患者咨询的研究。

ChatGPT和Bing AI被问及了18个患者级别的问题和18个临床医生级别的问题，这些问题都是由具有心房颤动（AF）诊治经验的临床医生从该疾病的概况、治疗、药物和生活方式干预等方面设计的常见问题。结果评定由三位临床专家对人工智能的回答进行审查，并将其归类为适当或不适当。其中临床医生级别的问题还需要判别参考文献的准确性。

研究结果显示：研究者发现两个AI模型可以提供高度一致的答案（Kappa值，0.77 : 1）。在患者级别的问题方面，被判断为适合的回答占了83.3%，其中AF整体概述方面的问题回答准确率为83.3%，AF治疗为100%，AF适用药物为100%，AF生活方式的干预为71.4%。然而，AI对与房颤的触发因素有关的问题提供了不准确的回答，包括酒精和咖啡的摄入等。对于临床医生级别的问题，ChatGPT的回答准确性为33.3%，Bing AI的准确性为66.6%。而ChatGPT的参考文献准确性为55.5%，Bing AI的参考文献准确性为50%。研究人员还发现正确的人工智能回答，大多数参考了当前的美国与欧洲指南，还有一些引用了原始研究的文献。然而，研究者也指出，在回答2个AF管理相关的临床医生级别的问题时，ChatGPT提供了并不存在的参考文献和试验。

“毅讯点评”

本研究类似于诊断试验的设计，探讨了目前流行的ChatGPT和Bing AI在心房颤动患者咨询方面的表现。我们可以看出对于患者的简单问题大多数AI可以提供正确的答案，然而，对于临床医生级别的答案，AI则比较难甄别指南之间的差异或者最新临床研究的证据级别。值得关注的是，与笔者的经验想吻合，ChatGPT在无法回答问题时，有时候会出现“理直气壮”地杜撰不存在资料的情况，Huyou-bility很强。

参考文献：

https://www.ahajournals.org/doi/epdf/10.1161/CIRCEP.123.012015

本文技术观点不代表CCI观点

作者简介

张毅，FACC，FESC，上海市第十人民医院泛血管中心主任；同济大学研究员、副教授、博导；CCI执行委员；中华医学会内科学分会青年副主委；上海医学会高血压学组副组长；上海市优秀技术带头人。

CCI心血管医生创新俱乐部扫码关注

打赏