《柳叶刀 数字健康》：ChatGPT，是友还是敌？

导读：过去几个月，新闻媒体和社交媒体围绕ChatGPT（Chat Generative Pre-trained Transformer）充斥着关于OpenAI开发的聊天机器人的报道。接受指令后，ChatGPT可以撰写电子邮件、编写计算机代码甚至可以制作电影剧本，研究人员还展示了其通过医疗执照考试的能力。

ChatGPT强大的功能令人兴奋，但随之也带来一系列伦理问题，这些问题或许将限制它的使用。近期发表在国际顶尖期刊《柳叶刀 数字健康》上的一篇评论，在介绍ChatGPT功能的同时，对它可能给社会、医疗、出版物等领域带来的潜在问题以及该如何应对作了深入的思考和分析。

ChatGPT 由大型语言模型 (LLM) GPT-3.5 的改进版提供支持。它的基础模型GPT-3接受了文章、网站、书籍和书面对话的训练，微调过程（包括对话的优化）使 ChatGPT 能够以对话方式对指令做出应答。

在医疗保健领域，Sajan B Patel 和 Kyle Lam 展示了ChatGPT根据简短提示生成患者出院小结的能力。把这个过程自动化可以减少二级护理出院的延迟，而细节不会受到影响，从而为医生腾出宝贵的时间用于患者管理和教育。 

另一项研究还测试了ChatGPT简化放射报告的能力，其生成的报告总体上被认为是正确、完整、符合事实的，并且对患者造成伤害的感知风险较低。

但是在以上两种情况下，出现的错误都是显而易见的。在Patel和Lam提供的出院小结示例中，ChatGPT在小结中添加了提示中未包含的额外信息；同样，放射学报告研究也发现了潜在的有害错误：遗漏了关键的医学发现。这些错误表明，如果在临床实践中实施ChatGPT，需要对自动输出的内容进行人工检查和核对。

ChatGPT的局限性也众所周知。OpenAI自己也承认，ChatGPT的输出可能不正确或者出现偏差，例如引用并不存在的参考文献、或延续性别歧视者的陈规滥调；它还可以执行有害指令，例如生成恶意软件。虽然OpenAI设置了防护栏以最大限度地降低风险，但用户已经围绕这些问题找到了方法，把ChatGPT的输出用于模型未来迭代的训练，这些错误可能会被回收利用并被放大。

OpenAI 已要求用户对发现的不当应答上报，以帮助对模型的改进。但是，如果期待这些受到算法偏差影响和困扰的用户来帮忙找到问题的解决方法，显然是不切实际的。Michael Liebrenz及其同事认为，虽然ChatGPT可以接收和输出多种语言的文本（有利于非英语母语人士发表文章）而有利于知识共享，但是它生成文本的不准确之处可能助长错误信息的传播。

以上担忧对科学记录的完整性产生了严重影响，这不仅存在着将错误引入出版物的风险，还存在将剽窃内容引入出版物的风险，可能会导致未来的研究或卫生政策决策是基于虚假信息做出的。不久前，世界医学编辑协会发布了“关于在学术出版物中使用ChatGPT和其他聊天机器人的建议”，建议之一是期刊编辑需要新工具来检测AI生成或修改的内容。事实证明，与剽窃检测器和人工审稿相比，AI输出检测器能更好地区分原文和ChatGPT生成的研究文章摘要，但却错误地将原始摘要标记为“伪造”。

技术在发展，编辑政策也需要发展。Elsevier出台了关于在科学写作中使用AI和AI辅助技术的新政策，规定这些技术的使用应仅限用于对文章可读性和语言的提升，并需在手稿中声明；作者应该人工核对AI生成的任何输出；这些工具不应作为作者或共同作者列出或引用，因为它们不能承担作者身份所应承担的责任（例如对已发表的作品负责）。

ChatGPT的广泛使用似乎不可抵挡，但在目前的计算迭代中，出现偏差、未经检查的使用可能会成为社会和学术出版的敌人，这需要对模型训练进行更多的预见和监督，加大对强大的AI 输出检测器的投资开发。

ChatGPT 改变了游戏规则，但我们还没有做好准备。

打赏