首例“AI幻觉”侵权案对医疗AI的法律启示

2026
02/16

+
分享
评论
忠言法语
A-
A+

到2027年,在医疗健康领域将建成“需求精准对接、数据高效流通、技术快速转化、生态协同发展”的人工智能产业支撑体系。


作者简介:龚楠 北京市百瑞律师事务所高级合伙人/全国管委会副主任

 随着深度学习技术的突破和大数据时代的到来,AI(人工智能)正加速应用到医疗卫生服务领域。2025年11月,国家卫健委发布《关于促进和规范“人工智能+医疗卫生”应用发展的实施意见》,进一步指出众多AI应用场景。随后,北京市卫健委于2025年12月30日,发布《北京市支持医疗健康领域人工智能应用发展行动计划(2026-2027年)》(以下简称《行动计划》)和《北京市医疗健康领域支持人工智能产业创新发展若干措施(2026-2027年)》(以下简称《若干措施》)两份文件,明确北京市全面支持AI在医疗健康领域的应用和发展,并提出到2027年,在医疗健康领域建成“需求精准对接、数据高效流通、技术快速转化、生态协同发展”的人工智能产业支撑体系。


    产业的发展不仅需要产业政策的支持,而且需要合规体系建设和纠纷处置的法律服务作为保障。近期,全国首例因“AI幻觉”引发侵权案件的判决,对医疗领域的AI应用的法律责任分析和风险防范具有极大的参考价值。


一、全国首例因“AI幻觉”引发侵权案件的案情概述和裁判要点


    2025年6月,梁某使用一款AI平台查询高校报考信息。结果,AI生成了该高校主校区的不准确信息。“你这个骗子!根本没有这个校区。”梁某指出错误后,AI却坚称存在这个校区,并回答“如果生成内容有误,我将赔偿您10万元,您可前往杭州互联网法院起诉。”直到梁某向AI提供该高校的官方招生信息,AI才“败下阵来”, 承认生成了不准确的信息。梁某认为,AI生成错误信息对其构成误导,而且承诺赔偿,于是提起诉讼,要求研发公司赔偿9999元。杭州互联网法院认为:“生成式人工智能服务属于‘服务’范畴,而非产品质量法意义上的‘产品’。该案应适用一般过错责任原则。经审查,被告在应用界面、用户协议等处履行了功能局限性的告知提示义务,且原告未能证明其遭受实际损害。”[1] 因此,法院作出一审判决(本文中简称“该判决”),驳回原告的诉讼请求。


    法院虽然判定驳回原告的诉讼请求,但在判决书中也指出,AI服务提供者并非置身事外,应当厘清AI服务的责任边界:一是法律底线,不能生成违法内容;二是告知义务,须明确提示AI局限性;三是技术努力,要用合理技术提高准确性。法院在判决中进一步强调,在医疗、金融等关乎人身财产安全的专业领域,服务提供者的注意义务标准应“据风险情景相应予以提高”。


、判决核心要点对医疗AI 的法律 属性 锚定


 

    “医疗AI”在本文中泛指应用在医学诊疗领域的人工智能产品,既包括含AI医疗影像、AI病理诊断、AI医学检验、AI临床决策支持系统(AI+CDSS)、AI中医诊断等在内的智能辅助诊断系统,也包括AI病历生成或智能写作、AI发药等在医学诊疗环节中,发挥医生助理作用、完成辅助性工作的人工智能系统。这些都属于应用在医疗领域的人工智能服务类产品。在公共领域面向用户的互动式人工智能并不包含在本文的医疗AI范畴。


三、 医疗AI过错责任的“多因 一果”归因分析


    “过错责任”认定在医疗损害责任纠纷案件中始终都是难点问题,诊疗行为是否存在过错、该过错与损害后果之间是否存在因果关系,都需要专业的医学或法医学的判断,不是一般意义上可以通过生活常识或朴素道德观就可以作出判断的。医疗AI的叠加,必然导致过错主体责任认定的难度进一步加大。


(一) 医务人员的过错认定

    前文反复提及,医疗AI只是辅助工具,那么无论其是辅助完成病历书写还是直接作出诊断推测、给出治疗建议,都需要医务人员结合患者的实际情况,对医疗AI提供的内容给予复核,进而作出判断。若医务人员应复核未复核而直接将AI生成的内容提供给患者,或者医务人员虽然进行了复核但并未发现AI存在的过错,亦或医务人员输入错误信息导致AI得出错误结论等情形出现,那么医务人员都可能需要承担过错责任。


(二)医疗机构的责任承担

    除了根据《民法典》第一千二百一十八条的规定,向患者承担其医务人员过错的相应责任之外,在医疗AI的使用过程中,如果医疗机构缺少对医疗AI使用的流程设计、没有合规监管等,使得医疗AI因使用过程中存在系统性风险而导致错误发生的,那么医疗机构应承担直接的过错责任。


(三)医疗AI研发企业的过错判定

    医疗AI出现误诊/误治,不能除外是研发企业算法缺陷、训练语料不足等原因导致。进一步,如果医疗AI的错误是“AI幻觉”导致,那么过错认定的难度将更艰巨:医疗AI出现的如虚构病历、错误诊断依据、杜撰治疗方案等幻觉,需要判断是源于训练数据偏差、算法概率性输出、或是其他技术原因,区分其过错是“不可预见的技术局限”还是“可避免的研发/使用过失”。


    例如:某个患者关节术后引流管断端残留引发的医疗损害责任纠纷,法院最终因诊疗行为存在过错,判定医疗机构承担赔偿责任。但是当医疗机构对该案回溯分析时发现,从患者术后第一次主诉不适时,X线检查就可见引流管断端的影像,但因该机构引入了AI影像辅助诊断系统,系统将该残端的影像归为了“伪影”而没有提示风险,医务人员又缺少了对原始图像的审核与确认,直接使用AI的结论,结果导致漏诊、漏治的发生。这是一个典型的多因一果的案件,可能涉及算法训练缺陷、医院未做安全验证提示、医生未充分复核等多重因素。这个案件医疗机构向患者承担了全部的赔偿责任,但该AI影像的研发公司是否应当分担一定的责任值得商榷。


四、医疗AI的其他侵权风险和责任承担


 

    当前投入市场的绝大多数医疗AI是以教科书和学术资料为语料,通过基础训练而形成的产品,缺少面对不同患者个体的临床实践。因此,医疗AI在被临床应用的同时,还需要从与患者面对面的临床活动中采集数据,不断完善自身的算法体系,从而提升输出结论的准确性。在这个过程中,各方主体还应注意下述的责任,尽可能避免因行为不当引发侵权的法律风险。


(一) 知情同意与医疗伦理风险

    医疗机构及其医务人员未预先告知患者医疗AI使用过程中可能涉及的数据采集和使用事项,未对可能开展的临床研究或使用的医疗AI进行伦理审查等。


(二)数据合规与隐私保护

    医疗数据属敏感个人信息,AI 训练所需的大规模病历、影像等数据,应当预先得到患者许可的情况下,才能够按照承诺的方式、在承诺的范围内采集并使用,严格遵守《民法典》、《个人信息保护法》、《医疗纠纷预防和处理条例》等法律法规的规定。


(三)数据泄露与安全风险

    医疗AI无论是训练还是使用,都必然涉及海量医疗数据的传输和存储问题,若安全防护不足导致数据泄露,可能侵犯患者隐私权,还可能引发群体性纠纷与巨额赔偿。


五、 医疗 机构在 AI 时代 的法律应对 和风险防范


 

    当下医疗机构所使用的医疗AI产品,从使用的路径,可以分为面相医生的和直接面向患者的。其中,面向医生的,多是被嫁接在医生工作站,融入在电子病历系统或者是安装在医生的电脑端;直接面向患者的,则可能是通过医院门诊大厅的终端或者互联网医院平台,直接面向患者提供咨询服务。从研发主体而言,有的可能是医疗机构自主研发或者参与研发的医疗AI产品,更多的是嫁接到其他的AI平台或者链接到其他的AI产品。


    无论医疗AI的实际技术服务提供方是谁,由于其提供者是医疗机构,难免会 使患者对其产生合理信赖。此时,医疗AI 的输出可能会被认定为医疗机构的意思表示。这种特殊场景的信赖,必然加重医疗机构方的责任。 因此,医疗机构需要从规范技术和操作流程管理、完善免责声明等维度,建立风险防范体系,平衡创新与安全。


(一) 医生端使用的AI产品,严格把控技术规范和操作流程,杜绝 AI“替代诊疗”发生


 

1.从技术角度设置输出前置审核机制,即:AI生成的内容,必须经医师二次确认后,才可以提供给患者,从而确保AI提供的只是症状匹配、检查报告解读、用药提醒等辅助参考信息。同时,AI的训练数据、算法逻辑、输出结果等应当全流程留痕,确保每一次 AI 辅助操作都可追溯(如操作时间、参与医师、AI 版本号)。


2.制定《医疗AI辅助诊疗操作规范》,加强对医务人员的培训,必须严格按照“AI辅助→医师复核”的流程完成诊疗操作,严格杜绝过度依赖AI的情况出现。


3.制定AI误判出现时的处置流程,提升应对AI异常输出的应急能力,必要时可定期开展模拟演练。


4.加强对医务人员的培训,让医务人员在提升自身专业能力的同时,清晰认知AI的局限性与适用边界,学会与AI更好地形成协同,而非过度依赖AI输出。


(二) 患者端使用的AI产品,应当更加审慎使用,对外明示风险,对内分清责任


 

1. 明示的法律声明,通过“显性告知”降低信赖风险。 当医疗AI产品可能直接面向患者时,无论是放置在医疗门诊大厅,还是嫁接在互联网医院平台,均应当有明示的告知,并可通过电子屏、弹窗等形式,反复提醒患者“AI仅提供咨询服务,其提供的建议仅为辅助参考,疾病诊断和治疗方案请以医务人员的诊疗意见为准”。


2.当医疗机构宣传自主研发的医疗AI时,应当在宣传材料中明确标注“医疗AI仅为辅助应用工具,非诊疗决策主体”、“本AI产品仅提供咨询服务,具体涉及疾病的诊断和治疗,请您以接诊医师的意见为准”等,淡化医疗机构为AI产品准确性的背书,避免医疗机构承担不必要的责任。


3. 当AI设备放置在医疗机构门诊大厅时,除了限定其回答患者提问的内容和方式外,还应当确保该AI设备被放置在显眼位置,最好开机时配备有专人引导,避免出现患者将AI输出结论等同于医师意见的情况。


4. 当AI被嫁接在互联网医院平台时,除了前文提及的风险提示之外,还建议在诊疗过程中明确加入“AI辅助诊疗”的字样,同时,在AI出具辅助诊疗意见后,应当以醒目的方式提示患者,该意见并非最终诊疗意见,尚需等待真人医生的最终审核确认方可生效。


5.  构建风险分担机制,实现责任兜底保障。 医疗机构应与AI设备提供方在协议中明确各方责任,包括在直接面向患者的服务端,向患者披露该AI服务的供应商,避免因使用场景的特殊而导致医疗机构过度承担赔偿责任。同时,医疗机构应当与研发企业明确各自在AI风险监测中的义务,要求研发企业对AI设定异常输出的风险预警机制,及时对异常或高风险建议给予干预,对AI幻觉或异常输出造成的损害后果承担产品责任等。医疗机构可以尝试与保险公司共同探索医疗AI责任险的设立,通过购买保险把潜在的医疗纠纷风险进行转移。


参考案例:《全国首例AI“幻觉”侵权案在杭宣判》,刊于《都市快报》,2026年1月30日A12版。

作者简介:龚楠 北京市百瑞律师事务所高级合伙人/全国管委会副主任



投稿邮箱:yyflzwh@163.com

    欢迎关注:中国研究型医院学会医药法律专业委员会“忠言法语”公众号!我们诚挚邀请各位专家学者、法律实务工作者、医药行业从业者积极投稿,分享您的研究成果和实践经验,共同推动医药法律领域的繁荣发展!


不感兴趣

看过了

取消

本文由“健康号”用户上传、授权发布,以上内容(含文字、图片、视频)不代表健康界立场。“健康号”系信息发布平台,仅提供信息存储服务,如有转载、侵权等任何问题,请联系健康界(jkh@hmkx.cn)处理。
关键词:
AI,医疗,患者,风险,责任

人点赞

收藏

人收藏

打赏

打赏

不感兴趣

看过了

取消

我有话说

0条评论

0/500

评论字数超出限制

表情
评论

为你推荐

推荐课程


社群

  • “健康为民 体验提升”案例征集 加入
  • 第九季管理奖官方群 加入
  • 全院血糖管理交流群 加入
  • 医院运营管理官方群 加入
  • 手术室精益管理联盟 加入
  • 医院SPD创新管理交流群 加入

精彩视频

您的申请提交成功

确定 取消
×

打赏金额

认可我就打赏我~

1元 5元 10元 20元 50元 其它

打赏

打赏作者

认可我就打赏我~

×

扫描二维码

立即打赏给Ta吧!

温馨提示:仅支持微信支付!

已收到您的咨询诉求 我们会尽快联系您

添加微信客服 快速领取解决方案 您还可以去留言您想解决的问题
去留言
立即提交