基于5G的混合现实影像云平台在远程手术中如何应用？

医疗行业是电子信息高科技在现实领域应用的先行者，随着科学技术的突飞猛进，数字医学得到了不断发展，混合现实技术为外科疾病精准化、个性化治疗提供了新的途径，在我国“十四五”规划和2035年远景目标纲要中均提出，要营造良好的数字生态，推广远程医疗，推进医学影像辅助判读、临床辅助等应用。混合现实（mixed reality，MR）是将虚拟现实（virtual reality，VR）和增强现实（augmented reality，AR）结合，通过对传统影像数据进行3D重建，再将3D模型通过3D眼镜投射到现实场景中，实现了虚拟世界和现实世界的融合，将其运用在医疗过程中可使诊断更加直观[1]。5G可以在28GHz超高频段以超过1Gbps/s的速度输送数据，其通信时延小的特点让远程医疗实现了实时共享[2]；5G凭借高宽带、低时延、大连接的特点[3]，通过与混合现实的结合，已成为医疗领域创新发展的新趋势[4]。

本研究基于武汉协和医院建设实践，结合人工智能图像处理、混合现实交互、增强现实音视频融合合、云计算等技术应用，构建了基于5G的混合现实影像云平台。实现院外远程医学会诊场景中影像数据的实时共享和精准远程手术指导以及院内手术场景中三维影像重建和精准手术辅助。为混合现

实、5G等新技术在医院诊疗、教学、科研过程中的融合应用提供实践参考。

1.需求分析

1.1 远程医疗 

目前偏远地区医疗资源欠缺，农村地区医疗人员匮乏，群众看病较为困难，建立以大型公立医院为核心的医疗联合共同体的远程医疗模式已成为改善地区间医疗资源不均衡的重要途径。然而传统的远程通讯技术已经难以满足当前远程医疗服务的需求[5]，医疗体之间医学影像数据的实时传输、存储、调阅、检索、数据备份等业务亟需结合新的技术提供更加稳定、高效、体验度高的服务。

1.2 影像数据互联互通 

医疗影像电子胶片本质上是高分辨率的数据化影像及其专业的图像浏览器系统，以医学影像归档和通信系统为基础提供影像图片的浏览服务。因此，未经集成的影像数据分散存储在医院的影像归档和通信系统（picture archiving and communication systems，PACS）中，在获取、共享和利用相关数据时一方面需要得到医院影像科审批和授权，流程烦琐且耗时长，另一方面影像系统与各接入系统之间的跨平台传输、调阅、结果互认等缺乏统一的管理。

1.3 手术诊治与术后康复 

随着医疗技术的发展，传统影像资料无法满足疾病精准化要求提高的需求。针对二维影像胶片，医生将其在脑海中重现具有一定的难度。在手术中，如果医生没有扩大切口面积就难以了解患者内部信息，另外，二维导航在立体性方面的欠缺，导致难以实现手术的精准化操作。在手术后，目前对于手术效果的评估方法通常只能通过患者自身的感受或者定期复查来确认，不利于患者及时康复。

2.应用实践

为了更好地满足以上临床需求，我院应用新技术设计并搭建了基于5G的混合现实影像云平台。平台通过应用统一标准与院内系统打通，同时提供封装的标准化数字接口，从基层医院接收并存储数据，实现院内外数据的互联互通。同时，构建数字底座，集成5G、视频融合、增强现实等技术能力，为后续开展精准手术服务奠定数据和应用能力的基础。

2.1多模态数据接入 

在远程手术服务的场景中，基于5G、视频融合技术、AR技术等能力，将远程会诊专家的指导意见（手势或路径）实时融合叠加至手术现实画面中。同时采用H.264视频和AAC音频编码技术标准，双向隧道视频传输方案，使音视频流传输流畅自然。应用多源视频显示技术，支持多个视频源接入，具有高扩展性的优势，能够兼容开放手术、腔镜手术、达芬奇机器人和超声等检查设备的视频流信号。

2.2 术前实现互联互通和三维模拟 

将影像数据通过云服务器进行集中处理，最后分布给各终端，满足不同科室业务场景的需求，实现海量的影像数据按需存储和调取，呈现出的影像可以在二维和三维之间自由切换，保证医生会诊时所需要影像的各个维度，同时还为医生提供人工智能建模、高性能图像处理、三维影像重建等应用功能，见图1。

通过混合现实显示设备营造全新3D可视化环境，可在物理空间1:1显示真实环境和虚拟模型结合的全息影像，为医生同时呈现三维虚拟医学影像数据与真实空间环境，从更高的维度应用数据，深度挖掘影像数据信息，提高医生对影像数据的空间认知能力[6]。另外，建立起全新的医患沟通模式，把传统的二维片子，通过三维全息方式展现给家属及患者。借助展现立体、直观、逼真、可视化等优势，使医患沟通和术前方案讨论更加顺利、便捷。

2.3 术中手术导航和三维解剖 

为各类内镜、显微镜等医疗设备提供手术可视化信息管理及实时业务协同，提供影像采集与处理、数据输出与备份、术中远程协作等功能，见图2。以多模态影像为基础，用于骨科、神经外科、胸外科、耳鼻喉科等外科手术，利用光学和磁学导航实现目标导航和路径导航。其中，在微创骨科手术导航中的应用，有望既不增加软组织损伤又可安全、精准、快速地辅助手术医生置钉。在3D打印模型上实现了高精度定位，模型位置偏差最小可达1 cm以内，为后期精准的临床手术提供安全保障。

2.4 术后康复对比和三维教学 

根据真实人体的数据建立包括骨性结构以及软组织的数字化三维模型，结合混合现实眼镜可实现动态教学、动态演示、实时沟通及多地会诊等功能。将数字化三维模型的坐标转换到以所述操作平台为基准建立的世界坐标系内，并将其匹配至操作平台的平面，达到虚拟物体自然放置于平面上的效果，从而营造逼真的手术氛围。另外，帮助医生和学生采用最习惯的触屏方式来学习正常人体解剖和临床典型案例，使原本必须依赖课本和教具的课堂变得更加直观和立体，学生通过平台，在学校就可以实现从“教室”到“手术室”的转变，让医学生在进入临床工作之前就具备了一定的三维影像重建技能和常见病的临床解剖知识，快速成长为医院的中坚力量。以观察全息影像的方式来帮助医生和学生学习医学知识，通过对三维影像的模拟操作，深度理解解剖结构和操作技术要点，使医学教育直观可视。相较于传统医生、学生之前只能依靠二维影像来想象组织器官三维结构的模式，学生可以快速掌握所学知识、获得真实操作经验、大幅提升教学效率和质量。

2.5 网络安全防护体系 

云平台是基于混合云架构进行部署，将医院内部PACS系统与公有云进行打通。为了保证与互联网相连的PACS的安全性和稳定性，基于网络安全等级保护2.0构建了如图3所示的混合云安全防护体系。根据安全特点，将安全区域划分为云上业务区、核心网络区、运维管理区、互联网接入区及医院内部防护区。医院内部防护区需保障医院内网到互联网的出口间的安全，建立包含内部防护区、隔离交换区、缓冲区、边界检查区、互联网出口区等在内的外联安全防护通道，将需要与互联网交互的应用部署在DMZ缓冲区，在缓冲区与内网的边界处部署隔离网闸、防火墙等安全设备，缓冲区与互联网的边界处部署入侵检测系统、入侵防御系统、抗拒绝服务攻击、Web应用防火墙等设备或防护配置。互联网接入区负责管理从互联网端接入的各类移动端、电脑端的应用访问控制及安全策略，部署相应负载均衡、应用防火墙等设备满足访问安全的同时保障访问速度。核心网络区是连接互联网接入区、医院内部防护区、云平台业务区三者之间的重要区域，该区域汇聚了所有网络流量，受网络攻击的影响最大，因此，设置安全运维管理区部署专门的网络安全防护设备来保护核心网络区的安全，提供身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范等安全防御能力。云上业务区则主要是依靠公有云来提供平台基础设施，部署相应的云端业务应用，因此，虚拟化安全、存储安全、数据库安全则是该区关注的核心，采取建立应用级容灾、数据级容灾、虚拟机隔离等安全措施来保障云端业务的稳定性。

3.应用效果

2018年1月，本院骨科叶哲伟教授带领团队成功实施全球首例混合现实技术三地远程会诊，实现将混合现实用于多地远程会诊和远程手术指导。目前本院所构建的5G混合现实云平台已经与全国多家医院开展联合会诊手术，最远距离达4 500 Km。2021年2月24日-2月25日，本院与距离3 600 Km外的中国人民解放军新疆军区总医院及4 500 Km外的新疆叶城县解放军第九五〇医院通过混合现实云平台技术，成功为前线战士及边疆居民开展3台远程会诊手术，这也是国家平战结合、军民融合方针导向下边疆、边境前线地区首次实现的混合现实云平台远程手术，为破解偏远地区战创伤、骨疾病进行手术救治提供了解决思路。应用过程中，远程手术指导中借助5G，网络速度基本稳定在900 M/s，实现效果如同零距离面对面手术。同时，利用成像技术生成的全息影像与实际人体结构在手术部位的平均偏差为0.4 cm，支持高分辨率成像使医生能够对手术视野完整掌控，术中所见与术前计划完全相符。平台从投入使用至今已开展近千台手术，术中运行稳定，未出现异常。

4.讨论

4.1 应用优势

（1）提升患者就医体验，改善医患沟通。当患者在医院检查完成后，可以通过扫描二维码等方式获取自身影像数据，在手机、平板电脑等终端进行在线浏览，及时地了解自身状况。同时经过授权，医生可以在线浏览和分析患者影像数据，如若需要帮助患者理解诊疗方案，可采取3D影像重建的方式，有利于提高患者的满意度和信任感。在远程手术中，医生可以通过3D影像让患者家属了解到患者的身体状况和患病部位，减少了沟通成本，便于后续治疗方案的开展，进一步改善了医患关系。由于5G和混合技术的结合，缩短了手术时间，降低了手术风险，促进了患者的术后恢复，提升了患者的就医体验。

（2）提高了医生诊疗效率并节省了人力投入。5G高带宽的特点使得远程医疗实现了真正意义上的实时共享，节省了远程医疗双方的时间成本。应用全息3D图像呈现病灶结构，实现患者影像数据精准3D重建和混合现实全息呈现，可以让医生的诊断更明确，提高诊断效率，医生还可以实时地运用三维手部动作来移动和操纵全息图像结构，观察病变范围及其与周围重要组织和解剖学标志的关系，制定手术的最佳路径和方式，提高手术精准度和安全性。

（3）改善了医学生的学习方式并降低了学习成本。以往主要是通过尸体标本和二维书本彩色图谱的学习方式来学习解剖，而标本保存困难且气味大，二维图谱对于学生而言有一定的理解难度。通过三维全息虚拟解剖数字人系统的构建，器官立体化的展现形式更容易让学生理解。

（4）实现了院内院外数据实时共享。平台对接院内PACS，分布到临床医生工作站，影像数据实时下载和调用，帮助医生随时随地进行手术规划和模拟演练。5G打破了医院之间的时空壁垒，使得我院专家更有效地指导基层医院进行会诊和实施高难度手术，在保证了手术效果的前提下节省了转诊时间，也帮助基层医院提升了诊疗水平，进一步推动了医疗资源均衡化发展。

4.2 存在的不足

（1）技术上存在局限。在手术的过程中，混合现实全息图像与实体组织目前仍然无法实现精准匹配，难以实现较为精确的三维可视化导航，这一问题也是目前全球混合现实研究所面临的难题。

（2）设备未实现普及。由于混合现实还处于起步阶段，研发成本较高导致相关配套设施费用较高，未能实现量产，在医院未形成普及性。同时，在硬件方面还未解决最核心的关键技术，需要依赖进口设备。

（3）行业标准需完善。5G和混合现实都属于新兴技术，行业内还未形成较为完善的标准化规范。虽然国家对于5G在医疗中的应用提出了标准化管理办法，但仍有待细化完善。例如，在影像资料的传输中需要确保存在可信赖的技术规范，在远程会诊中需要确认医疗人员双方的服务规范，在诊疗结果方面应存在处理规范以确保诊疗质量和患者满意度等。

（4）数据安全存在风险。新技术应用潜藏的网络安全风险，与黑客组织、勒索病毒、医疗设备、侵犯公民个人信息犯罪等老问题交织。影像资料的传输与共享，加大了数据读取交换过程中的安全风险。

参考文献

[1] 闫晓冬,侯建存,田青,等.混合现实技术在外科领域的应用研究进展[J].山东医药,2020,60(35):112-114.

[2] 孔祥溢,王靖,方仪.5G网络技术在医疗领域的应用前景[J].医学信息学杂志,2019,40(4):17-20.

[3] 贾斐,王雪梅,汪卫国.5G通信技术在远程医疗中的应用[J].信息通信技术与政策,2019(6):92-95.

[4] 潘锋.信息化为健康中国建设插上腾飞的翅膀——访国家远程医疗中心主任、郑州大学第一附属医院赵杰教授[J].中国医药导报,2019,16(25):1-6.

[5] 王能才,刘海珍,韦哲. 基于物联网的远程医疗信息服务平台示范及应用[J]. 中国医学设备,2018,15(2):87-90. 

[6] 叶哲伟.医学混合现实[M].武汉:湖北科学技术出版社,2018.