据悉,微软旗下语音识别子公司 Nuance Communications 发布了一款 AI 临床笔记软件,该软件名为 Dragon Ambient eXperience (DAX) Express,主要面向医护人员。DAX Express 旨在帮助减轻临床医护的管理负担,可在病人就诊之后的几秒钟内,自动生成临床笔记草稿。该软件由环境人工智能 (ambient A.I.) 和 OpenAI 的 GPT-4 共同驱动。
微软于 2021 年以约 160 亿美元收购了Nuance。该公司通过销售识别和转录医生办公室访问、客户服务电话和语音邮件等场景中语音的工具来获得收入,DAX Express 补充了 Nuance 已经在市场上提供的其他现有服务。据悉,医生可以使用他们的声音进行操作,使他们能够查看临床系统并快速访问患者信息。此前,DAX可以将口头患者就诊转化为临床记录,并通过人工审查流程发送,以确保其准确和高质量。这些笔记会在预约后四小时内出现在病历中。如今,DAX Express 可在几秒钟内生成临床记录,以便医生可以立即查看患者就诊的自动摘要。
微软旗下语音识别子公司Nuance Communications日前发布一款AI临床笔记软件,该软件由OpenAI旗下的GPT-4共同驱动。
微软称,自现代医学诞生以来,创新之弧带来了以前难以想象的突破和治疗,改善了健康状况并延长了寿命。我们现在处在一个数字化转型正在重新定义组织处理患者参与、护理团队协作和提供者体验的方式的时代。
下一代人工智能有可能通过使临床医生专注于个性化患者联系来彻底改变医疗保健——加强医学中的人际互动、降低成本并减轻提供者面临的管理和认知负担。
微软推出了一个新的解决方案Dragon Ambient eXperience (DAX™) Express,称它代表了医疗保健领域的下一个突破,也是实现大规模临床文档自动化之旅的一个重要里程碑。
[烟花]AI+营销:蓝色光标、易点天下、元隆雅图、三人行、浙文互联、天下秀等AI+医疗最容易应用的地方就是超声医学影像.特别对于小公司来说更是弯道超车的好机会
摘要
人工智能(AI)技术发展至今已在许多研究领域和产业取得引人瞩目的成就,大大推动了高度依赖机器操控和海量信息数据分析的医学超声影像学的发展。目前AI在超声医学领域的发展是医工结合交叉研究的新热点,越来越多的超声医学专家和数学家、计算机科学家共同致力于推动超声医学研究与AI的融合实践,旨在提高超声诊断的准确率、降低误诊率、缩短报告时间,满足日益增长的临床需求。本文主要就超声医学在AI领域的研究进展、AI时代我国超声医学发展的机遇与挑战等作一综述。
人工智能(artificial intelligence,AI)发展至今已有60余年的历史,许多人工操作乃至医疗手术操作已逐渐被智能机器人取代[1-4]。然而,国内外AI在医学领域的发展仍处于起步阶段,目前是医工结合交叉研究的热点[5]。为了满足日益增长的医疗需求,越来越多的医学专家和数学家、计算机科学家共同致力于推动医学研究和AI的融合实践,特别是对现代医学中高度依赖机器操控和海量信息数据采集处理的医学超声影像学产生了较大影响[6]。在医疗活动产生的大数据中,90%以上为医学影像资料,其中超声影像因其独有的实时动态特点,数据更为庞大和复杂,人工分析数据的工作量巨大且准确性易受人为主观因素影响。新兴的云存储、机器学习、语音和医学图像处理、卷积神经网络[7-8]等计算机技术的飞速发展,推动了现代超声影像医学向智能医学的迈进,有望促进数字医疗发展,构建新的智能医疗模式。
目前,业界对医学影像AI的定位共识在于计算机辅助诊断(computer-aided diagnosis,CAD),基于图像数据的医学影像检查,如超声、磁共振成像(magnetic resonance imaging,MRI)、计算机断层扫描(computed tomography,CT)、X线片、正电子发射计算机断层显像(positron emission computed tomography,PET)是医疗智能诊断的最佳数据来源。几乎所有基于医学影像的CAD系统均具有如下的设计流程[9]:首先通过计算机对医学影像采集的图像进行预处理,然后选取勾画出感兴趣区,再通过计算机选择并提取相应的特征进行分类识别,最后由专业医师进行综合判读,得到程式化诊断结论。
AI影像辅诊系统借助计算机代替了人工大量重复性、机械性的工作,使医师有精力和时间诊断更多的患者,进行更有价值的诊疗探索;简化了工作流程和管理,提高了超声医师的工作效率,特别是能够减少依靠超声医师主观经验而造成的诊断误差。本文旨在对超声医学在AI领域的研究进展及AI时代我国超声医学发展的机遇与挑战等作一综述。
超声医学在AI时代的发展现状
1.1 超声医学的工作现状及智能化需求
无论是在国外还是国内,临床超声医师的工作职责均包括报告诊断、选择复查、通报会诊、资料查询等。但国外超声部门隶属于影像科,工作人员分为超声技师和超声医师,技师负责患者的扫描检查与资料汇总,而医师则进行诊断与会诊,二者分工明确,工作量和工作强度均相对较低,对出具报告的时效性要求也不如国内高。国内超声科是一个独立的平台科室,因超声检查具有便捷、经济、无损伤、无辐射、报告快速等优势,使得临床医师和患者对超声检查诊断的需求急剧增加,从而导致普遍存在超声医学数据信息量大,超声医师的工作量、工作强度和责任风险大,以及诊断水平主观差异大、质量缺乏统一标准等问题。
智能化工具的出现可以满足目前医疗环境对于超声诊断领域快速、准确、统一标准的急迫需求。美国血管超声检查规范采用Jefferson智能化模板记录和提取工作站,便于医师根据技师的标准化扫描检查操作存储的图像信息给出标准化、客观统一的诊断意见,这为我国率先探索成立血管超声规范化培训中心提供了借鉴与参考[10]。随后国内也相继对腹部、浅表、妇产等超声各亚专业的诊断规范与指南进行统一细化并制定质量控制标准,针对超声诊断报告中存在的问题,如陈述性和非结构化的超声报告模式、报告中的大部分数据松散无序、提供信息有限、超声影像描述术语使用不统一、诊断报告缺乏可比性等,进行了智能化诊断工具的探索[11-12]。
智能化的超声诊断工具应具有如下特点:(1)可对超声扫描检查和记录建立统一标准,以专科系统(腹部、血管、浅表、妇产、心脏、肌骨等)超声分类、以器官为基础(肝、胆、胰、脾、肾、乳腺等)扫描检查获取规范化和标准化的图像;(2)在超声仪器内设定统一的操作流程和检查标准,自动切换显像模式、自动定位取样位置、转换新的体表标识等;(3)对正常或阴性检查流程进行高效智能优化,保证超声图像存储的系列性和一致性,改进单一重复的工作模式;(4)将超声仪器和影像存档与通讯系统(picture archiving communication system,PACS)进行一体化改进,对存储的超声图像按照扫描检查切面、部位器官、检查模式进行智能化分类排列,对报告编辑中出现的错误术语进行屏蔽或自动纠错,对超声危急值进行警示报告,建立智能化的超声检查报告模板,并给予智能化辅助诊断和建议。
1.2 AI在超声医学领域的应用示例
1.2.1 甲状腺超声智能诊断 基于甲状腺病变的超声特征,可采用计算机技术对结节内部囊实成分、回声强度、边界清晰度、形态规则度、钙化程度、形状、纹理异质度等进行智能化恶性风险判读。目前,上市许可的甲状腺超声图像分析系统AmCAD-UT® Detection是利用计算机视觉技术对甲状腺结节的超声特征进行量化分析,从而提供客观一致的视觉化超声影像和高准确率的判读结果,并即时生成数字化超声报告。近年来多次开展的人机竞技读片交流会上,甲状腺超声机器人辅助超声医师在短时间内诊断甲状腺结节良恶性的准确率基本达到主治医师以上水平,表明超声机器人可以接收甲状腺超声图像,即时生成检查结果,标注结节位置和尺寸,有效识别超声影像特征,从而缓解超声医师的工作压力[13]。
1.2.2 乳腺超声计算机辅助诊断 基于乳腺影像报告与数据系统(breast imaging reporting and data system,BI-RADS)的乳腺结节超声诊断可使超声医师根据乳腺结节的超声特征结合个人经验对结节的良恶性风险范围作出评估。结合BI-RADS开发的乳腺超声CAD系统提取和量化分析乳腺结节的形态特征与纹理特征,有助于提高诊断的准确率和一致性,减少医师主观判读的误差[14]。
1.2.3 自动乳腺全容积超声成像及图像解析 采用自动乳腺全容积扫描(automated breast volume scanner,ABVS)可在短时间内自动获得层间距为0.5~0.8 mm、超过500个层面的超声二维图像,然后进入分析系统,快速地对采集的图像数据进行冠状面、纵切面和横切面的特征分析[15]。ABVS可观察传统二维超声不能显示的乳腺冠状面图像,有助于直观显示乳腺肿瘤内部结构和形态特征。有研究表明乳腺恶性肿瘤冠状面“汇聚征”的出现率与肿瘤浸润性及有无同侧腋窝淋巴结转移有关[16],其可作为评价乳腺恶性肿瘤生物学行为的一项辅助指标,为临床提供参考依据。
1.2.4 肝脏超声影像报告和数据智能化 智能化的肝脏超声影像报告和数据系统可以完成对肝硬化或其他危险因素的肝细胞癌影像诊断,采用规范一致的肝脏影像术语,减少对图像解读的主观差异与错误,能够提高诊断质量及对临床提供科学诊断依据。宋家琳等[17]提出了适合评估肝硬化程度的超声图像算法,对超声图像的肝脏包膜连续性和平滑度几何特征、肝实质粗糙度和形状不规则度以及肝血管平滑度、僵硬度等纹理特征进行定量分析,以可视化智能手段间接评估肝硬化患者的肝功能。Pavlopoulos等[18]用模糊神经网络对肝脏超声图像进行分析,结果表明分形维度纹理分析(fractal dimension texture analysis,FDTA)、空间灰度独立矩阵(spatial gray level dependence matrix,SGLDM)、灰度共生矩阵(gray level co-occurrence matrix,GLCM)、灰度运行长度统计(gray level run length statistics,RUNL)、一阶灰阶参数(first order gray level parameter,FOP)5个特征参量通过几何图形模糊装置向网络输入训练,能够用于智能化识别肝脏弥散性病变,对脂肪肝、肝纤维化和正常肝脏做出区分。
1.2.5 计算机辅助骨骼肌损伤超声定量诊断 随着高分辨率超声在骨骼肌系统的广泛应用,超声医师期望借力AI技术来提高骨骼肌损伤超声影像临床判读的一致性及准确率[19]。赵佳琦等[20-22]通过开展计算机视觉定量识别骨骼肌纹理的一系列实验研究和初步临床实践,验证了自主研发的技术“骨骼肌损伤超声图像纹理定量分析的强度界面多级分解法”。该方法是在多尺度斑块分解思想的基础[23]上,基于个体肌纤维的几何特征和肌纤维之间分布的几何特征,从8个不同层次应用计算机工具辅助诊断肌肉损伤,并采用结构化信息极大分解的计算机图像处理专利技术(专利号:201510019412.4)[24]实现AI对超声造影后肌肉损伤区域模糊边缘的分割。
1.2.6 其他超声智能工具 心脏彩色超声自动心肌运动定量技术(automated cardiac motion quantification,aCMQ)提供了评价整体和节段心脏功能的方法,其基于二维斑点追踪技术,提供一套测量工具和系列定量参数,无角度依赖性,评价的心肌运动测量结果更准确[25]。智能三维超声成像简便易行,可以完成胎儿颅脑标准切面以及胎心切面的自动识别[26],可一键获取最佳图像,完成相关参数的自动检测,无需手动调节。利用模块化软件系统可对血管超声图像进行自动化辅助解析[27],简化了血管超声检查流程,减少了对操纵者的依赖性,缩短了检查时间。基于多阶段回归模型和时空回归模型,采用计算机技术已实现了对盆底超声中膀胱脱垂分级的自动化研究[28]。
AI时代我国超声医学发展的机遇与挑战
2.1 AI发展规划及超声领域应用的良好前景
科技的高速发展促使新一代AI技术广泛应用于医学大数据的超声影像中,其优势显而易见。在日常超负荷工作量和复杂高风险的检查压力下,超声AI系统能优化检查流程、规范诊断标准、缩短检查与报告时间,显著提高超声医师的诊断信心和工作效率。可以预见AI在未来助力超声诊断与治疗技术、人才培养等方面具有广阔的创新与发展前景。
大数据+AI+超声医学不断融合发展,可以使医院、医师和患者三方都能从超声智能化中获益,从而提升医疗服务质量,颠覆传统医学教育模式。这种智能化、数字化的超声诊疗平台可向基层医院推广,提高基层超声医师的诊断水平,让基层患者也能获得专家医师的服务;可部署在医院和健康体检中心,协助医师完成大量的超声体检筛查,减轻超声医师工作压力,弥补人手的不足;可将超声智能系统部署在云端,通过互联网联合多家医院建立远程会诊体系,为偏远地区较为落后的医疗服务提供技术支持;同时,还可与远程医疗平台开展在线合作,面向与平台签约的全国医院的医师提供服务。
2.2 超声诊断设备搭上AI是顺势而为
我国医疗资源分配不均衡,基层医师专业能力有很大的提升空间,加之临床对超声诊断需求旺盛,因此更新超声设备势在必行。开发植入超声智能的辅助诊断系统,实现检查、诊断、治疗一体化,可使医院获得更多的共享资源及技术保障,系统性地降低成本,也能帮助医师提高读片效率、降低误诊的概率,特别是有助于对罕见病和肉眼容易误判的疾病做出准确识别。机器人辅助介入超声、智能导航定位穿刺能够为患者提供更精准的治疗方案[29]。
2.3 超声AI发展中存在的问题
利用超声图像的大数据,探讨机器学习及深入学习,深化计算机辅助诊断,提高组织定征的水平,实现医学图像智能识别是大势所趋。但医疗行业是一个容错率极低的行业,超声诊断有一定复杂度,且每位医师的扫描手法不同,得到的数据不可避免的具有主观性差异,因此对影像识别算法有很高要求。获取大数据更需要超声医师提供临床知识和经验,再由计算机专家把医学特征转化成高效的计算机语言,让机器进行深度学习。对于超声AI研究团队来说,如何找到适用特定疾病的图像特征来进行数据分类、收集、规范和标注是关键[30],获取超声影像后,如何制定出适合超声医师和算法工程师的感兴趣区勾画标准,需要超声医师和计算机技术人员共同探讨。
尽管如此,开发AI超声诊断工作站,利用PASC的全方位信息,基于循证医学知识,在心脏、血管、甲状腺、乳腺、肌骨、肝脏、妇产等领域实现智能辅助诊断的功能大有可为。但医学影像信息超载,快速和大量的智能化读片不可避免地会在医患之间产生一定的隔阂,超声医师之间缺乏沟通与交流,综合性的超声影像诊断被普遍程式化。
今后在超声介入治疗方面,可进一步开发完善AI导航介入系统,通过计算机软件实时监控穿刺的位置,提高穿刺的准确性;开发远程操控扫描检查机器人和无线传输技术,实现远近程交互的精准诊断与介入治疗,协助医师完成临床诊疗操作。但这些不可避免地使医师更加依赖程式化的设备操作,从而缺乏个性化诊疗特色。
2.4 超声人员的未来职业发展方向
在短时间内,AI仍不可能完全代替医师,特别是医疗过程中倡导的人文关怀、逻辑推理等是机器无法取代的。但是,AI的超强学习能力和综合分析处理问题的能力使其具备了几乎超越人脑对疾病超声图像定量分析和精准诊疗的潜能[31],在未来必将改变超声从业人员的工作方式,如自动化扫描各脏器的标准切面并自动出具相关报告,成为超声医师诊疗工作中不可或缺的重要辅助工具。
小结
AI技术有力推动了高度依赖机器操控和海量信息数据分析的超声医学领域的发展,满足了目前医疗环境对于超声诊断的快速、准确、统一标准的需求。虽然我国的超声AI发展过程中面临着一些问题与挑战,相信通过大数据+AI+超声医学的不断融合,可以提高超声诊断的准确率、降低误诊率、缩短报告时间及提升医疗服务质量,满足日益增长的临床需求,并使医院、医师和患者三方都能从超声人工智能化中获益,具有广阔的创新和发展前景。
祥生医疗是做超声影像设备
近年来,全球主要国家都在加大对人工智能的投入,它的战略重要性已成为普遍共识。以AI为首的数字技术为抗疫提供了重要的工具,在医疗、制造业、服务业、城市治理等领域发挥了重要的作用,并将在后疫情时代全面支撑复工复产和数字经济的发展,祥生医疗的超声设备在此方面做出了很好的榜样。
在疫情期间,祥生医疗的超声仪器在湖北多家医院进行部署,帮助医护人员进行诊疗。患者做完检查后,设备只需几秒钟就可完成AI识别,在一分钟内为医生提供辅助诊断参考,大幅缩短其读片时间,提升工作效率并且降低误诊率,有效缓解了疫情初期医疗资源严重不足的问题。
另外,祥生医疗的高端彩超XBit 90,在临床应用中起到了极大的作用。在此前的展会上,最新高端推车式彩超XBit 90展现了全新平台配合最前沿的技术,在腹部、产科、浅表、心脏的扫查方面体现出优越的性能,搭载的人工智能(SonoAI)技术,成就“智”清影像。其采用了全新的平台,保证了高速的处理和运算能力,独有的脉冲压缩技术、自适应时空技术、扩展顶点技术,搭载SonoFusion融合成像、SonoContrast造影成像功能、左室斑点追踪、Elastography弹性成像以及晶体成像等功能,为全身应用诊断提供了更有力的依据,单晶探头、腔内容积探头,双平面探头,儿科相控阵探头等特殊探头的加入也让临床应用更加广泛。
东部战区总医院超声科主任杨斌教授曾在“胡桃夹综合征、胆囊癌、乳腺占位”等病例中使用高端彩超XBit 90,并赞许了这款彩超机对图像的二维分辨率、彩色的灵敏度以及机器的工作流畅度。南京医科大学附属苏州医院邓学东教授也分享过高端彩超XBit 90在胎儿肾上腺出血及常规产筛等应用体验,高端彩超XBit 90的优异表现,让邓教授赞叹不已。
此次疫情充分展现了“泛在智能”的颠覆性作用与未来发展潜力。以AI为首的数字技术为抗疫提供了重要的工具,在医疗领域发挥了重要的作用,并将在后疫情时代全面支撑复工复产和数字经济的发展,祥生医疗的超声仪器势必会在未来的发展中大放异彩。
祥生医疗在AI+医疗一马当先
在新基建方面,祥生医疗较早在AI智能、5G、物联网等领域布局,加大研发投入,目前均已实现技术创新和突破,AI智能方面,祥生医疗的乳腺人工智能软件成为全国第一个通过了中检院国家级三类医疗器械检测报告的超声AI产品。此外,其推出的XBit和SonoBook高端彩超,涵盖全方位的先进技术,媲美国外进口品牌。
据了解,祥生医疗的超声仪器——高端推车式彩超XBit 90,全新平台配合最前沿的技术,在腹部、产科、浅表、心脏的扫查方面体现出优越的性能,搭载的人工智能(SonoAI)技术,成就“智”清影像。秀丽的外观与卓越的品质,经得住时间的考验。
在前不久第十六届中国(无锡)国际设计博览会暨第九届“太湖奖”设计大赛上,祥生医疗自主研发产品SonoEye掌上超声脱颖而出,荣获产品组最高级别奖项金奖,既彰显了公司领先行业的产品及技术优势,也有助于祥生医疗打造更为优质的国际品牌,助力国内外市场开拓。
身处医药产业的祥生医疗在相关政策的扶持下,坚定不移的立足本土,坚守创新本心,加大研发投入,加快关键核心技术攻关,让AI技术赋能更多超声仪器,实现更强劲的可持续发展。