前言本周精读两篇南方医科大学刘再毅教授团队医学影像 AI 综述论文《医学影像人工智能发展现状、困境剖析与前景展望》《中华放射学杂志》2024《医学影像大模型肿瘤精准诊疗的范式革新》《协和医学杂志》2025两篇论文一脉相承从医学影像标准化数据集构建、 大模型算法优化、 算力资源利用等方面拆解了医学影像发展状态、面临的几大核心困境并提供了对应解决方案。本篇详细解读两篇论文中系统概念、主流模型、机器学习方法等并整理完整开源仓库链接适合医工交叉、医疗AI、医学影像算法学习者阅读参考。论文原文链接论文1《医学影像人工智能发展现状、困境剖析与前景展望》https://rs.yiigle.com/cmaid/1519589论文2《医学影像大模型肿瘤精准诊疗的范式革新》https://dx.doi.org/10.12290/xhyxzz.2025-0328一、基础概念解析《医学影像人工智能发展现状、困境剖析与前景展望》1.DICOM存储格式DICOM Digital Imaging and Communications in Medicine中文标准译名医学数字成像与通信标准全球放射、超声、内镜、核医学设备通用的文件存储 传输 元数据一体化工业标准所有医院 CT、核磁、DR、PET-CT 设备输出的原始影像全部是 DICOM 文件后缀.dcm。DICOM vs JPG/PNG对比维度DICOM 医学影像JPG/PNG 普通图片像素信息保留原始 CT/MRI 灰度值支持定量分析压缩后像素失真丢失原始灰度临床元数据内置患者信息、检查部位、诊断编号无任何额外信息需另外匹配病历设备参数记录扫描协议、磁场强度、层厚、重建算法无法消除不同来源数据的域偏移三维时序自带切片空间坐标可堆叠 3D 病灶、绑定随访多期影像仅单张二维图像无空间、时序关联信息《医学影像人工智能发展现状、困境剖析与前景展望》2.时空异质性1)空间异质性同一个肿瘤内部不同区域细胞、组织结构不一样。一块肺癌结节里有的区域是良性炎性组织、有的是高侵袭癌细胞、有的已经坏死、有的供血血管丰富而肉眼看普通 CT 只能看到有个“疙瘩”分不清内部差异。这就是空间异质性肿瘤同一时间、不同空间位置生物学特性不一样。2)时间异质性同一个病人的肿瘤。随着时间会持续变化。治疗前→化疗 2 周期→手术前→术后随访。肿瘤大小、内部坏死程度、侵袭能力不断改变甚至同一疗程内肿瘤部分区域耐药、部分区域持续缩小。这就是时间异质性肿瘤在不同时间点生物学特性发生变化。《医学影像大模型肿瘤精准诊疗的范式革新》3.混合专家MoEMixture of Experts架构稠密模型每一次推理、训练模型全部参数必须参与计算MoE 架构把整个大模型拆分成上百个独立小型子网络称为专家 Expert搭配一个门控路由网络每次输入数据只会选择激活极少一部分专家参与运算其余专家全程休眠不计算。DeepSeek-V3 的核心优势推理仅激活少量参数大幅压缩训练、推理成本模型总参数量可以做到几百亿规模但实际运行只启用 2~4 个专家的参数显存占用、算力消耗远低于同等能力的稠密 GPT 模型领域任务分工更专业不同专家会自主专精不同类型内容对应领域专家单独处理理解精度优于统一的稠密模型。4.动态负载均衡策略这是一套训练全程实时生效的路由调控算法持续监控每一个专家处理的样本总量自动修正门控网络的数据分配逻辑让所有专家承接的样本数量维持相对平均。 “动态” 关键含义不是固定分配规则训练过程中实时调整分流适配不断变化的输入数据分布。门控网络分配数据时极易出现分配失衡热门专家绝大多数输入样本都路由到少数几个专家算力满载、梯度剧烈震荡训练 loss 波动大、模型不稳定冷门专家绝大多数专家几乎分配不到样本权重长期得不到更新等同于模型白设计、显存资源闲置浪费。动态负载优势节省计算资源杜绝部分专家满载、部分专家闲置的两极分化所有显卡、专家子网算力充分利用避免硬件资源空耗同等训练任务下总算力开销更低。提升训练稳定性各专家接收样本量均匀权重梯度更新幅度平稳不会出现个别专家梯度爆炸、损失剧烈抖动模型收敛过程更顺滑大幅降低训练中途崩掉、效果退化的概率。《医学影像大模型肿瘤精准诊疗的范式革新》5.联邦学习Federated LearningFL2016 年谷歌提出属于中心化分布式协同训练框架专门解决医疗、金融这类「原始数据不能出本地」的痛点。核心规则原始数据永远留在各机构本地只上传模型参数 / 梯度到中心服务器不传输患者影像、病历等隐私数据。核心优势规避数据集中的隐私安全风险传统模式需要把全部医院患者影像上传到同一台服务器极易发生数据泄露违反医疗隐私法规联邦学习全程原始数据不出院区从根源保护患者隐私打破医院间的数据孤岛节约海量数据传输时间成本影像文件CT、病理切片单张体积巨大批量上传耗时极长而模型参数量远小于原始图像仅传输参数能大幅降低传输流量与等待时间。天生短板架构是星形中心化结构存在一个唯一核心服务器单点故障风险中心服务器宕机、遭受网络攻击整个多中心训练直接中断传输压力集中所有机构参数都要上传云端上千家医院大规模组网时云端带宽拥堵训练速度大幅下降全局稳定性差某一家医院本地训练异常、上传错误参数会直接干扰中心聚合结果拖累全部参与方的训练收敛。6.群体学习Swarm LearningSL2021 年 Warnat-Herresthal 在《Nature》发表彻底移除唯一中心服务器实现多中心对等 P2P 网状协同训练专门弥补联邦学习中心化架构的缺陷。核心优势去中心化安全性更强没有单点核心服务器任意一家医院断网、退出、被攻击剩余节点仍能正常交换参数、持续训练训练稳定性显著提升单家医院数据分布失衡、训练波动不会扩散到全网可随时新增 / 移除医院节点模型收敛曲线更平滑降低云端传输成本采用就近点对点传输跨省市多中心联合训练时传输延迟、带宽开销大幅下降。《医学影像大模型肿瘤精准诊疗的范式革新》7.生成式自监督1VAE 变分自编码器流程原图压缩为低维隐向量→从向量随机采样→解码器还原生成新图像特点生成图像稳定可控擅长低分辨率医学影像降噪、小样本数据扩充缺点生成画面偏模糊细节不足2GAN 生成对抗网络双网络对抗训练生成器造假影像判别器分辨真假二者互相博弈直到生成图骗过判别器。特点生成纹理细节清晰缺点训练不稳定、容易模式崩溃3Diffusion Model 扩散模型先正向给原图逐步加噪声变成纯白噪点→反向从纯噪声逐步还原出清晰医学影像特点生成高清 CT/MRI/ 病理图细节远超 VAE、GAN8.重建式自监督1MAE 掩码自编码器不生成全新图片而是故意遮盖原图大部分区域让模型把遮住的像素还原重建出来靠 “补全残缺图像” 学习视觉特征。和生成式最关键区别MAE 不会创造全新图像只是复原同一张原图被盖住的部分不生成新样本只学习原图内部空间、纹理、解剖关联。《医学影像大模型肿瘤精准诊疗的范式革新》9.MedSAM医学专用轻量化 SAM 分割模型Meta 原版 SAM 是通用自然图像分割模型体积庞大、显存开销高直接用在 CT、MRI、病理切片上显存极易溢出且对肿瘤、病灶识别适配差。MedSAM 是专门面向医学影像改造的 SAM 衍生模型。10.ViTVision TransformerViT 是通用图像大模型的视觉编码器主干把一张图片切分成若干图像块patch像文本 Transformer 处理文字一样用自注意力机制提取图像全局、局部特征。 原始 SAM分割一切模型的视觉主干就是标准大尺寸 ViT。优点捕捉长距离依赖能同时看懂整张 CT / 病理切片全局轮廓 微小肿瘤病灶痛点标准 ViT 参数量巨大、计算量大推理、训练时会占用大量 GPU 显存医院低端工作站、普通显卡跑不动。Tiny 微型、轻量化在标准 ViT 结构基础上做多层瘦身优化减少 Transformer 层数、缩小注意力头数量、简化通道维度大幅削减总参数量与计算量。二、重点观点分析论文1序号现存问题解决方案1现有数据集不仅标准多样还普遍存在显著的系统偏差加之对疾病认知的差异性共同构成了阻碍。更为棘手的是数据及其标注的不统一与标准化缺失极大地增加了机器学习算法处理这些数据的复杂度阻碍了机器与数据之间的顺畅交互。2016 年国际知名的 FORCE11 组织正式提出了FAIR 科学数据管理准则该原则旨在对医学影像数据的收集、处理、应用及管理提供一套标准化的框架与指导。FAIR 原则强调数据的四大核心属性可查询性 (Findable)确保数据易于被查询与识别可访问性 (Accessible)保障数据对用户开放且无障碍获取可交互性 (Interoperable)促进不同系统间数据的无缝交流与整合可再用性 (Reusable)即数据应能被重复利用并支持多样化的研究需求。2这种泛化能力不足的根本原因可能是数据样本量的不足、样本的多样性不足、数据标注的一致性差以及特征筛选方法不恰当等。1. 采用更先进的神经网络架构如Transformer可以更精确地捕捉医学影像中的复杂细节从而显著提高模型的准确度。2.强化学习允许模型通过与环境的持续互动自我优化和进步而迁移学习可以让模型基于已有的知识迅速适应新任务和不同的数据分布极大提升模型的适应性和效率。3深度学习算法自动生成的特征则因其内在的 “黑箱” 特性而显得神秘莫测。这些特征缺乏直观的定义和明确的数学表达式导致其在生物学层面的可解释性大打折扣。这一局限性在一定程度上阻碍了深度学习在临床医学中的广泛应用。一种常见的解决方法是利用特征力图通过反向推理模型的决策从而判断模型关注的区域在临床诊断中的重要性开展基因与影像特征之间的联系使用生物技术开展动物模型研究以揭示影像特征的深层生物学机制。4不同模态间的医学影像数据如 CT、MRI、PET 等存在显著的语义和特征空间差异单一模态信息不足以支撑完整诊疗判断。将不同类型的医学影像如 MRI、CT、超声、PET 等进行有机融合能够为疾病的诊断和治疗提供更全面、更精准的信息。利用深度学习中的多模态融合网络能够自动学习不同模态数据之间的权重和相关性从而提取出更具鉴别力的特征。论文2序号现存问题解决方案1传统 AI 技术在肿瘤诊疗中的应用长期受限于 “单任务、单病种” 的开发范式难以满足临床实践对智能诊断系统泛化性和适应性的迫切需求。多任务模型可通过使用同一底层特征编码器对不同任务进行预测不仅减少了模型训练成本且可通过任务间的知识迁移增强模型的临床适用性。2医学文本数据与通用文本数据存在明显差异其具有较多专业词汇及描述方式直接使用通用文本数据集训练文本编码器难以取得理想成绩。研究人员基于 PubMed 等生物医学文献平台构建专业数据集并相继开发了PubMedBERT、BioBERT 和 ClinicalBERT等医学专用预训练模型。3医学影像数据采集存在明显的中心差异不具有统一规范标准如影像中 CT、MRI、PET 不同扫描参数的设置差异病理中使用不同倍镜采集全视野数字影像的尺度差异。FORCE11 组织提出了FAIR 数据管理准则为医学影像数据的标准化管理建立了重要框架包括可查询、可访问、可交互、可再用四个方面。4医学数据包含患者的个人身份、健康状况、诊疗过程等敏感信息泄露患者隐私会对社会造成恶劣影响并严重违背医院伦理规定及相关法律法规。联邦学习允许多个参与方在不共享原始数据的情况下协同训练机器学习模型保护患者隐私和数据安全。5数据安全隐患会导致所谓的“数据孤岛” 现象进一步加剧这显然不利于大规模数据集的建立。群体学习在联邦学习的基础上进一步实现了多中心学习的去中心化保证模型训练的安全性和稳定性降低了大规模数据云端传输的时间成本。6不同癌种在生物学特性、病理过程和影像表现上的异质性以及同一癌种在不同患者间的个体差异共同构成了模型泛化的主要障碍。对比学习算法通过构建正负样本对来学习数据的高维特征表示不仅能有效挖掘不同癌种和模态间的特征差异性与相似性还可平衡多模态特征的权重显著提升模型的数据利用效率。7大规模数据集的精准标注成本过高限制了其实际可操作性。自监督学习主要包括生成式自监督和重建式自监督前者通过生成与真实数据相似的伪样本学习图像内在特征后者通过恢复图像缺失部分学习图像的局部与全局特征。8医学影像大模型参数量往往高达数十亿至数百亿通常会采用高性能计算设备和技术硬件成本门槛高。DeepSeek-V3 采用了混合专家 MoE 架构其仅需激活少量参数即可完成推理任务极大程度降低了训练成本。9原始 SAM 模型参数量大、计算开销高直接应用于医学影像分割任务时对硬件资源要求较高。MedSAM可在保证图像嵌入特征向量尺寸不变的情况下将原始模型中的视觉编码器模块 ViT 替换为轻量化视觉编码器模块 TinyViT以降低对 GPU 显存的要求。10大模型在临床环境中部署和应用时常面临显存占用高、推理速度慢和基层医院硬件条件有限等问题。知识蒸馏技术也可在一定程度上弥补算力不足的问题通过让小模型学习大模型的知识实现模型压缩和高效部署。11模型决策过程缺乏足够的临床可解释性会影响医生对 AI 结果的信任度和临床接受度。通过梯度加权类激活映射 Grad-CAM等可视化技术对大模型的特征提取和融合过程进行详细剖析从而使临床医生更直观地理解在模型决策中起决定性作用的变量特征。三、学习收获总结1. 论文1全阶段剖析医学影像 AI 落地困境归纳四大行业共性难题数据标准化缺失、模型泛化能力不足、模型生物学可解释性差、跨机构数据孤岛与隐私冲突并对应给出标准化、分布式隐私计算、可解释可视化、多模态融合四大完整解决路径同时预判医疗大模型、多模态融合、伦理法规三大长期发展方向是入门的纲领性综述。2. 论文2传统单任务医学 AI 存在单病种、泛化差、罕见病失效、重复开发成本高等硬伤医学影像大模型通过多模态融合、自监督预训练、跨中心知识迁移重构肿瘤诊疗底层逻辑实现从「单一静态影像诊断」到「多组学动态个体化预测」的范式变革.四、主流医影模型1. BioBERT开源地址https://github.com/naver/biobert-pretrained2. ClinicalBERT开源地址https://github.com/EmilyAlsentzer/clinicalBERT3. MedSAM开源代码https://github.com/bowang-lab/MedSAM