上海科技大学生物医学工程学院教授、上海临床研究中心特聘科学家沈定刚课题组在磁共振模态合成、快速重建，影像配准、分割，以及头颈癌放疗剂量分布的预测等领域深入探索，近期相关研究成果分别在IEEE TMI、IEEE JBHI、IEEE TBME、Medical Image Analysis、Magnetic Resonance in Medicine上发表。
1、探索多模态脑部磁共振影像任意缺失模态的合成技术
现有的医学影像合成方法通常基于已获取模态和缺失模态之间的跨模态转换，但通常只能合成特定的模态，不能灵活处理不同数目的模态缺失场景，同时依赖网络的单次前向传播合成缺失影像。为此，本工作提出一种任意模态缺失磁共振影像统一扩散合成网络，区别于传统的跨模态映射范式，从“渐进式全模态修复”的角度高效实现任意缺失模态填补。该方法不仅能基于单一模型应对任意缺失模态的生成，并且在多个多模态医学影像数据集上的多种模态缺失情况下均展现出最优的表现，充分展示了所提出模型的优越性。
图1. 提出的基于扩散模型的多模态脑磁共振影像任意缺失模态生成网络框架。
图2. 提出模型与现有方法在BraTS数据集上任意缺失模态合成效果对比。A表示输入模态图，B-F分别展示不同模型的合成结果图，G展示所提出模型的合成结果图。
相关研究成果以“Multi-modal Modality-masked Diffusion Network for Brain MRI Synthesis with Random Modality Missing”为题发表于IEEE Transactions on Medical Imaging。上海科技大学沈定刚课题组毕业硕士生孟祥熙为第一作者，助理研究员孙开聪为通讯作者，上海科技大学为第一完成单位，上海临床研究中心为合作单位。上科大常任正教授沈定刚、常任副教授何旭明参与合作。
论文链接：https://doi.org/10.1109/TMI.2024.3368664
2、探索深度学习方法在实验动物快速磁共振指纹成像场景中的应用
磁共振指纹成像方法是一种新型的快速、多参数磁共振定量成像方法，但临床前成像要求分辨率高，且磁共振设备并行成像能力有限，难以在高欠采倍数的磁共振指纹数据中恢复出高信噪比、无重建伪影的参数定量结果。为此，本研究探索了使用深度学习方法提升参数定量结果准确性与稳定性的可行性。最终结果显示，该方法能够在使用1/4基线数据的情况下获得高质量的猕猴全脑T1和T2定量图像，在分辨率达到0.35x0.35x1 mm3的情况下扫描时间缩短至20~30分钟。同时还能准确捕捉猕猴猴脑基底核团（如苍白球、尾核、壳核）T2随年龄增长而下降的趋势。
图1 磁共振指纹参数定量网络（上）与数据仿真流程（下）
图2 参数定量网络捕捉猕猴脑部基底核团T1（左）和T2（右）随年龄的变化情况
相关研究成果以“Deep Learning-Assisted Preclinical MR Fingerprinting for Sub-Millimeter T1 and T2 Mapping of Entire Macaque Brain”为题发表于Magnetic Resonance in Medicine。上海科技大学沈定刚课题组原博士后顾雨宁、潘永生为共同第一作者，上海科技大学常任正教授沈定刚为通讯作者，上海科技大学为第一完成单位，上海临床研究中心为合作单位。
论文链接：https://doi.org/10.1002/mrm.29905
3、研发一项基于肝脏动态增强CT的影像配准新算法
肝脏DCE-CT的图像配准对于肝癌的诊断和图像引导手术规划至关重要，现有的分割引导配准方法只关注器官分割内的体积配准，忽略了其解剖结构的固有属性。由于造影剂的流动，DCE-CT图像中也并不总是有可用的成对器官分割。为了解决上述问题，本研究提出了一种将相关器官的结构信息与分割引导的深度配准网络相结合的新型结构感知图像配准算法。新算法可充分利用器官分割信息，并在配准过程中保持器官的正确拓扑结构。新算法在大样本肝脏DCE-CT数据集和公开的LiTS数据集上进行了详尽的对比验证实验，实验结果表明该算法能够实现更高的配准准确性，并更有效地保留解剖结构。
图1 提出的解剖结构感知的神经网络模型用于肝脏动态增强CT图像配准
图2 本文提出的配准网络相较于当前最先进的图像配准算法具有更高的配准精度，并且能够保持正确的器官拓扑结构
相关研究成果以“Structure-aware Registration Network for Liver DCE-CT Images”为题发表于IEEE Journal of Biomedical and Health Informatics。上海科技大学沈定刚课题组原博士后薛鹏为本论文第一作者，上海科技大学常任正教授沈定刚为通讯作者，上海科技大学为第一完成单位、上海临床研究中心为合作单位。
论文链接：https://doi.org/10.1109/JBHI.2024.3350166
4、探索0-6岁儿童脑图像的分割算法
大脑结构的自动分割在研究纵向脑发育中具有重要作用，不同时间点的脑图像需要多个模型进行分割，给评估脑发育趋势带来一定偏差。为此，本研究提出了一种统一分割模型，结合纵向脑MRI作为引导的分割-配准框架，用于分割0-6岁儿童脑图像。该模型可以适用于单模态或双模态的输入信息，扩大了其在临床应用中的场景。提出的方法在目前最大的纵向脑数据集上进行了验证，并实现了最佳性能。这意味着它可以成功集成到儿童脑图像分析的流程中，并基于上海联影智能医疗科技有限公司的研究平台发布，以支持中国脑计划项目。
图1 纵向脑MRI引导的分割-配准框架和统一的儿童脑组织分割模型的方法图
图2 脑组织分割的对比结果
相关研究成果以“Unified Model for Children’s Brain Image Segmentation with Co-Registration Framework Guided by Longitudinal MRI”为题发表于IEEE Journal of Biomedical and Health Informatics。上海科技大学沈定刚课题组博士研究生滕琳为第一作者，上海科技大学常任正教授沈定刚和特聘研究员石峰为共同通讯作者。上海科技大学为第一完成单位，上海联影智能医疗科技有限公司为合作单位。
论文链接：https://doi.org/10.1109/JBHI.2024.3393974
5、探索头颈癌放疗计划剂量分布的预测算法
自动和精确的剂量分布预测在放射治疗计划中具有重要作用。目前基于深度学习的剂量预测算法性能仍主要受限于两个因素：1）射野方向的剂量预测不准确；2）感兴趣区域 （Regions of Interest, ROIs）内的剂量预测不准确。为此，本研究提出了一种基于射线束分解的剂量分布预测网络，提出的方法在AAPM OpenKBP挑战公开的头颈癌数据集上进行验证，实现了最优的表现，有望应用于实际临床放疗中。
图1 基于射线束分解的头颈癌剂量分布预测方法框架图
图2 剂量分布图的对比结果。第一和第三行代表不同样本的剂量分布图（横断位）；第二和第四行代表预测结果和真实结果之间的偏差图。第一到七列代表不同方法的预测结果，第八列代表真实结果。
相关研究成果以“Beam-wise dose composition learning for head and neck cancer dose prediction in radiotherapy”为题发表于Medical Image Analysis。上海科技大学沈定刚课题组博士研究生滕琳、毕业本科生王斌为共同第一作者，上海科技大学常任正教授沈定刚为通讯作者，上海科技大学助理教授崔智铭参与合作。上海科技大学为第一完成单位，上海临床研究中心为合作单位。
论文链接：https://doi.org/10.1016/j.media.2023.103045
6、探索血栓切除手术后的脑出血诊断新方法
血栓切除术后脑出血的实时诊断对于后续治疗至关重要，但在标准单能量CT（SECT）中难以实现。双能量CT（DECT）扫描仪采用两种不同的能谱，能基于能量相关的衰减特性实时区分出血和造影剂渗漏。由于高昂成本，DECT扫描仪在医院中普及率远不如SECT扫描仪。为了解决这一困境，本研究从SECT图像生成伪DECT图像以实现出血的实时诊断，这是一种基于3D Transformer的多任务学习框架。实验使用DECT数据中的混合120kV图像来近似真实的SECT图像，以解决无法获得真实配对的DECT和SECT的数据问题。结果表明，SDTGAN生成的DECT图像优于当前最先进的方法。
图1 提出的基于视觉变换器的双支路生成框架SDTGAN
图2 两个典型案例的 DECT 样本的视觉比较。
相关研究成果以“Real-time diagnosis of intracerebral hemorrhage by generating dual-energy CT from single-energy CT”为题发表于Medical Image Analysis。上海科技大学沈定刚课题组博士研究生江才文为第一作者，上海科技大学常任正教授沈定刚为通讯作者, 上海科技大学为第一完成单位、上海临床研究中心为合作单位。
论文链接：https://doi.org/10.1016/j.media.2024.103194
7、探索胎儿磁共振脑组织的分割方法
厚层胎儿脑磁共振（MR）扫描的准确组织分割对于重建各向同性脑MR体积和量化胎儿脑发育至关重要。然而，由于胎动不可避免，在临床获取的胎儿磁共振脑影像往往采用快速采集序列，导致采集得到的胎儿脑磁共振影像是厚层的。由于厚层扫描图像质量较低，组织对比度差，且存在运动和伪影，因此直接对厚层扫描图像进行分割面临着巨大挑战。为此，研究人员提出了一种方法，利用高质量各向同性胎儿脑MR图像（及其相应的注释）作为厚层扫描图像分割的指导。鉴于高质量各向同性图像（即源数据）和厚层扫描图像（即目标数据）之间存在显著的差别，研究人员采用领域自适应技术来实现知识的有效转移（从高质量“源”图像到厚层“目标”图像）。并提出了一种新颖的循环一致域自适应网络（C2DA-Net），以有效地传递从高质量各向同性图像中学到的知识，实现对厚层扫描图像脑组织的准确分割。在372个临床获取的厚层MR扫描图像的大规模数据集上进行的大量实验表明，C2DA-Net在定量和定性方面均优于其他方法，表现出更好的性能。成果的代码已在https://github.com/sj-huang/C2DA-Net 上公开提供。
图1 提出的循环一致性域自适应胎儿磁共振脑组织分割模型
图2 提出的模型与现有代表性方法的效果对比。
相关研究成果以“Tissue Segmentation of Thick-Slice Fetal Brain MR Scans with Guidance from High-Quality Isotropic Volumes”为题发表于IEEE Transactions on Biomedical Engineering。上海科技大学沈定刚课题组博士研究生黄世杰为第一作者，上海科技大学常任正教授沈定刚为通讯作者，上海科技大学为第一完成单位、上海临床研究中心为合作单位。
论文链接：https://doi.org/10.1109/TBME.2023.3337338