影像组学及其在肿瘤研究与临床中的应用

1、第五届华美影像论坛 影像组学及其在肿瘤研究与临床中的应用,2015年9月，国家卫计委、发改委等16个部门联合印发中国癌症防治三年行动计划（2015-2017年）,背景国家重大需求：,4项定量指标： 重点地区、癌症早诊率达到50% 肿瘤登记覆盖全国30%以上人口 癌症防治核心知识知晓率达60% 成人吸烟率下降3%,背景癌症生存率无突破,经过五十年的努力，癌症的五年生存期并没有得到明显的提高,N=1,950,388. Updated May 12, 2014,Data from National Cancer Institute of NIH (2014),%,肿瘤基因组的时空异质性限制了靶向治疗

2、的效果 我们缺乏有效的手段去全面定量评估肿瘤异质性,Gerlinger et al. N Engl J Med 366, 883-92 (2012). 被引用2368次,英国伦敦大学 癌症研究中心 Charles Swanton, MD,挑战缺乏定量评估手段,肿瘤5mm才能被诊断缺乏早期诊断手段,癌症的五年生存率 没有实质性提高,时空异质性影响治疗 缺乏定量评估方法,背景癌症生存率无突破原因,N. Engl. J. Med. 2010, 363(1):4-6.,医疗设备方面,医疗软件方面,N. Engl. J. Med. 2012, 366, 883-92.,分子影像 早期诊断手段,影像组学

3、定量分析方法,机遇影像组学,肿瘤大小,5mm,1kg左右肿瘤,13年,520年,细胞表达生物分子异常,正常,基因异常,开始增殖,前癌病变,形成癌灶,出现病状,死亡,转移,传统成像技术难以实 现早期微小肿瘤成像,基因技术 检测早期基因异常,？,基因异常,新陈代谢异常 器官结构异常,时间,影像组学（Radiomics）发展历程,概念完善,概念提出,高通量地从MRI、PET及CT影像中提取大量高维的定量影像特征，并进行分析,影像组学指高通量地提取大量描述肿瘤特性的影像特征，最初译为放射组学,临床应用,影像组学特征成功用于肺癌和头颈癌数据的临床预后评估，得到良好效果,Nat. Comm. 2014,

4、5: 4006,EJC 2012, 48: 441-446,MRI 2012, 30(9): 1234.,Virendra Kumar et al, Magnetic Resonance Imaging, 2012, 30:1234. (被引55次) Philippe Lambin, European Journal of Cancer 2012;48: 441-446.(被引100次),解剖结构,物理组织层次,代谢层次,蛋白质层次,转录学层次,功能影像,结构影像,分子影像,量化 微环境 定量 异质性,基因层次,基因病理,利用海量影像和基因病理信息全面定量肿瘤异质性,癌症研究,影像组学,影像组

5、学提供定量化研究手段,影像组学流程,特征提取,预测算法,影像数据,高维特征,诊疗决策,合作优化,提高病人 生存期,提高疾病 早诊率,减轻患者 医疗负担,缓解医院 就诊压力,推广应用,影像组学利用大数据挖掘技术定量肿瘤异质性，实现精准诊疗决策，提高患者的生存期,国际研究进展肺癌头颈癌预后分析(1/4),Aerts et al. Nature Communications, 2014, 5: 4006.,影像组学通过融合影像、基因和病理信息可 量化肿瘤微环境，早期定量肿瘤基因异质性,数据,分割,特征,分析预测,强度,形状,小波,纹理,美国莫菲特癌症中心 Robert J. Gillies,影像组学

6、最早 提出者之一,临床问题：临床影像信息挖掘不足 肿瘤异质性很难用影像定性评估 收集数据：一千多个病人完整数据 788个患有非小细胞肺癌病人数据 231个患有头颈部鳞癌的病人数据 提取特征：四百多个关键影像特征 强度：最大值、标准方差、能量等 形状：紧密度、最长直径、体积等 纹理：和平均、最大可能、和熵等 小波：边界、自由与粘贴面积比等 实验结果：影像与临床显著性相关 影像组学特征可用于预测肿瘤预后,Aerts et al. Nature Communications, 2014, 5: 4006.,国际研究进展肺癌头颈癌预后分析(2/4),Aerts et al. Nature Commun

7、ications, 2014, 5: 4006.,影像组学特征有重要预后价值：特征各向异性越强，病人存活率越低，紧密或球形肿瘤预后更好,国际研究进展肺癌头颈癌预后分析(3/4),Aerts et al. Nature Communications, 2014, 5: 4006.,影像组学的标签与基因重要相关,利用影像特征预测患者基因信息,国际研究进展肺癌头颈癌预后分析(4/4),国际研究进展影像-基因回路关联分析(1/2),脑胶质瘤靶向治疗所需的基因数据难以获取，穿刺活检有创且难以得到整体信息,临床问题,组学方法,临床数据,斯坦福医院MR图像121例训练、TCGA公开数据集MR和对应的基因数据

8、144例测试,提取388个影像组学特征聚类为三类，与PARADIGM算法寻找的基因回路进行关联,Science Translational Medicine, 2015, DOI:10.1126/scitranslmed.aaa7582 SCI IF(2015): 15.843,国际研究进展影像-基因回路关联分析(2/2),影像特征,预后 生存,基因回路,靶向治疗,Science Translational Medicine, 2015, DOI:10.1126/scitranslmed.aaa7582 SCI IF(2015): 15.843,国内最新研究五月发表三篇影像组学论文,结直肠癌

9、J Clin Oncol,非小细胞肺癌 Radiology,结直肠癌 Clin Cancer Res,预测结直肠癌 淋巴结转移术前,预测结直肠癌 辅助放化疗效果,Clinical Cancer Research DOI: 10.1158/1078-0432.CCR-15-2997 浙大医学院邵逸夫医院,预测非小细胞肺癌无进展生存率,Radiology accepted, May, 2016 广东省人民医院 中科院自动化所,Journal of Clinical Oncology DOI:10.1200/JCO.2015.65.9128 广东省人民医院 中科院自动化所,结直肠癌淋巴结转移预测(1

10、/2),广东省人民医院与中科院自动化所合作结直肠癌淋巴结转移预测,Journal of Clinical Oncology, 2016, DOI:10.1200/JCO.2015.65.9128 SCI IF(2015): 20.98,结直肠癌是否合并淋巴结转移很难在术前准确确定，是否转移决定患者手术过程中是否进行淋巴结清扫，显著影响临床决策,临床问题,组学方法,临床数据,病理证实是否淋巴结转移的影像病理数据广东省人民医院326训练、200测试数据,利用影像组学方法提取转移高度相关24个影像组学特征和临床指标，绘制诺模图,融合影像特征和临床指标的影像组学标签可对结直肠癌淋巴结转移进行个性化预测

11、，指导治疗决策,预测模型,诺模图,结直肠癌淋巴结转移预测(2/2),Journal of Clinical Oncology, 2016, DOI:10.1200/JCO.2015.65.9128 SCI IF(2015): 20.98,非小细胞肺癌生存期预测(1/2),Radiology, accepted, May, 2016,传统临床分期和病理对NSCLC患者无病生存期预测效果有限，需要新的预测方法,临床问题,组学方法,临床数据,有完整无病生存期随访信息的282 例早期（IAIIB期）NSCLC病例,利用LASSO Cox回归模型提取5个肺癌生存期相关的影像组学特征，构建预测模型,广东省

12、人民医院与中科院自动化所合作非小细胞肺癌生存预测,对于早期非小细胞肺癌患者，影像组学特征比 临床分期和临床病理有更好的生存期预示能力,K-M生存曲线,列线图,Radiology, accepted, May, 2016,非小细胞肺癌生存期预测(2/2),广东省人民医院与中科院自动化所合作非小细胞肺癌生存预测,结直肠癌新辅助放疗效果评价(1/2),浙大医学院邵逸夫医院进行结直肠癌新辅助放疗效果预测,结直肠癌新辅助放疗效果很难在治疗前进行预测，需要更准确方法指导治疗决策,临床问题,组学方法,临床数据,48例接受新辅助放疗的结直肠癌病例，包括T1/T2/DWI/DCE等MRI扫描数据,利用影像组学方

13、法提取103个多参数影像组学特征，对于新辅助放疗效果进行预测,Clin Cancer Res，2016，DOI: 10.1158/1078-0432.CCR-15-2997,针对结直肠癌新辅助放疗效果评估，多参数影 像组学特征比常规影像分析有更准确预测性能,没有 缓解,结直肠癌新辅助放疗效果评价(2/2),Clin Cancer Res，2016，DOI: 10.1158/1078-0432.CCR-15-2997,病理 缓解,没有 缓解,病理 缓解,常规 方法,影像 组学,影像组学研究进展紧跟国际研究热点,预测诊断软件开发 研发一套专门读取临床影像数据并自动进行分期、生存率预测和治疗方案建议

14、的软件系统,基于临床数据的分期和预测算法研究 利用工科优势，开展临床数据的分期和预测算法研究，发表高影响因子学术论文,一系列 数据资源,Radiomics资源数据库建设 收集一系列格式规范、信息完整的8000例临床影像数据和基因数据，并整理成资源数据库,一连串 关键技术,一整套 影像软件,一大批 合作医院,30余家国内医院长期合作 已经与北京、长三角、珠三角、河南等地区的30余家三甲为主的医院建立长期合作关系,已经超过30余家合作医院,国内合作医院北上广+中西部,广东省人民医院 广医一附院,汕大附属肿瘤医院,上海肺科医院 上海长征医院,哈医大四附院 哈医大二附院,西京医院 华西医院,301、协

15、和医院 天坛、佑安医院 中日友好医院 医科院肿瘤医院 北京肿瘤医院,河南省人民医院 郑大一附院,贵州省人民医院,珠海市人民医院,影像组学数据资源,建立了涵盖中国三大高发癌种的多中心、多肿瘤、多模态的数据资源平台，癌症数据近万例,脑脊索瘤 1家合作医院 200余例,肺癌 8家合作医院 5000余例,肝癌 2家合作医院 500余例,结直肠癌 2家合作医院 800余例,胃癌 1家合作医院 600余例,乳腺癌 1家合作医院 600余例,脑胶质瘤 4家合作医院 1100余例,大量数据,大数据,影像组学大数据是临床问题明确、格式规范、信息完整的病人数据,=,影像组学数据规范,详细参考中国科学院分子影像重点

16、实验室合作医院影像组学数据规范细则 ,影像组学数据规范,肿瘤强度,肿瘤纹理,临床经验,小波特征,低维特征,视觉特征,高维特征,一定个数 三维特征,经验特征,复杂特征,影像组学特征提取,同病异症 异病同症,深度学习 大数据挖掘 定量分析,肿瘤形状,将低维视觉特征、高维复杂特征和临床经验特征相结合，全面分析肿瘤异质性,简单视觉二维特征,放射科医生,同病异症 异病同症,多年临床 诊断经验,高维复杂三维特征,影像组学,定量异质性 提高诊疗率,数据挖掘深度学习,影像组学特征选择,肺结节自动分割研究,LIDC公开数据集819例数据的精度为81.57%. 较之于水平集方法和图割方法，精度提高14.95%(p

17、0.0005)和10.18%(p=0.004).,3D,临床问题：肺结节自动分割精度低手动分割速度慢 与上海长征医院合作研究肿瘤自动分割，精度提高10%,Jiangdian Song, A New Automated Lung Nodule Segmentation Algorithm Based on Toboggan and region growing. IEEE TMI, 35(1):337-53, 2016.,分割方法对实性结节和磨玻璃结节都有效,与斯坦福大学合作进行肺癌良恶性分类预测,肺癌良恶性诊断对治疗方案制定有重要指导意义，常规诊断主要依靠术前穿刺活检或术后病理，缺乏术前无创定

18、量评估方法,临床问题,组学方法,临床数据,有良恶性病理证实的国际公开肺癌数据库LIDC数据库中495良性和495恶性肺结节,采用基于深度机器学习的影像组学方法进行肺癌良恶性二分类的预测分析,Wei Shen, Multi-scale Lung Nodule Classification Method Using CNN, accepted, 2016, PR,基于深度学习的肺癌良恶性预测(1/2),深度机器学习对肺结节多尺度分类精度达83%,基于深度学习的肺癌良恶性预测(2/2),基于LIDC数据库495良性和495恶性肺结节，采用10倍交叉验证法,卷积神经网络,深度机器学习 人工智能黑盒子,

19、多尺度输入,良恶分类,Wei Shen, Multi-scale Lung Nodule Classification Method Using CNN, accepted, 2016, PR,在中国科学院STS项目支持下 研发肺癌影像组学预测软件,软件进展肺癌预测软件研发(1/5),软件进展肺癌预测软件研发(2/5),软件可以进行肿瘤良恶性预测， 为临床诊断提供第二意见,TNM分期,良恶性,生存期,治疗方案,病人打分机制： 60分 预后良好，可推荐手术治疗、放化疗等 60分 预后较差，建议保守治疗、靶向治疗等,可实现肿瘤的自动分割和592个特征的提取,肿瘤分割结果,软件进展肺癌预测软件研发(

20、3/5),恶性肿瘤例子,N分期,良恶性,生存期,治疗方案,软件进展肺癌预测软件研发(4/5),N分期,良恶性,生存期,治疗方案,软件进展肺癌预测软件研发(5/5),良性磨玻璃伪影(GGO)例子,影像组学预测软件推广思路借助STS项目,影像大数据资源平台,影像组学辅助诊断,研究所、高校,三甲医院,区级医院,技术支持,资源支撑,提出需求 专家经验,提出需求 专家经验,信息共享，远程会诊,评估预测辅助诊断,评估预测辅助诊断,数据和特征入库,数据和特征入库,影像组学预测软件推广,上海肺科医院 影像科 史景云主任 上海长征医院 影像医学与核医学科 刘士远主任 广东省人民医院 放射科 梁长虹主任 广州医学

21、院一附院 放射科 曾庆思主任 河南省人民医院 史大鹏主任 郑州大学第一附属医院 程敬亮主任 哈尔滨医科大学附属第四医院 申宝忠院长 北京天坛医院 神经外科江涛、张亚卓主任,项目组研发影像组学预测软件将在国内多家三甲医院进行试点，临床预测精度80%左右,与江西中科九峰移动医疗公司合作惠民工程（江西）远程医疗项目，已获30余家三甲医院支持，并在上高县人民医院等一批基层医院得到推广,健康医疗信息惠民行动计划,影像组学远程医疗推广,借助惠民工程，推广远程医疗，服务基层医院,九峰医疗,与南昌市人民政府、江西省科技厅等四方共建移动医疗研究院,已经形成完整的自主知识产权体系,研究基础专利软著,研究基础科研奖

22、项(第一完成单位),42,国家技术发明奖二等奖 (2010),国家技术发明奖二等奖 (2012),国家科技进步奖二等奖 (2003),国家科技进步奖二等奖 (2004),在Radiomics理论方法及医学应用方面发表IEEE Trans系列杂志，Nature Comm，Nature Protoc, PNAS，Laser Photonics Rev等SCI国际期刊论文70余篇,研究基础发表论文,方法技术系列论文,生物医学应用系列论文,临床影像顶级期刊 Radiology,临床肿瘤领域顶级期刊JCO,影像处理顶级期刊 IEEE TMI,研究基础代表性论文,在肿瘤、放射、影像处理顶级期刊上都有文章发表,田捷，博士，中国科学院自动化研究所研究员,IEEE, SPIE, IAMBE,