课件：临床检验方法学评价.ppt

临床检验方法学评价,参考文献,曹荣桂主编医院管理学（临床实验室管理分册）人民卫生出版社，2003年5月第一版 卫生统计学，,目的,了解新方法的评价标准：实验室在建立新的方法时，应对方法的基本特性进行评价，以掌握方法的特性，判断其能否满足临床使用要求。 指导方法评价时的论文写作。 评判实验方法的是否规范，方法的优劣，方法是否具有临床应用价值。,检验和校准方法的选择,决定性方法(definitive method)，经详尽研究尚未发现不准确度或不确定性原因的方法； 参考方法(reference method)，经详尽研究证实其不准确度与不精密度可以忽略的方法； 常规方法(routine method)，可满足临床或其它目的需要的日常使用方法。 实验室应根据检测工作的需要，选用不同的分析方法。对大多数实验室来说,应用广泛的方法是常规分析方法。,标准物质,标准物质又称参考物质，是一类充分均匀，并具有一个(或多个)确定的特性值的材料和物质。 作用：它用以校准仪器设备、评价测量方法，或给其它物质赋值。 标准物质的定值结果一般表示为：标准值总不确定度。,标准物质证书,“标准物质证书”是介绍标准物质的技术文件，是研制单位向用户提出的质量保证书的使用说明。附有证书的标准物质称为有证标准物质(certified reference material)，其特性值由建立了溯源性的程序确定，使可溯源至准确复现的表示该特性值的计量单位，且每个标准值都附有给定置信水平的不确定度。,标准物质的分类,一级标准物质(primary reference material) 二级标准物质(secondary reference material) 校准品（calibrator） 质控品（control material）,一级标准物质(primary reference material),一级标准物质稳定、均一。采用高度准确、可靠的若干方法定值，可用于校准决定性方法及为二级标准物质定值。 在我国，一级标准物质是测量准确度达到国内最高水平的有证标准物质，由国家技术监督局批准、颁布并授权生产。如：人血清无机成分分析标准物质(GBW 09135)和血清胆固醇标准物质(GBW 09138)。,二级标准物质(secondary reference material),用一级标准物质校准，参考方法定值。 如:红细胞微粒标准物质-GBW(E)090001、胆红素标准物质-GBW（E）090002、氰化高铁血红蛋白溶液标准物质-GBW（E）090004和纯化血红蛋白标准物质-GBW（E）090011。,校准品（calibrator）,用二级标准物质校准，常规方法定值。 用于对常规方法和仪器的校准。 大多数生产企业具备自制能力。市场上可以方便的购得。,质控品（control material）,具有与检测过程相适应的特性，其成分与检测标本的基质相同或相似。 应使用充分均一和稳定的质控物，瓶间变异必须小于监测系统预期的变异，常规检测质控品有助于确认报告范围测定值的重现性。 为了保证指质控方法对系统性能提供独立的评价，必须将质控品与校准品区分开来，不宜用质控品来校准检测系统或检测方法。,分析方法的选择,在选择实验室分析方法时，应采用满足客户需要并适用于所进行的方法，包括抽样方法。 应优先使用以国际、区域或国家标准发布的方法。当客户未指定所用方法时，实验室应选择国际、区域或国家标准发布的，或由知名的技术组织或有关科学书籍和期刊公布的，或由设备制造商指定的方法。,分析方法的选择,我国实验室中使用的分析仪器和试剂，应具有国家药品监督管理局核发的相应文号。 实验室制定的或采用的方法如能满足实验室的预期用途并经过验证，也可以使用。实验室应用自己制定的检测方法的过程应是有计划的活动，应指定足够的、有资格的人员进行。 接受客户委托又必须使用标准方法中未包含的方法时，应征得客户的同意，所制定的方法在使用前应经过适当的确认。,说明书应至少包括下列信息,方法名称或识别号； 适用范围； 被检测标本类型的描述； 被测定的参数或量和范围； 装置和设备，包括技术性能要求； 所需的校准品或参考标准； 要求的环境条件； 检测程序描述； 检测结果接收（或拒绝）的准则（或要求）； 需记录的数据以及分析和表达的方法； 不确定度或评定不确定度的程序。,方法的确认,确认是通过核查并提供客观证据，以证实某一特性预期用途的特殊要求得到满足。 实验室在使用非标准方法、实验室自己设计（制定）的方法、超出其预定范围使用的标准方法、扩充和修改过的标准方法时，应对方法进行确认，以证实该方法适用于预期的用途。,方法的确认,确认应尽可能全面，如： 方法的精密度、 线性分析范围、 与参考方法的比较、 结果的不确定度、 检出限、 抗干扰能力等，以满足预定用途或应用领域的需要。,评价临床方法的文件,提议（proposed），此类文件编号为P ：“提议文件”的内容通常要接受广泛、细致、全面的评论； 暂定（tentative）文件，编号为T。暂定文件还需要进行特定的评价或需要收集数据，以保证其应用； 核准（approved），编号为A ：核准文件是修改后的最终文件。 还有一类委员会报告，则是尚未通过一致化过程的文件，编号为R。,美国的国家临床实验室标准委员会（NCCLS）,多年来一直致力于制定一系列评价临床方法的文件。 NCCLS是一个全球性、多学科、非营利性的标准化和教育性的团体，旨在促进医疗卫生领域中的标准化进程和应用。 它在发展相关的标准和指南时采取了特有的一致化过程（consensus process）。 NCCLS的自愿一致化过程是一个建立正式标准的过程，包括：方案的认可；建立和公开对有关文件的评论；根据使用者的意见修改文件。,方法学评价文件（1）,EP5-A：临床化学设备操作精密度评价 核准指南（Evaluation of Precision Performance of Clinical Chemistry Devices; Approved Guideline）。用于临床化学设备进行精密度评价的实验设计及如何与生产厂声明的精密度进行比较。 EP6-P2：定量分析方法的线性评价：统计方法提议指南第二版（Evaluation of the Linearity of Quantitative Analytical Methods: A Statistical Approach; Proposed Guideline Second Edition），用于在评价方法过程中检查检测方法的线性，也可作为常规质量保证的一部分，进行线性检查链及验证厂家声明的线性范围。,方法学评价文件（2）,EP7-P：临床化学实验干扰 提议指南（Interference Testing in Clinical Chemistry; Proposed Guideline），提供背景信息和鉴定程序，用于干扰物对检测结果影响的定性。 EP9-A：用病人标本进行方法学比较和偏倚评估 核准指南（Method Comparison and Bias Using Patient Samples; Approved Guideline），主要用于检测两种临床方法或设备间的偏倚，和使用病人标本进行方法比较的实验设计及数据分析。,方法学评价文件（3）,EP10-A：定量实验室方法的初步评价 核准指南（Preliminary Evaluation of Quantitative Clinical Laboratory Methods; Approved Guideline），提供了用于分析方法和设备操作的初步评价的实验设计和数据分析。 EP11-P：用于体外诊断检测说明的统一描述 提议指南（Uniform Description of Claims For In Vitro Diagnostic Tests ; Proposed Guideline）。,方法学评价文件（4）,EP12-P：用于定性实验评价的用户协议 提议指南（User Protocol for Evaluation of Qualitative Test Performance; Proposed Guideline）。 EP13-R：实验室统计-标准差 报告（Laboratory Statistics Standard Deviation; A Report ）。,方法学评价文件（5）,EP14-A：基质效应的评价 核准指南(Evaluation of Matrix Effects; Approved Guideline)。 EP15-A：精密度和准确度性能的应用 核准指南（User Demonstration of Performance for Precision and Accuracy ;Approved Guideline）。,方法学评价文件（6）,EP17-P：检测单位使用的质量管理 提议指南（Quality Management for Unit Use Testing; Proposed Guideline）。 EP21-P（NEW）：临床实验方法总分析误差的评估 提议指南（Estimation of Total Analytical Error for Clinical Laboratory Methods; Proposed Guideline）。,精密度评价,精密度的内容,精密度通常用不精密度表示。精密度评价的目的是评价检测设备的总不精密度，是设备在一定时间内的变异性。许多变异源可在不同程度上影响设备的精密度，通常在进行精密度评价时要充分考虑所有影响总不精密度的来源，但不必去评价每个来源的相对大小。 用于描述与时间相关的不精密度的内容包括：批内、批间、日内和日间不精密度。其中，批内不精密度和总不精密度的内容最为重要。,一般实验要求,为减少对结果的影响因素，全部实验过程中应使用同一批号的试剂和校准物。 实验标本可采用稳定的、以蛋白质为基质、可模拟临床标本特性的产品。必要时，可采用稳定的混合冷冻血清。 选择标本浓度时应考虑医学决定水平，推荐使用二个或二个以上浓度的标本。,实验程序,精密度评价实验应在操作者完全熟悉实验过程和评价方案以后（通常需要5天时间）进行。 每天分2批测定标本，各批实验至少间隔2小时。 每批测定2个浓度标本，每个标本重复测定2次. 按表17-1记录实验结果.,表17-1 方法精密度实验数据汇总表,结果计算,批内不精密度计算 I=总实验天数(一般为20天) J=每天测定的批次(一般为2批) Xij1=第i天j 批实验第一次结果 Xij2=第i天j 批实验第二次(重复)结果,方差计算,日间方差 批间方差,A值计算,I=实验天数(通常为20天) Xi1=第i天第一批实验结果的平均值(通常重复2次) Xi2第i天第二批实验结果的平均值(通常重复2次),B值的计算,I=实验天数 Xi=第i 天全部实验结果的平均值 X=所有结果的平均值,日间方差 批间方差,总不精密度,评价测定线性范围,线性是分析方法的一个特征，不同于准确度和精密度。线性范围（linear range）是指系统最终的输出值（浓度或活性）与被分析物的浓度或活性成比例的范围。线性范围的测量既测定浓度曲线接近直线的程度，它反映整个系统的输出特性。线性检测系统反应，包括校准、线性化技术、系数和仪器反应。,一般要求,执行分析过程的试验人员必须掌握仪器操作和维护程序、标本准备方法和校准。 对较简单的设备需要5天或更少的时间，对较复杂的多通道设备需要5天或更长的时间。 在完成仪器熟悉过程后开始实验并收集数据。,实验标本,线性实验应使用与病人标本相似的标本或注明标本的基质类型，最少使用4个浓度水平，推荐5个水平。 高值标本应高于线性上限30，低值标本应低于线性低限。,线性实验可使用的标本,混合病人血清（理想的标本基质）； 加入待测物的混合人血清，在没有干扰物存在时不需高纯度的加入品； 经过、特殊处理的混合人血清，用于降低分析物浓度，如：透析、热处理、层析； 对盐水透析过的混合人血清，在线性实验中使用此类标本可掩盖不同的基质效应； 商品质控品或校准品，此类标本由于不是正常的生理形式，可掩盖实际的线性结果； 水溶液，一般无基质效应。,实际工作中，可准备如下血清：,低浓度X1混合血清； 高浓度X5混合血清； 血清X2：3份“X1”+1份“X5”； 血清X3：2份“X1”+2份“X5”； 血清X4：1份“X1”+3份“X5”。 浓度由低到高顺序：X1, X2, X3, X4, X5,配制溶液浓度的计算,X为标本浓度，V为标本体积,实验程序,全部实验和数据采集应在同一工作日内完成。分析序列应为随机排列。有显著携带污染时，应用空白隔开标本。每个浓度标本重复测定4次纪录测定结果。,方法线性实验记录表,观察结果有无明显的数据错误，若有明显异常时，应判断是否为离群点。,判断离群点的方法,对于特定浓度Yi值的离群点进行检测时，需将其4个重复值从大到小排列（Yi-1到Yi-4）。 计算级差D=Yi-1Yi-4。 若Yi-1可能是离群点，计算：D1=（Yi-1Yi-2）/D。 若Yi-4可能是离群点，计算：D4= Yi-3Yi-4）/D。 计算结果（D1或D4）如果大于0.765（0.05）或0.889（0.01），则该点判为离群点。,全部数据中的离群点如果有2点或以上，则应保留全部数据或重新进行实验。 离群点2个或者以内，保留全部数据。 离群点2个以上，重新实验。,数据的处理,以分析物浓度为X轴，反应值或仪器输出值（均值）为Y轴，绘制X-Y线性图（Y=aX+b）。 目测线性和进行统计学分析，判断是否符合要求。,线性分析,直线相关回归 曲线直线化,扩展试验,对于线性结果的分析，应当注意统计学标准和临床可接受限不同；应慎用方法学线性范围从0开始；有临床意义的浓度应在线性评价中，如最低线性浓度、医学决定水平及最高线性浓度。,方法学比较,实验室中使用的检测方法，随着科学技术的发展不断更新，在引进新方法前或用一种方法替代另一种方法时为保证实验室检测结果的连续性，通常要进行偏差分析，以比较不同的分析方法在测定同一分析项目时结果的差异。,标本要求,用于方法学对比实验的标本，应来源于健康人或患者，无明显干扰因素，并应尽量避免使用储存标本。 全部标本在医学决定水平范围内均匀分布，标本至少40例。 增加标本数可提高可信性。,对比方法,可采用厂家要求的实验室常规方法或公认的参考方法。 对比方法应具有好的精密度，没有已知的干扰物，与评价方法单位相同，相对国家标准或参考方法的偏差为已知。,实验程序 （1-2）,操作者应有足够的时间熟悉仪器操作、保养程序及评价方案。在全部实验过程中，都必须建立适当的质量控制程序。 进行方法学对比实验，每天应测定8份标本，每份标本都用评价方法和对比方法进行双份测定，至少连续测定5天，共40份标本。测定时先对标本排序，再按顺序1至8测定第一次，顺序8至1测定第二次。按表17-3收集数据,方法学比较实验纪录表,实验程序（3）结果绘图,实验结果可绘制6张图， 第一张图是Yi对Xi的均值散点图， 第二、三张图为Yij对Xi散点图， 第四张为（Yi-Xi）对Xi的偏差图。 第五、六张为（Yij-Xij）对Xi的偏差图。,判断离群点,实验程序（4）-判断离群点,目测图中有无明显的离群点，如有明显的离群标本值，可对实验数据进行检查，若有差值 Yi1-Yi2 4DY Xi1-Xi2 4DX Yi-Xi4E 视为离群点。,数据的取舍,在全部40个数据中可允许一个（小于全部数据的2.5）离群点。 若离群点多于一个，则应另增加8个实验数据。,线性回归,计算线性方程Y=bX+a及相关系数。一般情况下，若0.975或20.95，则认为X的取值范围合适，数据满足要求。 但0.975或20.95时，就必须增加测定标本数，以扩大数据范围。 依据上述线性方程，可计算两种方法间的预期偏差及可信范围。,简单处理,配对t检验：如果有显著性差异，表明实验方法之一存在问题； 散点图：趋势一致，两者差别不明显。相差太远，可以比较优劣。 直线相关回归，评判规则同上。,循证医学基本概念,循证医学，简言之就是以科学证据为基础的临床医学。 其本质就是发现证据并严格遵循证据来指导临床实践以达到最佳的诊疗效果。 循证医学（Evidence-Based Medicine, EBM）是近二十年来发展起来的一门新兴学科，它不仅与提高诊断的正确性、为病人选择最可靠、最有价值的治疗方案及提高医生素质、加速知识更新等方面密切相关，且对卫生管理能产生巨大影响，有助于管理决策的科学化，所以受到医学界的广泛关注。,循证医学有三个基本要素,患者就诊的目的和愿望； 医师的临床经验、专业技能及工作能力； 有说服力的临床试验证据。 这三者的有机结合才能取得最佳的诊疗效果。,正确诊断是一切有效诊疗工作的基础，检验医学就是要为临床不断提供有价值的、可靠的检验项目及检验信息，为诊断、治疗决策服务。,新的检验项目应考虑的三个问题,该检验项目对临床诊断及治疗决策能起到什么样的作用？ 该检验项目与其他项目相比，其优势表现在哪里（如方法学比较）？ 实验室有无条件开展该项试验？检测质量能否保证？患者能否接受（如经济承受力）？,循证检验医学的基本概念,循证检验医学就是在大量可靠的临床应用资料和经验，也就是证据的基础上，研究检验项目临床应用的价值，为临床诊断、疗效观察、病情转归提供最有效、最实用、最经济的检验项目及其组合。,诊断性试验数据的评价原则,诊断性试验的真实性评价 临床应用意义的评价 适用性的评价,诊断性试验的真实性评价,是否采用盲法将诊断性试验与标准诊断法（金标准）作过对比研究？ 研究对象的选择是否恰当？ 诊断性试验的正常参考范围的确定是否合理？ 如将该试验应用于另一组病例，是否也具有相同的真实性？,金标准,标准诊断方法或金标准是指对某种疾病诊断最可靠的方法，主要指活体组织检查、病原学检查、细胞学检查、特殊影像检查、外科手术发现、尸检、长期随访结果及 临床医学专家共同制订的、公认的综合诊断标准（应采用最新的标准）。采用标准诊断法（金标准）是个关键，否则难以正确判断“有病”，还是“无病”，也就无法对诊断性试验进行正确评价。,选择病例的要求,病例组是否包括各型病例（典型、不典型病例，早、中、晚期病例，治疗前及治疗后的病例）。 对照组是否包括了易与该病混淆的其它病种的病例。,正确选择研究对象,研究对象的选择十分重要，否则的出的结果不可避免的产生偏有倚。如肿瘤标志物的临床评价，如果仅选择晚期病人，其敏感度就会偏高；对照组如仅选择正常人群则特异度肯定偏高。 有学者认为对照组应选用无目标疾病的其他病例（尤其易与目标疾病混淆的病例），正常人一般不宜列入对照组。 另外对照组年龄、性别的组成应与病例组相近。 无论病例组或对照组，样本含量均应在30例以上。,正常参考范围,正常参考范围是判断诊断性试验的结果是正常还是异常的重要依据，如果正常参考范围上、下限确定不合理，必然直接影响到诊断性试验的临床解释。 正常参考范围的确定包括正常人群的选择、样本数量的确定、测定方法的标准化、数据的正确处理等等。 目前较理想的方法是采用接收器工作特征曲线（receiver operator characteristic curve, ROC曲线）来确定，这时试验的敏感度及特异度处于比较理想的状态。,临床应用意义的评价,是否作了敏感度（sensitivity, SEN）、特异度（specificity, SPE）及阳性似然比（positive likelihood ratio, +LR）的计算或提供了运算的数据。 是否作了分层似然比的计算,适用性的评价,该试验可否推广运用？ 对病人的验前概率临床上是否合理估算？ 验后概率是否有助于患者处理？,关于方法学的评价指标,准确性、 重复性、 特异性：指的是所测物质与结构相似性的其他物质有无交叉反应而言。 敏感性：指的是最低检测限。 检测范围、 稳定性、 抗干扰能力等等。,诊断性试验的相关指标的评价,评价诊断性试验的指标,敏感度； 特异度； 阳性预测值； 阴性预测值； 诊断指数； 诊断效率； 阳性似然比； 阴性似然比。,表181 四格表的排列,评价指标的计算,敏感度a/(a+c) 特异度d/(b+d) 阳性预测值a/(a+b) 阴性预测值d+(b+d) 诊断指数敏感度特异度 诊断效率(准确度)(a+d)/(a+b+c+d) 阳性似然比敏感度/(1特异度) 阴性似然比(1敏感度)/特异度 如果用百分数表示，可100%,配对技术资料的2检验,两种检测方法的结果有无相关关系 两种检测方法的结果有无显著性差别,两种检测方法的结果有无相关关系,计算公式 （|ad-bc|-n/2)2n 2= (a+b)(c+d)(a+c)(b+d) n=a+b+c+d 23.84, p0.05, 存在相关关系。 否则，不存在相关关系。,两种检测方法的结果有无相关关系,计算公式 （|b-c|-1)2 2= b+c 分子中的1为连续性校正数，b+c40时可省去。 23.84, p0.05, 存在显著性差别。 否则，不存在显著性差别。,应注意的问题（1）,患病率变化时，各指标的稳定性 由于敏感度是病例组中的阳性率，而特异度是对照组中的阴性率，它们受患病率的影响不大，由这两个指标计算来的如诊断指数、阳性似然比、阴性似然比等影响也不大，即是稳定或相对稳定的指标。,但阳性预测值指的是阳性结果中真阳性的百分比，阴性预测值指的是阴性结果中真阴性的百分比，这两个指标受患病率的影响较大。如某一地区某病的患病率（或就诊率）为10，某诊断性试验敏感度为90、特异度为80，这时阳性预测值及阴性预测值分别为33.3%及98.6% 。如扩大检测范围，患病率降为1，仍使用上述试验，则阳性预测值及阴性预测值则发生了变化分别为4.3%和99.9% 。,对临床诊断的帮助的“具体性”、“可靠性”