管理研究的有效性(ppt 73页).ppt

1、在管理研究的有效性、管理研究中，有效性是普遍接受的评价研究指标。 与其评价方法本身的优劣，不如评价方法的选择和应用是否合适。 每个理论都由概念、概念间关系的描述构成，具有其特定的理论背景和应用范围。 因此，管理研究的评价将重点放在关于概念和概念之间关系的研究的评价上，同时考察理论的背景和应用范围。 研究的有效性分类，研究的有效性(Validity )主要分为三种：概念构建的有效性(Construct Validity，C.V.)； 内部有效性(Internal Validity，I.V.)外部有效性(External Validity，E.V.)是各种有效性的定义，概念构筑有效性是指理论中的抽

2、象概念在实际研究中操作成功到什么程度的内部有效性是指两个变量间外部有效性意味着在特定的研究样品和特定的研究环境下得到的研究结果可以在多大程度上用理论假说推广到明确的整体和环境中，也被称为普通性(generalibility )。 三种有效性的关系，统一修正结论的有效性，另一种分类法是将有效性分为四类：概念构建的有效性；统一修正结论有效性(Statistical Conclusion Validity，S.C.V.)； 内部有效性和外部有效性。 统一结论的有效性是指关于变量间相关变化的统一推论得到了多大程度的证实。 所谓对内部的有效性是指所观察到的相关变化被认为是多大程度的因果关系。 概念间的关

3、系可以表现为相关关系和因果关系，相关关系是因果关系的必要条件。 该分类方法将前者分类法中内部有效性的内容分为统一结论有效性和内部有效性两个水平。 另一方面，概念构建有效性、概念构建有效性是指操作化方案在多大程度上反映，而且只反映想要测量的概念，不受其他概念系统的影响。 这反映了理论水平的抽象概念和测定抽象概念的操作变量的适应度。 概念测量应该能够测量大多数想要反映的概念，并将不想反映的概念和随机误差的影响降到最低。 考察概念构建有效性的必要性，概念构建的有效性是理论发展和检验的必要条件。 抽象概念与其操作变量之间如果没有一贯性，理论也很难成立发展。 研究如果没有概念构建的有效性，那么随后的数据

4、分析无论多么复杂细致，研究的结论都没有意义。 概念的操作化过程必然可以包含不应包含的内容，同时也不包含部分应包含的内容，因此管理研究在一定程度上存在概念构建的有效性问题。 概念测量误差的基本来源和概念测量误差的基本来源之一是观测变量在概念内涵中反映的不充分和不准确。 操作水平的可观测变量表现理论水平的抽象概念。 实际上，变量既不能只反映感兴趣的理论概念，也不能完全表达理论概念。 一个变量的度量可靠，也就是说，即使度量的随机误差小(实际上，任何度量的随机误差都不可避免)，也可能不具有高概念构建有效性。 不是本来想测量的概念，可能是因为准确测量了其他的概念。 在研究概念的多操作化定义、测量误差源的

5、例子、使用多媒体手段的教学与学生的学习效果的关系时，可以通过考试评价使用多媒体手段的学生与不使用多媒体手段的学生的学习成绩的差异，验证所提出的假设。学生的学习成绩作为操作变量反映了我们想反映的概念“学习效果”和不想反映的概念两方面。 例如，考试测试了与学习成绩无关的内容：学习兴趣、因考试而紧张、学生的语言能力和考试经验等，这些都会给考试带来系统误差。 此外，评分引擎错误、记录错误等随机错误也包含在测量中。构成概念度量值的成分，在概念域被明确定义的前提下，操作变量中概念度量的结果一般由3个部分构成： (1)要反映的目标概念的内容(真值)； (2)不想反映的非目的概念的内容(系统错误) (3)随机

6、误差。 即，X0XTXSXR，其中X0是测定值。 XT是真值XS是系统错误XR是随机误差。 有效性和可靠性的关系包括XR和XS两个部分来评估概念测量的有效性。 与XR相关的部分称为可靠性(Reliability，也称为可靠性)，意味着测量避免了多少随机误差。 广义的有效性是指操作化定义和测试的结果能够在多大程度上表示需要研究的复合概念。 它本身就包含着可靠性。 狭义的有效性是指测试结果能够在多大程度上避免系统错误。 在这种情况下，不包括可靠性。 有效性是以可靠性为前提的，没有可靠性就没有有效性。 在假设测量可靠性高的情况下，概念构建的有效性主要依赖于系统误差XS。 概念构筑有效性的水平根据理论

7、在概念构筑有效性验证过程中的作用，将概念构筑有效性称为属性有效性，在概念构筑有效性验证过程中，不考虑理论的作用(理论最初仅用于定义概念)，考察在理论的真空中概念与其测量变量之间是否存在一致，属性有效性在内部根据预期的概念建立有效性。 指概念尺度是否符合理论指导的期望结果。 基于预期概念构建的有效性可以视为外部。 属性有效性和属性有效性包括“表面有效性”(Face Validity )“内容有效性”(Content Validity ) :收敛性差异有效性广义的属性有效性也包含可靠性，可靠性是指度量在多大程度上避免随机误差，可靠性是有效性的必要条件。 表面有效性和内容有效性、表面有效性是指一系列

8、专家进行判断，判断测量方法是否正确测量名义上应该测量的概念。 表面有效性评价是一个主观的过程，但通常是有效性评价的前提条件，观念测定往往首先要通过表面有效性检验。 内容的有效性是指度量是否包含足以衡量基线概念的代表性项集。 测量方案项目越充分表示测量对象概念的概念域，内容越有效。 收敛有效性，测量同一概念的不同方法之间的重叠程度用收敛有效性(Convergent Validity )来表示。 收敛有效性表示用不同方法测量相同概念的测量结果的相关度。 反映使用不同方法度量相同概念的度量之间的一致性。 不同的测量方法具有彼此不相关的不同误差源(理想情况下，不同测量方法之间不存在共同的干扰因素)。

9、然而，衡量相同概念的不同变量必须高度相关。 差分有效性、用于测量不同概念的不同方法之间的差异的程度通过差分有效性来表示。 差异的有效性反映了测量不同概念的变量间没有相关性的程度，表示测量不同概念的变量测量多大程度不同的部分。 测量概念的变量不应与测量不同概念的其他变量相关联。 否则，变量和其他变量可能正在测量通用的其他内容，而不是该变量测量的概念。、概念，包括维度有效性、理论有效性、相关标准有效性、基于预期的概念构建有效性、基于预期的概念构建有效性理论有效性是指用于测量的操作变量之间的关系是否对应于理论中描述的概念之间的相互关系。 中的组合图层性质变更选项。 某些度量可以估计和预测称为标准变量

10、的特定相关变量。 相关标准有效性表示测量结果是否有助于估计或预测其他相关变量。 例如，考新员工是为了预测该员工将来的工作绩效。 如果发现考试成绩与工作成绩之间确实有很高的相关关系，这一测定具有相关标准的有效性。 与相关标准变量的发生时刻相对应的过去、当前、未来，相关标准有效性分别被称作历史有效性(Postdictive Validity )、相关标准有效性被称作历史有效性(Postdictive Validity )的并行有效性(concurrent ) 概念构建有效性的评估方法应该在测量相同概念的不同变量之间具有高度相关性。 所有操作变量与概念相关联的部分称为共同核心。 如果所有变量都来自同

11、一概念域，则这些变量的测量结果必须高度相关。 如果随机误差为零，则必须完全相关。 测量不同概念测量不同变量之间必须不相关的特定概念的变量不应与测量不同概念的其他变量相关。 否则，该变量和其他变量可能有共同的系统错误。 测量相同概念的某些变量不来自正确的概念域。 不同变量的度量之间的相关性必然会降低。 如果变量根本无法测量目标概念，则假设不同变量中包含的系统错误源不同，则该变量应该与其他变量的测量结果完全无关。 概念构建的有效性的评价要点，(1)明确目标概念的角色和维度，明确概念相关的可观察变量的范围，哪些变量能够测量目标概念，每个变量能够分别测量目标概念的哪些方面，每个变量能够反映哪些目标概念

12、以外的内容，(2)通过经验研究和统一分析(3)通过控制性实验和调查研究等方法，确定与概念相对应的变量的结果与该概念有多大关联，是否与广泛认可的理论结论一致，并测定是否与预期结果一致。 收敛有效性评价、科学研究的基本原则之一是，任何特定的概念都可以用多种不同的方法分别测定。 否则，就无法知道测量结果是基准概念还是测量过程本身的产物。 描述度量的收敛有效性在不同度量方法中相同概念的度量结果会共同变化多少(Conmon Variance )，通过确定不同度量方法的度量结果之间是否存在高相关性来评价收敛有效性。 差分有效性评价、差分有效性表示对某个新概念的测度是否是由于测度变量和其他变量的相关性。 通

13、过确定测量方法和测量不同概念的其它方法之间是否不相关来评估差分的有效性。 评估收敛有效性和差异有效性的一般方法是多属性多方法矩阵。 此矩阵中的元素表示以不同方式测量不同属性的结果之间的相关系数。 生成多属性多方法矩阵的方法和属性必须尽可能独立。为了测度收敛有效性和差异有效性的评价例、学校教师对MBA教育的看法，修订了询问访问者对MBA教育开展的各种影响的态度，例如MBA教育的社会影响、MBA教育对学校地位的影响、MBA教育对学术研究的影响等的书面问卷，不满意。 为了评价这种测量收敛的有效性和差异的有效性，引入了学校对住房制度的态度和对校园环境的满意度两个概念，同时采用了不同的测量方法(采访和电

14、话采访等)。 多属性多方法矩阵、多属性多方法矩阵说明、矩阵元素分别表示用不同的方法测定不同属性的结果间的相关系数。 矩阵由4种元素块组成，每个块左上角用数字表示：可靠性、对角有效性、对角不同的属性、同方法、三角形不同方法的三角形。 分析每个块中的数据可以评估该测量的可靠性、收敛有效性以及差异有效性。 多属性多方法矩阵描述、可靠性对角的数据反映了用方法1分别测定了3种态度的可靠性。 这表示用相同方法多次测定相同属性时的测定结果间的相关度，也可以置换为显着的等级残奥仪表。 有效性对角表明了度量的收敛有效性。 也就是说，表示用不同方法测量相同概念的测量结果之间的一致性。 相关系数明显区分为0，足以指

15、示测量值高的收敛有效性。 图中的有效系数分别为0.464、0.395、0.464和显着性水平0.01。 多属性多方法矩阵的说明表明，评价差的有效性需要3种比较： (1)有效性对角中的相关系数必须大于异方法三角形中同行或同列的相关系数。 这表示对相同属性以不同方式进行的度量之间的相关性必须高于属性和方法不同的两个度量之间的相关性。 这是最低的要求，图中的数据满足这个条件。 (2)有效性对角中的相关系数必须比异属性同方法三角形中的相关系数高。 这要求更严格，因为以不同方式同一属性的度量之间的相关性必须高于以相同方式不同属性的度量之间的相关性，所以图中的数据满足这个要求。 (3)所有的异属性应该与方

16、法三角形和异方法三角形中的相关关系模式相同。 这可以通过按不同的属性三角形对相关系数进行排序来检查。 图中的数据基本上满足这个要求。 在各属性三角形中，相关系数的符号图案一致，相关系数的大小顺序也大致一致。 基于预期概念构建的有效性评估，还可以通过基于度量的结果和相关理论等确定概念期望的一致性来评估概念构建的有效性。 概念构筑的维度有效性评价可以使用因子分析(因子分析是用少数的可观测随机变量记述不能观测的假设变量间的协方差关系的数学方法)等方法分析测定结果，如果用可观测变量测定的维度与理论上的概念的维度一致，则测定是维度有效性的。 维度有效性评价的例子为考察学生在阅读理解、数学抽象思维、艺术形

17、象思维等方面的能力，提出了包括50个问题的试卷。 阅读理解、数学抽象思维、艺术形象思维能力不能直接观测，试卷中对各个问题的回答成绩也能观测。 把对各个问题的回答成绩作为可观测的变量，如果分析这些成绩能够反映想要测量的阅读，数学抽象的思考和艺术形象的思考能力，那么这个考试就有维度的有效性。概念构筑的标准有效性评价是分析测量所使用的可观测变量和预测的标准变量的关系，如果测量变量和预测的标准变量之间存在高相关关系，则该测量具有标准有效性。 例如，研究生入学考试为了选拔培养具有革新能力的研究者，设置了数学、英语、专业基础、专业科目等考试科目。 分析某科目的入学成绩与学生入学后的学习能力、研究能力或毕业后的开拓创新能力之间存在较高的相关