在累积数据上进行重复显著性检验

在数据积累的不同阶段进行重复显著性检验的一般效应是众所周知的。如果零假设为真，并且每次显著性检验都在相同的名义水平下进行，那么在某个阶段检测到显著结果的概率可能远高于该名义值。Feller (1940) 讨论了在超感官知觉的猜牌实验中，一些较 "显著" 的结果可能归因于研究过程中某些特别有利阶段的 "任选停止"。迭代对数法则显示，以期望偏差的标准化累积和除以其标准误形成的检验标准，几乎必然最终达到任意预设值。因此，在许多常见情况下，足够广泛的抽样可以获得任意高的显著性结果。Robbins (1952) 和 Anscombe (1954) 对此进行了进一步讨论。控制第一类错误率以及检验功效的需求，当然是顺序分析（Wald, 1947）的一大动机。近日，这一现象的实际相关性受到质疑。Anscombe (1954) 指出，基于似然函数或通过似然函数得出的后验概率的推断不受停止规则影响。这一特性与频率型推断对停止规则的极端敏感性的对比，解释了不同观点支持者之间关于顺序分析的争论（Birnbaum, 1964；Cornfield, 1966；Armitage, 1967）。关于这些问题的讨论，显著缺乏针对任选停止效应的定量资料。例如，尚无法解答如下问题：（a）在前50次检验中，获得某一名义显著水平结果的概率是多少？（b）获得 "显著" 结果的概率提升仅在非常大量检验之后才显著提升吗？（c）当零假设不成立时，重复检测的影响如何？本论文旨在填补这些知识空白，而非深入讨论推论问题。我们考察三种不同分布形式的顺序观测：二项分布、正态分布和指数分布。二项分布情况下，通过直接计算获得精确结果。