축적된 데이터에 대한 반복 유의성 검정

데이터 축적 과정에서 서로 다른 단계에서 반복적으로 유의성 검정을 수행하는 일반적인 효과는 잘 알려져 있다. 영가설이 참이고 각 유의성 검정이 동일한 명목 수준에서 수행된다면, 어느 단계에서든 검정 기준이 충족될 확률은 명목값보다 상당히 클 수 있다. Feller(1940)는 초감각 지각 카드 맞추기 실험에서 보다 "유의미한" 결과들이 특히 유리한 조사 단계에서 우연적 선택에 기인할 수 있다는 가능성을 논의하였다. 반복 로그법칙은 기대치에서의 편차 누적 합을 표준오차로 나눈 표준화된 누적합 형식의 검정 기준이 확률 1로 결국 어떤 사전 지정된 값에 도달함을 보여준다. 따라서 많은 일반적 상황에서 원하는 만큼 높은 "유의미한" 결과를 충분히 광범위한 샘플링을 통해 얻을 수 있다. Robbins(1952)와 Anscombe(1954)는 이 점에 대해 추가 논의를 제공한다. 제1종 오류뿐 아니라 검정력의 제어 욕구는 물론 순차 분석(Wald, 1947)의 동기 중 하나였다. 최근에는 이 현상의 실질적 중요성에 대한 의문도 제기되었다. Anscombe(1954)는 가능도 기반 추론 혹은 가능도를 통한 사후 확률 기반 추론이 중단 규칙에 영향을 받지 않는 것을 지적하였다. 이 속성과 빈도론적 추론이 중단 규칙에 대해 극심한 민감성을 보이는 점의 대조는 서로 다른 관점 지지자들 사이에서 순차 분석이 큰 논쟁거리임을 설명한다(Birnbaum, 1964; Cornfield, 1966; Armitage, 1967). 이 문제들에 관한 의견 교환은 선택적 중단 효과에 대한 정량적 정보 부족으로 두드러진다. 예를 들어 다음 질문에 답하는 것이 불가능하였다. (a) 처음 50회 검정 내에서 특정 명목 수준에서 유의미한 결과를 얻을 확률은 얼마인가? (b) 유의미한 결과를 얻을 확률 상승은 매우 많은 검정 횟수 후에만 뚜렷하게 높은 수준에 도달하는가? (c) 영가설이 참이 아닐 때 반복 검정의 효과는? 본 논문의 목적은 추론 문제에 대한 추가 논의 없이 이러한 지식의 공백 일부를 메우는 데 있다. 우리는 세 가지 분포형태인 이항, 정규, 지수 분포에 대한 순차적 관측을 고려한다. 이항 경우에는 직접 계산을 통해 정확한 결과를 얻는다.