최적의 설계

실험 설계에서 최적 설계(또는 최적^[2] 설계)는 통계적 기준과 관련하여 최적의 실험 설계의 한 종류입니다.이 통계 분야의 창안은 덴마크 통계학자 키르스틴 ^[3][4]스미스의 공로를 인정받았다.

통계적 모형을 추정하기 위한 실험 설계에서 최적 설계를 사용하면 모수를 치우침 없이 최소 분산으로 추정할 수 있습니다.최적 설계가 아닌 경우에는 최적 설계와 동일한 정밀도로 모수를 추정하기 위해 더 많은 수의 실험 런이 필요합니다.실제로 최적의 실험은 실험 비용을 줄일 수 있습니다.

설계의 최적성은 통계 모델에 따라 달라지며, 추정치의 분산 매트릭스와 관련된 통계 기준에 따라 평가된다.적절한 모형을 지정하고 적절한 기준 함수를 지정하려면 통계 이론에 대한 이해와 실험을 설계하는 실제 지식이 필요합니다.

이점

최적 설계는 차선 실험 ^[5]설계에 비해 세 가지 이점을 제공합니다.

1. 최적 설계를 사용하면 적은 수의 실험 런으로 통계 모형을 추정할 수 있으므로 실험 비용을 절감할 수 있습니다.
2. 최적 설계는 공정, 혼합물 및 이산 요인 등 여러 유형의 요인을 수용할 수 있습니다.
3. 설계 공간이 제약될 때(예: 안전 문제로 인해) 설계를 최적화할 수 있습니다. 예를 들어 수학적 프로세스 공간에 실질적으로 실행할 수 없는 요인 설정이 포함되어 있는 경우).

추정치의 분산 최소화

실험설계는 ^[6]통계기준을 사용하여 평가된다.

최소 제곱 추정기는 (가우스-마코프 정리 조건 하에서) 평균-편향 추정기의 분산을 최소화하는 것으로 알려져 있다.실제 모수가 1개인 통계 모델에 대한 추정 이론에서는 "효율적인" 추정기의 분산에 대한 역수를 ^[7]해당 추정기에 대한 "피셔 정보"라고 합니다.이러한 상호성으로 인해 분산을 최소화하는 것은 정보의 최대화에 해당합니다.

그러나 통계 모형에 여러 개의 모수가 있는 경우 모수 추정기의 평균은 벡터이고 분산은 행렬입니다.분산 행렬의 역행렬을 "정보 행렬"이라고 합니다.모수 벡터의 추정기의 분산은 행렬이기 때문에 "분산을 최소화하는" 문제는 복잡하다.통계학자는 통계이론을 사용하여 실가 요약 통계를 사용하여 정보행렬을 압축한다. 실가 함수는 이러한 "정보 기준"을 ^[8]극대화할 수 있다.전통적인 최적성-기준은 정보행렬의 불변량이며, 대수적으로 전통적인 최적성-기준은 정보행렬의 고유값의 함수이다.

• A-최적성("평균" 또는 트레이스)
  • 한 가지 기준은 정보 행렬의 역추적을 최소화하려는 A-최적성입니다.이 기준을 사용하면 회귀 계수 추정치의 평균 분산을 최소화할 수 있습니다.
• C최적성
  • 이 기준은 모형 모수의 미리 결정된 선형 조합에 대한 최상의 선형 불편 추정기의 분산을 최소화합니다.
• D-optimality(결정자
  • 일반적으로 사용되는 기준은 설계의 정보 행렬 X'X의 결정 요인을 최소화(X'X)⁻¹하거나 동등하게 최대화하는 D-최적성입니다.이 기준은 모수 추정치의 차등 섀넌 정보 내용을 최대화하는 결과를 초래한다.
• E-최적성(eigenality)
  • 또 다른 설계는 정보 행렬의 최소 고유값을 최대화하는 E-최적성입니다.
• S최적성^[9]
  • 이 기준은 X의 상호 열 직교성과 정보 행렬의 행렬식을 측정하는 양을 최대화합니다.
• T최적성
  • 이 기준은 설계 ^[10]위치에서 제안된 두 모델 간의 불일치를 극대화한다.

다른 최적성 기준은 예측의 분산과 관련이 있습니다.

• G최적성
  • 일반적인 기준은 G-최적성으로, 해트 행렬 X(X'⁻¹X')X'의 대각선에서의 최대 엔트리를 최소화하려고 한다.이는 예측 값의 최대 분산을 최소화하는 효과가 있습니다.
• I-optimality(통합형)
  • 예측 분산에 대한 두 번째 기준은 설계 공간에 대한 평균 예측 분산을 최소화하려는 I-최적성입니다.
• V-최적성(분산)
  • 예측 분산에 대한 세 번째 기준은 V-최적성으로, m개의 특정 점에 대한 ^[11]평균 예측 분산을 최소화하려고 합니다.

대비

많은 애플리케이션에서 통계학자는 "관심 파라미터"보다는 "관심 파라미터"에 가장 관심이 많다.보다 일반적으로, 통계학자들은 실험 설계와 분산 분석에서 처리 평균의 선형 조합을 통해 추정되는 모수의 선형 조합을 고려합니다. 이러한 선형 조합을 대비라고 합니다.통계학자는 그러한 관심 매개변수와 ^[12]대비에 적절한 최적성 기준을 사용할 수 있다.

실행

최적의 디자인의 카탈로그는 책과 소프트웨어 라이브러리에서 볼 수 있습니다.

또한 SAS 및 R과 같은 주요 통계 시스템은 사용자 사양에 따라 설계를 최적화하는 절차를 가지고 있다.실험자는 최적 ^[13]설계를 계산하기 전에 설계에 대한 모형과 최적성 기준을 지정해야 합니다.

실제 고려 사항

최적 설계의 일부 고급 주제들은 실험을 설계할 때 더 많은 통계 이론과 실용적인 지식을 필요로 합니다.

모델의 의존성과 견고성

대부분의 최적 설계의 최적성 기준은 정보 행렬의 일부 기능에 기초하기 때문에, 주어진 설계의 '최적성'은 모델에 의존합니다.해당 모형에는 최적의 설계가 가장 좋지만 다른 모형에서는 성능이 저하될 수 있습니다.다른 모형에서는 최적 설계가 비최적 ^[14]설계보다 좋거나 나쁠 수 있습니다.따라서 대체 ^[15]모형에서 설계의 성능을 벤치마킹하는 것이 중요합니다.

최적성 기준 및 견고성 선택

적절한 최적성 기준의 선택은 어느 정도 고려가 필요하며, 몇 가지 최적성 기준과 관련하여 설계의 성능을 벤치마킹하는 것이 유용하다.코넬은 이렇게 쓰고 있다

[최적성] 기준은 분산 완화 기준이기 때문에, ... 기준 중 하나를 사용하여 주어진 모델에 최적인 설계는 다른 기준과 관련하여 동일한 모델에 거의 최적입니다.

--

사실, ^[17]키퍼의 "보편적 최적성" 이론에 따르면, 모든 전통적인 최적성-기준이 일치하는 여러 종류의 디자인이 있다.코넬과 키퍼의 "보편적 최적성" 이론과 같은 실무자들의 경험은 최적성 기준의 변화에 대한 강건성이 모델의 변화에 대한 강건성보다 훨씬 더 크다는 것을 시사한다.

유연한 최적성 기준 및 볼록 분석

고품질 통계 소프트웨어는 지정된 모델과 최적성 기준에 따라 최적의 설계 또는 대략적인 최적 설계를 구성하기 위한 반복 방법의 라이브러리 조합을 제공한다.사용자는 표준 최적성 기준을 사용하거나 맞춤형 기준을 프로그래밍할 수 있다.

전통적인 최적성 기준은 모두 볼록함수(또는 오목함수)이며, 따라서 최적 설계는 볼록분석의 수학적 이론에 적합하며, 그 계산은 볼록 ^[18]최소화의 특수한 방법을 사용할 수 있다.실무자는 하나의 전통적인 최적성 기준을 정확히 선택할 필요는 없지만 사용자 정의 기준을 지정할 수 있습니다.특히, 실무자는 볼록 최적성-기준의 최대값과 최적성 기준의 비음성 조합을 사용하여 볼록한 기준을 지정할 수 있다(이러한 연산이 볼록한 함수를 보존하기 때문이다).볼록 최적성 기준의 경우, 키퍼-울포위츠 등가정리를 통해 실무자는 주어진 설계가 전체적으로 ^[19]최적임을 확인할 수 있다.키퍼-볼포위츠 등가정리는 볼록함수에 ^[20]대한 Legendre-Fenchel 결합과 관련이 있다.

최적성 기준에는 볼록성이 결여되어 있는 경우, 글로벌 최적성을 찾아 최적성을 검증하는 것은 종종 어렵다.

모델 불확실성 및 베이지안 접근법

모델 선택

과학자들이 여러 이론을 검정하려고 하는 경우 통계학자는 지정된 모형 간에 최적의 검정을 수행할 수 있는 실험을 설계할 수 있습니다.이러한 "차별 실험"은 콕스와 ^[21]앳킨슨의 연구에 따라 약동학과 약역학을 뒷받침하는 생물 통계학에서 특히 중요하다.

베이지안 실험 설계

실무자는 여러 모형을 고려해야 하는 경우 모형에 확률 측도를 지정한 다음 이러한 실험의 기대 값을 최대화하는 설계를 선택할 수 있습니다.이러한 확률 기반 최적 설계를 최적 베이지안 설계라고 한다.그러한 베이지안 설계는 특히 일반화된 선형 모델(응답이 지수족 ^[22]분포를 따르는 경우)에 사용된다.

그러나 베이지안 설계의 사용은 통계학자들이 데이터를 분석하기 위해 베이지안 방법을 사용하도록 강요하지는 않는다.실제로 확률 기반 실험 설계에 대한 "베이지안" 레이블은 일부 ^[23]연구자들에 의해 혐오된다."베이지안" 최적성의 대체 용어로는 "평균" 최적성 또는 "인구" 최적성이 있습니다.

반복 실험

과학 실험은 반복적인 과정이며, 통계학자들은 순차적 실험의 최적 설계에 대한 몇 가지 접근 방식을 개발했습니다.

순차 분석

순차 분석은 에이브러햄 ^[24]월드에 의해 개척되었다.1972년에 헤르만 체르노프는 최적의 순차 ^[25]설계에 대한 개요를 썼고, 적응 설계는 나중에 S. ^[26]Zacks에 의해 조사되었다.물론, 실험의 최적 설계에 대한 많은 작업은 최적 결정 이론, 특히 아브라함 ^[27]월드의 통계적 결정 이론과 관련이 있다.

반응 표면 방법론

반응 표면 모델에 대한 최적의 설계는 Atkinson, Donev 및 Tobias의 교과서, Gaffke와 Hiligers의 조사 및 Pukelsheim의 수학적 텍스트에서 논의된다.최적 설계의 차단은 앳킨슨, 도네브, 토바이어스의 교과서 및 Goos의 논문에서도 논의된다.

가장 초기의 최적 설계는 연속형 변수를 사용하여 회귀 모형의 모수를 추정하기 위해 개발되었습니다(예: J. D.). 1815년(스티글러).영어로, 찰스 S.에 의해 두 개의 초기 기고가 이루어졌다. 피어스와 커스틴 스미스.

다변량 반응 표면에 대한 선구적 설계는 George E. P. Box에 의해 제안되었다.그러나 Box의 설계에는 최적성 특성이 거의 없습니다.실제로 Box-Behnken 설계에서는 변수 수가 ^[28]3개를 초과할 때 과도한 실험 런이 필요합니다.박스의 "중앙 합성" 디자인은 코노의 ^[29]최적 설계보다 더 많은 실험 런이 필요합니다.

시스템 식별 및 확률적 근사

순차적 실험의 최적화는 확률적 프로그래밍, 시스템 및 제어에서도 연구된다.일반적인 방법에는 확률적 근사 및 확률적 최적화의 다른 방법이 포함된다.이 연구의 대부분은 시스템 ^[30]식별의 하위 분야와 관련되어 있습니다.계산 최적 관리에서 D.Judin & A.Nemirovskii와 Boris Polyak은 반응 표면 방법론에서 ^[31]G. E. P. Box가 도입한 (아르미조 스타일의) 단계 크기 규칙보다 더 효율적인 방법을 설명했습니다.

적응 설계는 임상 시험에서 사용되며, 최적의 적응 설계는 Shelemyahu Zacks의 실험 설계 핸드북 장에서 조사됩니다.

실험 런 수 지정

컴퓨터를 사용하여 좋은 디자인 찾기

실험 런 또는 반복실험 횟수에 대한 사전 제한이 있을 경우 최적의 설계를 찾는 몇 가지 방법이 있습니다.이러한 방법 중 일부는 Atkinson, Donev 및 Tobias에 의해, 그리고 Hardin과 Sloane에 의해 논문에 설명되어 있습니다.물론 실험 런 수를 미리 고정하는 것은 비현실적입니다.신중한 통계학자들은 실험 런 수가 다른 다른 다른 최적 설계를 조사합니다.

확률 측정 설계 이산화

최적 실험에 대한 수학 이론에서 최적 설계는 무한한 관측 위치 집합에서 지원되는 확률 측도가 될 수 있습니다.이러한 최적의 확률 측도 설계는 관측치와 실험 런의 비용 지정을 소홀히 한 수학적 문제를 해결합니다.그럼에도 불구하고, 그러한 최적의 확률 측정 설계는 거의 최적의 ^[32]설계를 제공하기 위해 이산화할 수 있다.

경우에 따라서는 관측 위치들의 유한 집합이 최적의 설계를 지원하기에 충분하다.이러한 결과는 2차 모델에 대한 반응 표면 설계에 대한 연구에서 코노와 키퍼에 의해 입증되었다.코노-키퍼 분석은 반응 표면에 대한 최적 설계가 반응 표면 ^[33]방법론에서 전통적인 덜 효율적인 설계와 매우 유사한 개별 지지대를 가질 수 있는 이유를 설명한다.

역사

스티글러에 따르면 1815년 다항식 회귀를 위한 최적 설계에 대한 기사가 조지프 디아즈 거곤에 의해 출판되었다.

찰스 S. 피어스는 1876년에 추정의 정확성을 극대화하고자 하는 과학 실험의 경제 이론을 제안했다.피어스의 최적 할당은 즉시 중력 실험의 정확도를 향상시켰고 피어스와 그의 동료들에 의해 수십 년 동안 사용되었다.1882년 존스 홉킨스 대학에서 출판된 강연에서 피어스는 다음과 같은 말로 실험 디자인을 소개했습니다.

논리는 중력가속이나 옴의 값을 결정하기 위해 어떤 종류의 실험을 해야 하는지 알려주지 않을 것이다. 하지만 어떻게 실험 계획을 세우는지를 알려줄 것이다.

[........] 불행히도 실천은 일반적으로 이론보다 앞서며, 어떤 놀라운 방법으로 먼저 일을 처리하고 그 후에 어떻게 훨씬 쉽고 완벽하게 ^[34]할 수 있었는지 알아내는 것이 인류의 일반적인 운명이다.

키르스틴 스미스는 1918년에 다항식 모델에 대한 최적 설계를 제안했다. (키르스틴 스미스는 덴마크 통계학자 토르발드 N의 학생이었다.) 런던에서 칼 피어슨과 함께 일하고 있었다.)

「 」를 참조해 주세요.

메모들

레퍼런스

• Atkinson, A. C.; Donev, A. N.; Tobias, R. D. (2007). Optimum experimental designs, with SAS. Oxford University Press. pp. 511+xvi. ISBN 978-0-19-929660-6.
• Chernoff, Herman (1972). Sequential analysis and optimal design. Society for Industrial and Applied Mathematics. ISBN 978-0-89871-006-9.
• Fedorov, V. V. (1972). Theory of Optimal Experiments. Academic Press.
• Fedorov, Valerii V.; Hackl, Peter (1997). Model-Oriented Design of Experiments. Lecture Notes in Statistics. Vol. 125. Springer-Verlag.
• Goos, Peter (2002). The Optimal Design of Blocked and Split-plot Experiments. Lecture Notes in Statistics. Vol. 164. Springer. {{cite book}}:외부 링크 series=(도움말)
• Kiefer, Jack Carl (1985). Brown; Olkin, Ingram; Sacks, Jerome; et al. (eds.). Jack Carl Kiefer: Collected papers III—Design of experiments. Springer-Verlag and the Institute of Mathematical Statistics. pp. 718+xxv. ISBN 978-0-387-96004-3.
• Logothetis, N.; Wynn, H. P. (1989). Quality through design: Experimental design, off-line quality control, and Taguchi's contributions. Oxford U. P. pp. 464+xi. ISBN 978-0-19-851993-5.
• Nordström, Kenneth (May 1999). "The life and work of Gustav Elfving". Statistical Science. 14 (2): 174–196. doi:10.1214/ss/1009212244. JSTOR 2676737. MR 1722074.
• Pukelsheim, Friedrich (2006). Optimal design of experiments. Classics in Applied Mathematics. Vol. 50 (republication with errata-list and new preface of Wiley (0-471-61971-X) 1993 ed.). Society for Industrial and Applied Mathematics. pp. 454+xxxii. ISBN 978-0-89871-604-7.
• Shah, Kirti R. & Sinha, Bikas K. (1989). Theory of Optimal Designs. Lecture Notes in Statistics. Vol. 54. Springer-Verlag. pp. 171+viii. ISBN 978-0-387-96991-6. {{cite book}}:외부 링크 series=(도움말)

추가 정보

실무자 및 학생용 교재

회귀 및 반응 표면 방법론을 강조하는 교과서

앳킨슨, 도네브, 토바이어스의 교과서는 대학 과정뿐만 아니라 산업 실무자들을 위한 짧은 과정에도 사용되어 왔다.

• Atkinson, A. C.; Donev, A. N.; Tobias, R. D. (2007). Optimum experimental designs, with SAS. Oxford University Press. pp. 511+xvi. ISBN 978-0-19-929660-6.
• Logothetis, N.; Wynn, H. P. (1989). Quality through design: Experimental design, off-line quality control, and Taguchi's contributions. Oxford U. P. pp. 464+xi. ISBN 978-0-19-851993-5.

블록 설계를 강조하는 교과서

최적 블럭 설계는 Bailey와 Bapat에서 설명합니다.바팟의 책의 첫 번째 장에서는 베일리가 사용한 선형 대수를 검토합니다.베일리의 연습과 무작위화에 대한 논의는 둘 다 (대수 계산보다는) 통계 개념을 강조한다.

• Bailey, R. A. (2008). Design of Comparative Experiments. Cambridge U. P. ISBN 978-0-521-68357-9. 초안은 온라인으로 이용할 수 있다.(특히 제11.8장 "최적성")
• Bapat, R. B. (2000). Linear Algebra and Linear Models (Second ed.). Springer. ISBN 978-0-387-98871-9. (5장 "블록 설계 및 최적화", 99-111페이지)

최적의 블록 설계는 Shah와 Sinha의 고급 논문과 Cheng과 Majumdar의 조사 기사에서 논의된다.

전문 통계학자 및 연구자를 위한 도서

• Chernoff, Herman (1972). Sequential Analysis and Optimal Design. SIAM. ISBN 978-0-89871-006-9.
• Fedorov, V. V. (1972). Theory of Optimal Experiments. Academic Press.
• Fedorov, Valerii V.; Hackl, Peter (1997). Model-Oriented Design of Experiments. Vol. 125. Springer-Verlag.
• Goos, Peter (2002). The Optimal Design of Blocked and Split-plot Experiments. Vol. 164. Springer.
• Goos, Peter & Jones, Bradley (2011). Optimal design of experiments: a case study approach. Chichester Wiley. p. 304. ISBN 978-0-470-74461-1.
• Kiefer, Jack Carl. (1985). Brown, Lawrence D.; Olkin, Ingram; Jerome Sacks; Wynn, Henry P (eds.). Jack Carl Kiefer Collected Papers III Design of Experiments. Springer-Verlag and the Institute of Mathematical Statistics. ISBN 978-0-387-96004-3.
• Pukelsheim, Friedrich (2006). Optimal Design of Experiments. Vol. 50. Society for Industrial and Applied Mathematics. ISBN 978-0-89871-604-7. 에라타 리스트와 Wiley의 새로운 서문을 사용한 공화국(0-471-61971-X) 1993
• Shah, Kirti R. & Sinha, Bikas K. (1989). Theory of Optimal Designs. Vol. 54. Springer-Verlag. ISBN 978-0-387-96991-6.

기사 및 장

• Chaloner, Kathryn & Verdinelli, Isabella (1995). "Bayesian Experimental Design: A Review". Statistical Science. 10 (3): 273–304. CiteSeerX 10.1.1.29.5355. doi:10.1214/ss/1177009939.
• Ghosh, S.; Rao, C. R., eds. (1996). Design and Analysis of Experiments. Handbook of Statistics. Vol. 13. North-Holland. ISBN 978-0-444-82061-7.
  • "Model Robust Designs". Design and Analysis of Experiments. Handbook of Statistics. pp. 1055–1099.
  • Cheng, C.-S. "Optimal Design: Exact Theory". Design and Analysis of Experiments. Handbook of Statistics. pp. 977–1006.
  • DasGupta, A. "Review of Optimal Bayesian Designs". Design and Analysis of Experiments. Handbook of Statistics. pp. 1099–1148.
  • Gaffke, N. & Heiligers, B. "Approximate Designs for Polynomial Regression: Invariance, Admissibility, and Optimality". Design and Analysis of Experiments. Handbook of Statistics. pp. 1149–1199.
  • Majumdar, D. "Optimal and Efficient Treatment-Control Designs". Design and Analysis of Experiments. Handbook of Statistics. pp. 1007–1054.
  • Stufken, J. "Optimal Crossover Designs". Design and Analysis of Experiments. Handbook of Statistics. pp. 63–90.
  • Zacks, S. "Adaptive Designs for Parametric Models". Design and Analysis of Experiments. Handbook of Statistics. pp. 151–180.
• Kôno, Kazumasa (1962). "Optimum designs for quadratic regression on k-cube" (PDF). Memoirs of the Faculty of Science. Kyushu University. Series A. Mathematics. 16 (2): 114–122. doi:10.2206/kyushumfs.16.114.

이력

• Gergonne, J. D. (November 1974) [1815]. "The application of the method of least squares to the interpolation of sequences". Historia Mathematica (Translated by Ralph St. John and S. M. Stigler from the 1815 French ed.). 1 (4): 439–447. doi:10.1016/0315-0860(74)90034-2.
• Stigler, Stephen M. (November 1974). "Gergonne's 1815 paper on the design and analysis of polynomial regression experiments". Historia Mathematica. 1 (4): 431–439. doi:10.1016/0315-0860(74)90033-0.
• Peirce, C. S (1876). "Note on the Theory of the Economy of Research". Coast Survey Report: 197–201. (부록 제14호)NOAA PDF Eprint.139~157항에 전재되어 있으며,
• Smith, Kirstine (1918). "On the Standard Deviations of Adjusted and Interpolated Values of an Observed Polynomial Function and its Constants and the Guidance They Give Towards a Proper Choice of the Distribution of the Observations". Biometrika. 12 (1/2): 1–85. doi:10.2307/2331929. JSTOR 2331929.