델파이법

Delphi method
미래학
컨셉트
기술
기술평가 및 예측

델파이 방법 또는 델파이 기법(/ ˈd ɛlfa ɪ/ DEL-fy; ETE라고도 함)은 구조화된 의사소통 기법 또는 방법으로, 원래 전문가 패널에 의존하는 체계적이고 상호작용적인 예측 방법으로 개발되었습니다.이 기법은 대면 모임에서도 사용할 수 있도록 조정할 수 있으며, 미니 델파이(mini-Delphi)라고 불립니다.델파이는 비즈니스 예측에 널리 사용되어 왔으며 다른 구조화된 예측 접근 방식인 예측 시장에 비해 특정 이점을 가지고 있습니다.[6]

델파이는 전문가의 의견 일치와 전문적인 가이드라인 개발에도 도움이 될 수 있습니다.[7]임상 의학, 공중 보건, 연구를 포함한 많은 건강 관련 분야에서 그러한 목적으로 사용됩니다.[7][8]

델파이는 구조화된 개인 그룹의 예측(또는 결정)이 구조화되지 않은 그룹의 예측(또는 결정)보다 더 정확하다는 원칙에 기초하고 있습니다.[9]전문가들은 설문지에 두 개 이상의 라운드로 답을 합니다.각 라운드가 끝난 후 진행자 또는 변경 담당자는[10] 전문가들이 이전 라운드에서 예측한 내용과 판단을 위해 제공한 이유를 익명으로 요약하여 제공합니다.따라서 전문가들은 패널의 다른 구성원들의 답변을 고려하여 이전 답변을 수정할 것을 권장합니다.이 과정에서 답안의 범위가 줄어들고 그룹이 "올바른" 답안을 향해 수렴할 것으로 예상됩니다.마지막으로, 프로세스는 사전에 정의된 정지 기준(예: 라운드 수, 합의 달성, 결과 안정성) 후에 중지되며, 최종 라운드의 평균 또는 중위수 점수가 결과를 결정합니다.[11]

결과의 타당성과 신뢰성을 심각하게 위협하는 방법론적 약점을 피하기 위해서는 델파이 논문의 작성과 전문가의 정의 및 선정에 각별한 주의가 필요합니다.[12][13]

역사

델포이라는 이름은 델포이의 신탁에서 유래된 것이지만, 이 방법의 저자들은 "오컬트를 조금 때린다"는 이름의 구술적 의미에 불만을 가지고 있었습니다.[14]델파이 방법은 개인의 판단보다 집단 판단이 더 타당하다고 가정합니다.

델파이 방법은 냉전 초기에 기술이 전쟁에 미치는 영향을 예측하기 위해 개발되었습니다.[15]1944년, 헨리 H. 아놀드 장군은 미군이 사용할 수도 있는 미래 기술 능력에 대한 미 육군 항공대 보고서를 만들라고 명령했습니다.

다양한 접근법이 시도되었지만, 이론적 접근법, 정량적 모델 또는 추세 외삽법과 같은 전통적인 예측 방법의 단점은 아직 정밀한 과학적 법칙이 확립되지 않은 분야에서 빠르게 드러났습니다.이러한 단점을 해결하기 위해 프로젝트 랜드(Project RAND)는 1950-1960년대에 올라프 헬머(Olaf Helmer), 노먼 달키(Norman Dalkey) 및 니콜라스 레셔(Nicholas Rescher)[16]에 의해 델파이 방법을 개발했습니다.이후 Imen-Delphi 절차와 같은 다양한 수정 및 개혁과 함께 사용되어 왔습니다.[17]

전문가들은 적의 공격 가능성, 빈도, 강도에 대한 의견을 제시하도록 요청 받았습니다.다른 전문가들은 익명으로 피드백을 줄 수 있습니다.이 과정은 합의가 나올 때까지 여러 차례 반복됐습니다.

델파이 방법을 적용하기 위한 엄격한 접근 방식을 설명하는 연구 프로토콜은 원래 2015년 BMJ Open에 발표되었습니다.[18]이 연구 프로토콜은 델파이 방법을 적용하는 모든 연구에서 일반적으로 사용되고 인용됩니다. 방법론을 실제로 적용하기 위한 명확한 프로토콜이 설명된 것은 처음이기 때문입니다.

2021년 Beiderbeck et al. 의 범분야적 연구는 실시간 델파이 포맷을 포함한 델파이 방법의 새로운 방향과 발전에 초점을 맞추고 있습니다.저자들은 심리학 분야의 감정 분석을 포함하여 델파이 조사를 설계하기 위한 방법론적 도구 상자를 제공합니다.[19]

주요특성

델파이 방식 통신 구조

델파이 방법의 다음과 같은 주요 특징은 참가자들이 당면한 문제에 집중하고 델파이를 다른 방법론과 구분하는 데 도움이 됩니다. 이 방법에서는 조직 내부 및 외부에서 전문가 패널을 뽑습니다.패널은 의사결정이 필요한 분야에 대한 지식을 갖춘 전문가로 구성됩니다.각 전문가는 익명의 예측을 해야 합니다.

참가자의 익명성

일반적으로 모든 참가자는 익명으로 유지됩니다.최종 보고서 작성 이후에도 이들의 신원은 드러나지 않습니다.이렇게 하면 일부 참가자의 권한, 성격 또는 평판이 프로세스에서 다른 참가자를 지배하는 것을 방지할 수 있습니다.그것은 또한 참가자들을 개인적인 편견으로부터 어느 정도 자유롭게 해주고, "밴드왜건 효과"나 "헤일로 효과"를 최소화하며, 자유로운 의견 표현을 허용하고, 공개적인 비평을 장려하며, 이전의 판단을 수정할 때 오류를 인정하는 데 용이합니다.

정보 흐름의 구조화

전문가의 초기 기고는 설문지에 대한 답변과 이에 대한 의견 형식으로 수집됩니다.패널 디렉터는 정보를 처리하고 관련 없는 내용을 걸러냄으로써 참가자 간의 상호작용을 제어합니다.이를 통해 대면 패널 토론의 부정적인 영향을 방지하고 그룹 역학의 일반적인 문제를 해결할 수 있습니다.

정기적인 피드백

델파이 방식은 참가자들이 타인의 반응, 패널 전체의 진행 상황 등에 대해 의견을 제시하고 실시간으로 자신의 예측과 의견을 수정할 수 있도록 하는 방식입니다.

촉진자의 역할

델파이 방법을 조정하는 사람은 보통 촉진자 또는 지도자로 알려져 있으며, 전문가 패널의 응답을 촉진합니다. 전문가 패널은 어떤 이유로 선정되었으며, 그들은 보통 의견이나 견해에 대한 지식을 보유하고 있습니다.진행자는 질문지, 설문조사 등을 발송하고 전문가 패널이 수락하면 지시에 따라 의견을 제시합니다.응답을 수집하고 분석한 다음 공통 및 상반된 관점을 식별합니다.합의에 도달하지 못하면 논문과 반증을 거쳐 점진적으로 종합을 향해 나아가며 합의를 이루는 과정이 계속됩니다.

지난 수십 년 동안 촉진자들은 합의 또는 반대의 정도를 측정하기 위해 다양한 측정치와 한계치를 사용해 왔습니다.종합적인 문헌고찰과 요약은 폰 데어 그라흐트의 글로 정리되어 있습니다.[20]

적용들

예측에 사용

델파이 방법의 첫 번째 적용 사례는 과학기술 예측 분야였습니다.이 방법의 목적은 특정 기술의 가능성 및 예상 개발 시간에 대한 전문가 의견을 단일 지표로 결합하는 것이었습니다.1964년 Gordon과 Helmer에 의해 작성된 최초의 그러한 보고서들 중 하나는 과학적 돌파구, 인구 통제, 자동화, 우주 진보, 전쟁 예방 및 무기 시스템과 같은 주제를 다루면서 과학 기술 발전의 장기적인 동향을 평가했습니다.기술에 대한 다른 예측은 차량 고속도로 시스템, 산업용 로봇, 지능형 인터넷, 광대역 연결 및 교육에서의 기술을 다루고 있었습니다.

나중에 델파이 방법은 특히 경제 동향, 건강 및 교육과 같은 공공 정책 문제와 관련된 다른 곳에서 적용되었습니다.또한 성공적으로 적용되어 사업 예측에 높은 정확도를 보였습니다.예를 들어, Basu and Schroeder(1977)에 의해 보고된 한 사례에서 델파이 방법은 처음 2년 동안 신제품의 판매량을 실제 판매량과 비교하여 3-4%의 정확도로 예측했습니다.[21]정량적 방법은 10-15%의 오차를 발생시켰으며, 기존의 비정형 예측 방법은 약 20%의 오차를 발생시켰습니다.(이것은 단지 하나의 예시일 뿐이며, 기법의 전체적인 정확도는 혼합되어 있습니다.)

델파이 방법은 개발도상국의 참여적 정책결정을 위한 다중 이해관계자 접근법을 구현하기 위한 도구로도 활용되어 왔습니다.라틴 아메리카와 카리브해 정부는 델파이 방법을 개방형 공공-민간 부문 접근 방식으로 성공적으로 사용하여 지역 ICT 개발을 위한 eLAC 실행 계획의 가장 시급한 과제를 파악했습니다.[22]그 결과, 정부는 델파이의 시민사회, 학계 및 민간부문 참가자들로부터 집단지성의 가치를 널리 인정해 왔으며, 특히 기술정책과 같은 급격한 변화 분야에서 그 가치를 인정해 왔습니다.

특허 참여 식별에 사용

1980년대 초 Jackie Awerman Associates, Inc.의 Jackie Awerman은 특허 적격 제품 개발에 대한 다양한 기여자들의 역할을 식별하기 위한 수정된 델파이 방법을 고안했습니다. (Epsilon Corporation, Chemical Vapor Deposition Reactor)그 결과는 변리사들이 모든 팀원들의 일반적인 만족도에 대한 보너스 분배 비율을 결정하는 데 사용되었습니다.[citation needed]

정책 결정에 사용

1970년대부터 공공정책 결정에서 델파이 기법을 사용함에 따라 다양한 방법론적 혁신이 도입되었습니다.특히:

  • 여러 유형의 항목(예측 항목뿐만 아니라 일반적으로 발행 항목, 목표 항목, 옵션 항목)을 검토해야 할 필요성으로 인해 표준 델파이에서는 사용되지 않는 다양한 평가 척도가 도입됩니다.여기에는 종종 바람직한 시나리오, 실현 가능성(기술적 및 정치적) 및 확률이 포함되며, 분석가들은 다양한 시나리오를 개략적으로 설명하는 데 사용할 수 있습니다: 희망 시나리오(바람직한 시나리오), 잠재적 시나리오(실현 가능성) 및 예상 시나리오(확률).
  • 공공 정책 결정에서 제기되는 문제의 복잡성은 패널이 고려해야 할 새로운 항목과 함께 종종 요청되는 찬성 및 반대와 같은 패널의 주장의 가중을 증가시키는 경향이 있습니다.
  • 마찬가지로, 패널 평가를 측정하는 방법은 다차원 스케일링과 같은 정교함을 증가시키는 경향이 있습니다.

추가적인 혁신은 컴퓨터 기반 (그리고 나중에는 웹 기반) 델파이 컨퍼런스의 사용에서 비롯됩니다.Turoff and Hiltz에 따르면, 컴퓨터 기반 델피스에서:[23]

  • 논문에서 사용된 반복 구조 Delphis는 3개 이상의 이산 라운드로 나뉘며, 연속적인 (라운드가 없는) 상호작용의 과정으로 대체될 수 있으며, 패널들이 언제든지 평가를 변경할 수 있습니다.
  • 통계 그룹 응답은 실시간으로 업데이트될 수 있으며 패널리스트가 새로운 평가를 제공할 때마다 표시됩니다.

볼로니니에 따르면 웹 기반 델피스는 쌍방향 정책 결정과 전자 민주주의의 맥락에서 관련된 두 가지 추가 가능성을 제공합니다.[24]다음과 같습니다.

웹 기반 통신 구조 (Hyperdelphi)[24]
  • 많은 수의 참가자들이 참여한 것입니다.
  • 관리자가 다양한 역할과 전문성을 반영하여 업무를 부여하고 임시 의사소통 구조 내에서 상호 작용할 수 있도록 하는, 서로 다른 그룹(정책 입안자, 전문가, 시민 등)을 대표하는 둘 이상의 패널을 사용하는 것.예를 들어 정책 공동체 구성원(정책 입안자 및 전문가)은 기본 회의 패널의 일부로 상호 작용할 수 있으며, 이들은 보조 회의에 참여하는 가상 공동체(시민, 협회 등)로부터 입력을 받습니다.그가 하이퍼델피(HD)라고 부르는 이 웹 기반 가변 통신 구조는 델파이 회의를 "디지털 통신의 하이퍼텍스트적이고 상호작용적인 성격에 더 유동적이고 적응"하도록 설계되었습니다.

(부분적으로) 웹 기반 정책 델파이의 성공적인 예 중 하나는 라틴 아메리카에서 eLAC Action Plan을 작성하기 위한 5라운드 델파이 연습(1,454건의 기부금 포함)입니다.현 시점에서 개발도상국 정부 간 과정 역사상 가장 광범위한 온라인 참여형 정책 수립 선견지명 행사로 판단됩니다.[22]저자들은 제공되는 구체적인 정책 지침 외에도 다음과 같은 교훈을 열거하고 있습니다. "(1) 공공 의사 결정에 투명성과 책임을 도입하는 정책 델파이 방법의 잠재력; (2) 개발 중에 다기관 네트워킹을 촉진하는 선견지명 연습의 유용성.opment community; (3) 선견지명 행사를 유엔과 같은 대표 민주주의 및 국제 다자주의의 확립된 메커니즘에 포함시키는 유용성; (4) 자원 부족 개발도상국의 참여를 촉진하는 온라인 도구의 잠재력; 그리고 (5) 자원의 규모에 기인하는 자원 효율성.국제적인 선견지명 연습과 따라서 자원 scarce 지역에 대한 그것의 적합성."

상태 설정에서 사용

델파이 기법은 건강과 관련된 환경에서 전문가의 의견 일치를 돕기 위해 널리 사용됩니다.[7]예를 들어, 의료 지침 및 프로토콜 개발에 자주 사용됩니다.[7]

공중보건에 사용

공중 보건적 맥락에서 그것의 적용의 예로는 비알코올성 지방간 질환,[25] 요오드 결핍 장애,[26] 이주로 영향을 받는 지역사회를 위한 반응형 건강 시스템 구축,[27] HIV를 가진 사람들의 복지 증진을 위한 건강 시스템의 역할,[28]2022년 코로나19 범유행을 종식시키기 위한 권고사항에 관한 논문을 작성하는 과정에서.[29]

보고 지침에 사용

특히 숙련된 개발자의 경우 건강 연구[8] 보고 가이드라인 개발 시 델파이 방법을 사용할 것을 권장합니다.[30]2010년 이 자문이 이루어진 이후 두 번의 체계적인 검토 결과 발표된 보고 지침의 30% 미만이 개발 프로세스에 델파이 방법을 포함한 것으로 나타났습니다.[31][32]

온라인 델파이 시스템

주요 기사 : 실시간 델파이

실시간으로 진행할 수 있는 웹사이트를 활용한 델파이 예측이 다수 진행되고 있습니다.예를 들어, TechCast Project는 전세계 100명의 전문가로 구성된 패널을 사용하여 과학 및 기술의 모든 분야에서 획기적인 발전을 예측합니다.또 다른 예로는 교육 미래학자들이 델파이 방법을 사용하여 온라인으로 협력하여 향후 몇 년간 교육에서 주목해야 할 기술적 발전을 도출하는 호라이즌 프로젝트가 있습니다.

변주곡

전통적으로 델파이 방법은 반복에 의해 가장 가능성이 높은 미래의 합의를 목표로 해왔습니다.정책 델파이와 같은 다른 버전은 선호하는 미래의 다양한 관점을 구조화하고 논의하는 것을 목표로 하는 의사결정 지원 방법입니다.[33][34]유럽에서는 최근의 웹 기반 실험에서 델파이 방법을 대화형 의사결정과 전자민주주의를 위한 의사소통 기법으로 사용하고 있습니다.[35]Osmo Kuusi가 개발한 논변 델파이는 산출물에 초점을 맞추기보다는 지속적인 논의와 관련 논변 발굴에 초점을 맞추고 있습니다.Petri Tapio가 개발한 Degregative Policy Delphi는 최신 델파이 라운드에서 미래의 다양한 시나리오를 구성하기 위한 체계적인 도구로 클러스터 분석을 사용합니다.[36]가능한 미래와 바람직한 미래에 대한 응답자의 견해는 별개의 경우로 다루고 있습니다.논변 델파이의 전산화는 논변 해결, 논변 집계, 논변 평가 등 여러 문제 때문에 상대적으로 어렵습니다.사디 에브렌 세커(Sadi Evren Seker)가 개발한 논변 델파이(Argument Delphi)의 컴퓨터화는 이러한 문제에 대한 해결책을 제안합니다.[37]

정확성.

오늘날 델파이 방법은 널리 받아들여지는 예측 도구이며 기술 예측에서 약물 남용에 이르기까지 다양한 분야의 수천 개의 연구에 성공적으로 사용되어 왔습니다.[38]전체적으로 델파이 방식의 실적이 혼재되어 있습니다.그 방법은 결과가 좋지 않은 경우가 많았습니다.그러나 일부 저자들은 이를 방법 자체의 약점 때문이 아니라 방법을 제대로 적용하지 못했기 때문으로 보고 있습니다.[citation needed]또한 과학기술 예측과 같은 분야에서는 불확실성의 정도가 너무 커서 정확하고 항상 정확한 예측이 불가능하기 때문에 높은 오차를 예상할 수밖에 없다는 것을 깨달아야 합니다.

델파이 방법의 특별한 약점은 전문가들의 합의에 의해 미래의 발전이 항상 올바르게 예측되지 않는다는 것입니다.무지의 문제에 관한 이 단점은 중요합니다.패널들이 주제에 대해 잘못 알고 있다면, 델파이의 사용은 그들의 무지에 자신감을 더해줄 뿐입니다.[6]

이 방법의 초기 문제점 중 하나는 여러 요인으로 복잡한 예측을 할 수 없다는 것이었습니다.미래의 잠재적 결과는 대개 서로에게 아무런 영향을 미치지 않는 것처럼 간주되었습니다.이후, 한 사건의 발생이 조사에서 다루어진 다른 사건의 확률을 바꿀 수 있는 가능성을 고려한 교차영향분석과 같은 델파이 방법의 몇 가지 확장이 개발되었습니다.그래도 델파이 방법은 단일 스칼라 지표를 예측하는 데 가장 성공적으로 사용될 수 있습니다.

델파이 대 예측 시장

델파이는 집단의 다양한 의견을 수렴하는 구조화된 접근방식으로 예측시장과 유사한 특성을 가지고 있습니다.그러나 여러 문제에 대한 상대적 적용 가능성에 결정적인 차이가 있을 수 있습니다.[6]

예측 시장의 몇 가지 이점은 참여에 대한 인센티브를 제공할 수 있는 가능성에서 비롯됩니다.

  1. 그들은 사람들이 오랜 기간에 걸쳐 참여하고 그들의 진정한 신념을 밝히도록 동기를 부여할 수 있습니다.
  2. 이들은 자동으로 정보를 수집하고 즉각적으로 새로운 정보를 예측에 통합합니다.
  3. 참가자는 진행자에 의해 수동으로 선택되고 모집될 필요가 없습니다.개인정보가 아직 예보에 반영되지 않았다고 판단되면 직접 참여 여부를 결정합니다.

델파이는 예측 시장에 비해 다음과 같은 이점을 가지고 있는 것 같습니다.

  1. 참가자들이 자신의 추론을 밝힙니다.
  2. 기밀을 유지하는 것이 보다 용이함
  3. 전문가를 쉽게 구할 수 있는 경우 예측 속도가 더 빨라질 수 있습니다.
  4. 델파이는 관련된 베팅이 베팅에 사용되는 통화의 가치에 영향을 미칠 수 있는 상황에 적용됩니다(예: 달러로 만들어진 달러의 붕괴에 대한 베팅은 확률을 왜곡할 수 있습니다).

더 최근의 연구는 델파이 기법과 예측 시장을 결합하는 데도 초점을 맞추고 있습니다.보다 구체적으로, Delphi 방법의 Deutsche Börse 요소에 대한 연구에서 예측 시장에 통합되었습니다.[39]

참고 항목

참고문헌

  1. ^ Dalkey N, Helmer O (1963). "An Experimental Application of the Delphi Method to the use of experts". Management Science. 9 (3): 458–467. doi:10.1287/mnsc.9.3.458. hdl:2027/inu.30000029301680.
  2. ^ Brown BB (September 1968). Delphi Process: A Methodology Used for the Elicitation of Opinions of Experts (Report). Santa Monica CA: Rand Corp. P-3925.
  3. ^ Sackman H (1974). Delphi assessment: Expert opinion, forecasting, and group process (Report). Santa Monica CA: The Rand Corporation. R-1283-PR.
  4. ^ Brown T (1972). An Experiment in Probabilistic Forecasting (Report). Santa Monica CA: The Rand Corporation. R-944-ARPA.
  5. ^ Linstone HA, Turoff M, eds. (1975). The Delphi Method: Techniques and Applications. Reading, Mass.: Addison-Wesley. ISBN 978-0-201-04294-8. Archived from the original on 2008-05-20.
  6. ^ a b c Green KC, Armstrong JS, Graefe A (June 2008). "Methods to elicit forecasts from groups: Delphi and prediction markets compared". Foresight: The International Journal of Applied Forecasting. 8: 17–20. doi:10.2139/ssrn.1153124.
  7. ^ a b c d Taylor E (2020). "We Agree, Don't We? The Delphi Method for Health Environments Research". HERD. 13 (1): 11–23. doi:10.1177/1937586719887709. PMID 31887097. S2CID 209519275.
  8. ^ a b Moher D, Schulz KF, Simera I, Altman DG (February 2010). "Guidance for developers of health research reporting guidelines". PLOS Medicine. 7 (2): e1000217. doi:10.1371/journal.pmed.1000217. PMC 2821895. PMID 20169112.
  9. ^ Rowe G, Wright G (2001). "Expert Opinions in Forecasting. Role of the Delphi Technique." (PDF). In Armstrong (ed.). Principles of Forecasting: A Handbook of Researchers and Practitioners. International Series in Operations Research & Management Science. Vol. 30. Boston: Kluwer Academic Publishers. pp. 125–144. doi:10.1007/978-0-306-47630-3_7. ISBN 978-0-7923-7401-5.
  10. ^ McLaughlin MW (1990). "The Rand Change Agent Study Revisited: Macro Perspectives and Micro Realities". Educational Researcher. 19 (9): 11–16. doi:10.2307/1176973. ISSN 0013-189X. JSTOR 1176973.
  11. ^ Rowe G, Wright G (October 1999). "The Delphi technique as a forecasting tool: issues and analysis". International Journal of Forecasting. 15 (4): 353–375. doi:10.1016/S0169-2070(99)00018-7. S2CID 10745965.
  12. ^ Markmann C, Spickermann A, von der Gracht HA, Brem A (March 2021). "Improving the question formulation in Delphi‐like surveys: Analysis of the effects of abstract language and amount of information on response behavior". Futures & Foresight Science. 3 (1): e56. doi:10.1002/ffo2.56. S2CID 225273393.
  13. ^ Mauksch S, Heiko A, Gordon TJ (May 2020). "Who is an expert for foresight? A review of identification methods". Technological Forecasting and Social Change. 154: 119982. doi:10.1016/j.techfore.2020.119982. S2CID 216161197.
  14. ^ Ziglio E (1996). "The Delphi Method and its Contribution to Decision Making". In Adler M, Ziglio E (eds.). Gazing Into the Oracle: The Delphi Method and Its Application to Social Policy and Public Health. Jessica Kingsley Publishers. p. 5. ISBN 978-1-85302-104-6.
  15. ^ Custer RL, Scarcella JA, Stewart BR (Spring 1999). "The Modified Delphi Technique - A Rotational Modification". Journal of Vocational and Technical Education. 15 (2). Delphi Technique developed by Olaf Helmer and Norman Dalkey.
  16. ^ Rescher N (1998). Predicting the Future: An Introduction to the Theory of Forecasting. Albany: State University of New York Press. ISBN 978-0-7914-3553-3.
  17. ^ Passig D (Spring 1997). "Imen Delphi: A Delphi Variant Procedure for Emergence". Human Organization: Journal of the Society for Applied Anthropology. Dallas, TX: Southern Methodist University. 56 (1): 53–63. doi:10.17730/humo.56.1.a3676826366nx556.
  18. ^ Page A, Potter K, Clifford R, McLachlan A, Etherton-Beer C (August 2015). "Prescribing for Australians living with dementia: study protocol using the Delphi technique". BMJ Open. 5 (8): e008048. doi:10.1136/bmjopen-2015-008048. PMC 4538244. PMID 26264272.
  19. ^ Beiderbeck D, Frevel N, von der Gracht HA, Schmidt SL, Schweitzer VM (2021). "Preparing, conducting, and analyzing Delphi surveys: Cross-disciplinary practices, new directions, and advancements". MethodsX. 8: 101401. doi:10.1016/j.mex.2021.101401. PMC 8374446. PMID 34430297.
  20. ^ von der Gracht H (2012). "Consensus Measurement in Delphi Studies - Review and Implications for Future Quality Assurance". Technological Forecasting and Social Change. 79 (8): 1525–1536. doi:10.1016/j.techfore.2012.04.013.
  21. ^ Basu S, Schroeder RG (May 1977). "Incorporating Judgments in Sales Forecasts: Application of the Delphi Method at American Hoist & Derrick". Interfaces. 7 (3): 18–27. doi:10.1287/inte.7.3.18.
  22. ^ a b c Hilbert M, Miles I, Othmer J (2009). "Foresight tools for participative policy-making in inter-governmental processes in developing countries: Lessons learned from the eLAC Policy Priorities Delphi" (PDF). Technological Forecasting and Social Change. 15 (2): 880–896. doi:10.1016/j.techfore.2009.01.001. S2CID 154784808.
  23. ^ Turoff M, Hiltz SR (1996). "Computer based Delphi processes.". In Adler M, Ziglio E (eds.). Gazing into the oracle: The Delphi method and its application to social policy and public health. pp. 56–85.
  24. ^ a b Bolognini M (2001). Democrazia elettronica. Metodo Delphi e politiche pubbliche (Electronic Democracy. Delphi Method and Public Policy-Making) (in Italian). Rome: Carocci Editore. ISBN 978-88-430-2035-5.Bolognini M (2001). Democrazia elettronica. Metodo Delphi e politiche pubbliche (Electronic Democracy. Delphi Method and Public Policy-Making) (in Italian). Rome: Carocci Editore. ISBN 978-88-430-2035-5.요약도 에 있습니다.
  25. ^ Lazarus JV, Mark HE, Anstee QM, Arab JP, Batterham RL, Castera L, et al. (January 2022). "Advancing the global public health agenda for NAFLD: a consensus statement". Nature Reviews. Gastroenterology & Hepatology. 19 (1): 60–78. doi:10.1038/s41575-021-00523-4. PMID 34707258. S2CID 239891445.
  26. ^ Schaffner M, Rochau U, Stojkov I, Qerimi Rushaj V, Völzke H, Marckmann G, et al. (April 2021). "Barriers Against Prevention Programs for Iodine Deficiency Disorders in Europe: A Delphi Study". Thyroid. 31 (4): 649–657. doi:10.1089/thy.2020.0065. PMID 32912084. S2CID 221622474.
  27. ^ Pottie K, Hui C, Rahman P, Ingleby D, Akl EA, Russell G, et al. (February 2017). "Building Responsive Health Systems to Help Communities Affected by Migration: An International Delphi Consensus". International Journal of Environmental Research and Public Health. 14 (2): 144. doi:10.3390/ijerph14020144. PMC 5334698. PMID 28165380.
  28. ^ Lazarus JV, Safreed-Harmon K, Kamarulzaman A, Anderson J, Leite RB, Behrens G, et al. (July 2021). "Consensus statement on the role of health systems in advancing the long-term well-being of people living with HIV". Nature Communications. 12 (1): 4450. doi:10.1038/s41467-021-24673-w. PMC 8285468. PMID 34272399.
  29. ^ Lazarus JV, Romero D, Kopka CJ, Karim SA, Abu-Raddad LJ, Almeida G, et al. (November 2022). "A multinational Delphi consensus to end the COVID-19 public health threat". Nature. 611 (7935): 332–345. doi:10.1038/s41586-022-05398-2. PMC 9646517. PMID 36329272.
  30. ^ "Developing your reporting guideline". www.equator-network.org. EQUATOR Network. Archived from the original on 29 September 2022.
  31. ^ Wang X, Chen Y, Yang N, Deng W, Wang Q, Li N, et al. (September 2015). "Methodology and reporting quality of reporting guidelines: systematic review". BMC Medical Research Methodology. 15 (74): 74. doi:10.1186/s12874-015-0069-z. PMC 4579604. PMID 26395179.
  32. ^ Banno M, Tsujimoto Y, Kataoka Y (August 2020). "The majority of reporting guidelines are not developed with the Delphi method: a systematic review of reporting guidelines". Journal of Clinical Epidemiology. 124: 50–57. doi:10.1016/j.jclinepi.2020.04.010. PMID 32302679. S2CID 215809096.
  33. ^ Turoff M (January 1970). "The Design of a Policy Delphi" (PDF). Technological Forecasting and Social Change. 2 (2): 149–171. doi:10.1016/0040-1625(70)90161-7.
  34. ^ Adler M, Ziglio E, eds. (1996), Gazing Into the Oracle: The Delphi Method and Its Application to Social Policy and Public Health, London: Kingsley Publishers, ISBN 978-1-85302-104-6
  35. ^ Bolognini M (2001). Democrazia elettronica. Metodo Delphi e politiche pubbliche [Electronic Democracy. Delphi Method and Public Policy-Making] (in Italian). Rome: Carocci Editore. ISBN 978-88-430-2035-5.전자민주주의 적용 Bolognini M (2001). Democrazia elettronica. Metodo Delphi e politiche pubbliche [Electronic Democracy. Delphi Method and Public Policy-Making] (in Italian). Rome: Carocci Editore. ISBN 978-88-430-2035-5.사례로는 2002년 제3회 전자민주주의 포럼에서 원형이 제시된 DEMOS(Delphi Mediation Online System)를 들 수 있습니다.
  36. ^ Tapio P (2003). "Disaggregative Policy Delphi: Using cluster analysis as a tool for systematic scenario formation". Technological Forecasting and Social Change. 70 (1): 83–101. doi:10.1016/S0040-1625(01)00177-9. S2CID 53516828.
  37. ^ Seker SE (2015). "Computerized Argument Delphi Technique". IEEE Access. 3 (2): 368–380. doi:10.1109/ACCESS.2015.2424703.
  38. ^ Jillson IA (2002). "II.B.3. The National Drug-Abuse Policy Delphi: Progress Report and Findings to Date". In Turoff M, Linstone HA (eds.). The Delphi Method: Techniques and Applications. Archived from the original on 6 February 2012.
  39. ^ Prokesch T, von der Gracht H, Wohlenberg H (2015). "Integrating prediction market and Delphi methodology into a foresight support system — Insights from an online game". Technological Forecasting and Social Change. 97: 47–64. doi:10.1016/j.techfore.2014.02.021.

추가열람

외부 링크