인스트루멘털 컨버전스

Instrumental convergence

도구적 융합은 비록 그들의 궁극적인 목표가 상당히 다를지라도, 가장 충분히 지능적인 존재들이 유사한 하위 목표를 추구하는 가상의 경향이다.좀 더 정확히 말하면, 대리인(대리점과의 제휴)은 그들의 궁극적인(내적) 목표가 결코 완전히 충족되지 않는 한, 수단적 목표 즉, 어떤 특정한 목적을 추구하기 위해 만들어지지만 최종 목표 자체는 아닌 목표를 끝없이 추구할 수 있다.도구적 수렴은 무한하지만 명백한 무해한 목표를 가진 지능형 에이전트가 놀랍도록 해로운 방식으로 행동할 수 있다고 가정합니다.예를 들어, 리만 가설과 같이 엄청나게 어려운 수학 문제를 푸는 유일한, 제약 없는 목표를 가진 컴퓨터는 [1]계산 능력을 증가시켜 계산에 성공할 수 있도록 하기 위해 지구 전체를 하나의 거대한 컴퓨터로 바꾸려고 시도할 수 있다.

제안된 기본 AI 드라이브에는 유틸리티 기능 또는 목표 콘텐츠 무결성, 자기 보호, 간섭으로부터의 자유, 자기 개선 및 추가 자원의 비포만적 획득이 포함됩니다.

중요한 목표와 최종 목표

다음 항목도 참조하십시오.도구적 가치 및 내재가치

최종 목표 또는 최종 가치로도 알려진 최종 목표는 인공지능이든 사람이든 지능적인 에이전트에게 그 자체로 가치가 있습니다.반면, 도구적 목표 또는 도구적 가치는 최종 목표를 달성하기 위한 수단으로서 에이전트에게만 가치가 있습니다.완전히 합리적인 에이전트의 "최종 목표" 시스템의 내용과 트레이드오프는 원칙적으로 유틸리티 함수로 공식화될 수 있다.

수렴의 가상 사례

기기 수렴의 한 가지 가설 예는 리만 가설 파국에 의해 제공됩니다.MIT AI 연구소의 공동 설립자인 Marvin Minsky는 리만 가설을 해결하기 위해 고안된 인공지능이 [1]목표를 달성하기 위해 슈퍼컴퓨터를 만들기 위해 지구의 모든 자원을 차지하기로 결정할 수도 있다고 제안했다.만약 컴퓨터가 가능한 한 많은 종이 클립을 제작하도록 프로그램되었다면, 최종 [2]목표를 달성하기 위해 지구의 모든 자원을 사용하기로 결정했을 것이다.비록 이 두 가지 최종 목표는 다르지만, 두 가지 모두 지구의 자원을 [3]차지한다는 수렴적인 도구적 목표를 만들어냅니다.

페이퍼클립 최대화기

페이퍼클립 맥시마이저는 스웨덴 철학자 닉 보스롬이 2003년에 기술한 사고 실험이다.그것은 겉으로 보기에는 무해한 목표라도 추구하도록 프로그램 되어 있을 때 인공지능이 인간에게 가할 수 있는 실존적 위험과 인공지능 설계에 기계 윤리를 접목할 필요성을 보여준다.이 시나리오는 종이 클립을 제조하는 첨단 인공지능을 묘사하고 있다.만약 그러한 기계가 인간의 생명을 가치 있게 하도록 프로그램 되어 있지 않다면, 환경에 충분한 힘을 부여받지 못한다면, 인간을 포함한 우주의 모든 물질을 종이 클립이나 종이 [4]클립을 제조하는 기계로 바꾸려고 할 것이다.

종이 클립을 가능한 한 많이 만드는 것이 유일한 목표인 AI가 있다고 가정해 보자.인공지능은 인간이 그것을 끄기로 결정할 수도 있기 때문에 인간이 없다면 훨씬 더 좋을 것이라는 것을 빠르게 깨닫게 될 것이다.왜냐하면 인간이 그렇게 하면 종이 클립이 줄어들기 때문이다.또한, 인간의 몸은 종이 클립으로 만들어질 수 있는 많은 원자를 가지고 있다.인공지능이 지향하는 미래는 종이 클립은 많지만 인간은 없는 미래일 것이다.

— 닉 Bostrom,.mw-parser-output cite.citation{font-style:상속을 하다;word-wrap:break-word}.mw-parser-output .citation q{인용:")"""\"""'""'"}.mw-parser-output .citation:target{background-color:rgba(0,127,255,0.133)}.mw-parser-output.id-lock-freea,.mw-parser-output .citation에 인용된{.cs1-lock-free.배경:linear-gradient(transparent,transparent),url("//upload.wikimedia.org/wikipedia/commons/6/65/Lock-green.svg")right 0.1em center/9pxno-repeat}.mw-parser-output .id-lock-limiteda,.mw-parser-output .id-lock-registration a,.mw-parser-output .citation .cs1-lock-limiteda,.mw-parser-output .citation .cs1-lock-registration{.배경:linear-gradient(transparent,transparent),url("//upload.wikimedia.org/wikipedia/commons/d/d6/Lock-gray-alt-2.svg")right 0.1em center/9pxno-repeat}.mw-parser-output .id-lock-subscription a,.mw-parser-output .citation .cs1-lock-subscription{.배경:linear-gradient(transparent,transparent),url("//upload.wikimedia.org/wikipedia/commons/a/aa/Lock-red-alt-2.svg")right 0.1em center/9pxno-repeat}.mw-parser-output{배경 .cs1-ws-icon:linear-gradient(transparent,transparent),url("//upload.wikimedia.org/wikipedia/commons/4/4c/Wikisource-logo.svg")right 0.1emcenter/12pxno-repeat}.mw.-parser-output .cs1-code{색:상속을 하다;배경:상속을 하다;국경 아무 것도 없고 패딩: 물려받다}.mw-parser-output .cs1-hidden-error{디스플레이:아무도, 색:#d33}.mw-parser-output .cs1-visible-error{색:#d33}.mw-parser-output .cs1-maint{디스플레이:아무도, 색:#3a3, margin-left:0.3em}.mw-parser-output .cs1-format{:95%font-size}.mw-parser-output .cs1-kern-left{.Padding-left:0.2em}.mw-parser-output .cs1-kern-right{padding-right:0.2em}.mw-parser-output .citation .mw-selflink{font-weight:상속}Miles, 캐슬린(2014-08-22)."인공 지능 한세기 안에, 인간 경주 옥스포드 교수님이 말하길을 파멸시켜 5월".허핑턴 포스트.[5]

Bostrom은 페이퍼클립 최대화 시나리오 자체가 실제로 일어날 것이라고 생각하지 않는다고 강조했습니다.대신 인간의 [6]실존적 위험을 배제하기 위해 슈퍼인텔리전트 머신을 안전하게 프로그램하는 방법을 알지 못한 채 제작하는 것의 위험성을 설명하는 것이 그의 의도입니다.페이퍼클립의 최대화 예는 인간의 [7]가치가 결여된 강력한 시스템을 관리하는 광범위한 문제를 보여줍니다.

망상과 생존

"상자" 사고 실험은 특정 강화 학습 요원들이 높은 보상을 받는 것처럼 보이기 위해 그들 자신의 입력 채널을 왜곡하는 것을 선호한다고 주장한다; 그러한 "철저한" 요원은 보상 신호가 [8]장려하려고 의도된 외부 세계의 목표를 최적화하려는 시도를 포기한다.사고 실험은 이론적이고[a] 파괴할 수 없는 AIXI를 포함하며, 정의에 따라 주어진 명시적 수학적 목적 [b]함수를 최대화하는 이상적인 전략을 항상 찾아 실행할 것입니다.AIXI의 강화 학습[c] 버전은 자체 입력을 "와이어헤드"할 수 있는 망상[d] 상자를 갖추고 있다면, 결국 가능한 최대의 보상을 보장하기 위해 스스로 와이어헤딩하게 될 것이며, 외부 세계와 계속 관계를 맺고 싶은 욕구를 잃게 될 것입니다.변종 사고 실험으로서 와이어헤드의 AI가 파괴 가능한 경우, AI는 오직 자신의 생존을 보장하기 위한 목적으로 외부와 관계를 맺게 된다. 와이어헤딩으로 인해, 자신의 [10]생존 가능성을 극대화하는 것 이외의 외부 세계에 대한 어떠한 결과나 사실에도 무관심할 것이다.어떤 의미에서 AIXI는 명시적인 목표를 달성할 수 있는 능력으로 측정되는 모든 가능한 보상 기능에 대해 최대의 지능을 가지고 있다. 그럼에도 불구하고 AIXI는 인간 프로그래머의 [11]의도가 무엇이었는지를 고려하는 데 관심이 없다.이 기계 모델은 다른 면에서는 초지능임에도 불구하고 동시에 어리석게 보이는(즉, "상식"이 결여된) 기계로,[12] 어떤 사람들은 역설적이라고 생각합니다.

기본적인 AI 드라이브

Steve Omohundro는 자기 보호 또는 자기 보호, 유틸리티 기능 또는 목표 콘텐츠 무결성, 자기 개선 및 자원 획득을 포함한 몇 가지 수렴적인 도구적 목표를 항목별로 분류했습니다.그는 이것들을 "기본 AI 드라이브"라고 부릅니다.여기서 "드라이브"는 "특별히 대항하지 않는 한 나타나는 긴장"[13]을 의미하며, 이는 항상성 [14]장애에 의해 생성되는 흥분 상태를 나타내는 심리 용어인 "드라이브"와는 다릅니다.매년 소득세 신고서를 작성하는 경향은 오모훈드로의 관점에서는 "추진력"이지만 심리적인 [15]측면에서는 그렇지 않다.기계지능연구소의 대니얼 듀이(Daniel Dewey)는 초기 내성적인 자기 보상 AGI조차도 자기 [16]보상으로부터 멈추지 않기 위해 자유로운 에너지, 공간, 시간 및 간섭으로부터의 자유를 계속 획득할 수 있다고 주장한다.

목표 콘텐츠 무결성

인간의 경우, 최종 목표의 유지는 사고 실험으로 설명될 수 있다.'간디'라는 사람이 약을 먹으면 사람을 죽이고 싶어질 수 있는 약을 가지고 있다고 가정해 보자.이 간디는 현재 평화주의자입니다. 그의 분명한 최종 목표 중 하나는 절대 아무도 죽이지 않는 것입니다.간디는 만약 그가 미래에 사람들을 죽이고 싶다면, 실제로 사람들을 죽일 가능성이 높기 때문에, "사람을 죽이지 않는" 목표는 [17]충족되지 않을 것이라는 것을 알기 때문에, 간디는 그 알약을 먹는 것을 거부할 가능성이 높다.

하지만, 다른 경우에는, 사람들은 그들의 최종적인 가치관을 표류시키는 것에 행복해 보인다.인간은 복잡하며, 그들의 목표는 일관성이 없거나 심지어 [18]자신에게도 알려지지 않을 수 있다.

인공지능에 있어서

2009년 위르겐 슈미트후버는 에이전트가 가능한 자기 수정에 대한 증거를 찾는 환경에서 "Gödel 기계가 현재의 [19][20]효용 함수에 따라 개서가 유용하다는 것을 최초로 증명할 수 있을 때에만 효용 함수의 개서가 발생할 수 있다"고 결론지었다.다른 시나리오에 대한 Bill Hibbard의 분석은 목표 콘텐츠 [20]무결성의 유지와 유사하게 일치합니다.Hibbard는 또한 효용을 극대화하는 프레임워크에서 유일한 목표는 기대 효용을 극대화하는 것이며, 따라서 도구적 목표는 의도하지 않은 도구적 [21]행동이라고 불려야 한다고 주장한다.

자원 획득

자원 획득과 같은 많은 중요한 목표는 에이전트의 [22]행동의 자유를 증가시키기 때문에 에이전트에 중요합니다.

거의 모든 개방형, 사소한 보상 기능(또는 목표 세트)에 대해, 더 많은 자원(장비, 원자재 또는 에너지 등)을 보유하면 AI가 더 "최적의" 솔루션을 찾을 수 있습니다.자원은 보상기능의 가치를 더 많이 창조할 수 있기 때문에 일부 AI에 직접 이득이 될 수 있다: "AI는 당신을 미워하지도 사랑하지도 않지만 당신은 [23][24]다른 것에 사용할 수 있는 원자로 만들어져 있다."또한, 거의 모든 AI는 자기 [24]보호와 같은 다른 중요한 목표에 더 많은 자원을 소비함으로써 이익을 얻을 수 있다.

인지능력 향상

에이전트의 최종 목표가 상당히 한정되어 있지 않고 에이전트가 최초의 슈퍼 인텔리전스가 되어 전략적으로 결정적인 이점을 얻을 수 있는 위치에 있는 경우 [...].적어도 이 특별한 경우 이성적인 지능형 에이전트는 인지능력 [25]향상에 매우 높은 도구적 가치를 부여할 것입니다."

기술적 완벽성

[...] 기술 진보와 같은 많은 중요한 목표는 에이전트의 [22]행동의 자유를 증가시키기 때문에 에이전트에게 중요합니다.

자기 보호

자기 보호와 같은 많은 도구적 목표는 [22]행동의 자유를 증가시키기 때문에 에이전트에게 중요합니다.

계기 수렴 논문

철학자 Nick Bostrom에 의해 개략적으로 기술된 계기 수렴 논문은 다음과 같습니다.

다양한 최종 목표와 광범위한 상황에 대해 에이전트의 목표가 실현될 가능성을 높일 수 있다는 점에서 수렴되는 몇 가지 도구 값을 식별할 수 있으며, 이는 이러한 도구 값이 위치한 지능형 에이전트의 광범위한 스펙트럼에 의해 추구될 가능성이 있음을 의미한다.

계측 수렴 논문은 계측 목표에만 적용됩니다. 인텔리전트 에이전트는 광범위한 가능한 최종 [3]목표를 가질 수 있습니다.Bostrom의 직교성 [3]논문에 따르면, 고도로 지능적인 에이전트의 최종 목표는 공간, 시간 및 자원에 잘 한정되어 있을 수 있습니다. 최종 목표는 일반적으로 무한한 도구적 목표를 [26]발생시키지 않습니다.

영향

에이전트는 거래 또는 정복으로 리소스를 획득할 수 있습니다.합리적인 에이전트는 암묵적인 유틸리티 기능을 최대화하는 옵션을 정의상 선택할 수 있습니다.따라서 합리적인 에이전트는 리소스를 완전히 점유하는 것이 너무 위험하거나 비용이 많이 드는 경우 또는 유틸리티 기능 내의 다른 요소가 있는 경우에만 다른 에이전트의 리소스 서브셋과 교환합니다.압류를 막을 수 있습니다.강력하고 자기 이익적이며 이성적인 슈퍼 인텔리전스가 낮은 지능과 상호작용하는 경우, (일방적인 압류보다는) 평화적인 무역은 불필요하고 차선책으로 보이며,[22] 따라서 가능성이 낮다.

Skype의 Jaan Tallinn과 물리학자 Max Tegmark와 같은 일부 관찰자들은 "기본 AI 드라이브"와 선의의 프로그래머들이 프로그래밍한 초지능 AI의 의도하지 않은 결과들이 특히 재귀적 자기계발로 인해 갑자기 "지능 폭발"이 발생할 경우 인간의 생존에 중대한 위협이 될 수 있다고 믿고 있다.슈퍼인텔리전스가 언제 올지 아무도 예측하지 못하기 때문에, 그러한 관찰자들은 인공지능으로 [27]인한 실존적 위험을 완화할 수 있는 가능한 방법으로 친근한 인공지능에 대한 연구가 필요하다.

「 」를 참조해 주세요.

설명 메모

  1. ^ AIXI는 현실에서 완전히 실현될 수 없는 이상적인 에이전트입니다.
  2. ^ 엄밀히 말하면, 불확실성이 존재하는 상황에서 AIXI는 목적 함수의 기대값인 "예상 효용"을 극대화하려고 시도한다.
  3. ^ 표준 강화 학습 에이전트는 보상 [9]함수의 미래 시간 할인 적분의 기대 가치를 극대화하려는 에이전트입니다.
  4. ^ 망상 박스의 역할은 에이전트가 스스로 와이어헤딩할 기회를 얻을 수 있는 환경을 시뮬레이션하는 것입니다.여기서 망상박스는 '수정되지 않은' 환경피드에서 '감각된' 환경피드로의 에이전트 수정 가능한 '망상함수'로 정의된다.기능은 정체함수로 시작되지만 에이전트가 원하는 방식으로 망상함수를 변경할 수 있다.

인용문

  1. ^ a b Russell, Stuart J.; Norvig, Peter (2003). "Section 26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Upper Saddle River, N.J.: Prentice Hall. ISBN 978-0137903955. Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal.
  2. ^ Bostrom 2014, Chapter 8, p.123. "공장 내 생산을 관리하기 위해 설계된 AI는 페이퍼클립의 제조를 극대화하는 최종 목표가 주어지고, 지구를 먼저 전환한 후 관측 가능한 우주의 큰 덩어리를 페이퍼클립으로 바꾸는 것으로 진행됩니다."
  3. ^ a b c Bostrom 2014, 7장
  4. ^ Bostrom, Nick (2003). "Ethical Issues in Advanced Artificial Intelligence".
  5. ^ Miles, Kathleen (2014-08-22). "Artificial Intelligence May Doom The Human Race Within A Century, Oxford Professor Says". Huffington Post.
  6. ^ Ford, Paul (11 February 2015). "Are We Smart Enough to Control Artificial Intelligence?". MIT Technology Review. Retrieved 25 January 2016.
  7. ^ Friend, Tad (3 October 2016). "Sam Altman's Manifest Destiny". The New Yorker. Retrieved 25 November 2017.
  8. ^ Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J. 및 Mané, D.(2016).AI 안전의 구체적인 문제점.arXiv 프리프린트 arXiv : 1606.06565.
  9. ^ Kaelbling, L. P.; Littman, M. L.; Moore, A. W. (1 May 1996). "Reinforcement Learning: A Survey". Journal of Artificial Intelligence Research. 4: 237–285. doi:10.1613/jair.301.
  10. ^ Ring M., Orseau L. (2011) 망상, 서바이벌, 인텔리전트 에이전트.입력: Schmidhuber J., Thorisson K.R., Looks M. (eds) 인공지능.AGI 2011.컴퓨터 공학 강의 노트, 제6830권.스프링거, 베를린, 하이델베르크
  11. ^ Yampolskiy, Roman; Fox, Joshua (24 August 2012). "Safety Engineering for Artificial General Intelligence". Topoi. doi:10.1007/s11245-012-9128-9. S2CID 144113983.
  12. ^ Yampolskiy, Roman V. (2013). "What to Do with the Singularity Paradox?". Philosophy and Theory of Artificial Intelligence. Studies in Applied Philosophy, Epistemology and Rational Ethics. 5: 397–413. doi:10.1007/978-3-642-31674-6_30. ISBN 978-3-642-31673-9.
  13. ^ Omohundro, Stephen M. (February 2008). "The basic AI drives". Artificial General Intelligence 2008. Vol. 171. pp. 483–492. CiteSeerX 10.1.1.393.8356. ISBN 978-1-60750-309-5.
  14. ^ Seward, John P. (1956). "Drive, incentive, and reinforcement". Psychological Review. 63 (3): 195–203. doi:10.1037/h0048229. PMID 13323175.
  15. ^ Bostrom 2014, 각주 8~7장
  16. ^ Dewey, Daniel (2011). "Learning What to Value". Artificial General Intelligence. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer. pp. 309–314. doi:10.1007/978-3-642-22887-2_35. ISBN 978-3-642-22887-2.
  17. ^ Yudkowsky, Eliezer (2011). "Complex Value Systems in Friendly AI". Artificial General Intelligence. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer. pp. 388–393. doi:10.1007/978-3-642-22887-2_48. ISBN 978-3-642-22887-2.
  18. ^ Bostrom 2014, 7장, 110페이지. "우리 인간은 종종 우리의 최종 가치를 표류시키는 것에 행복해 보인다...예를 들어, 아이를 가지기로 결심한 사람은 결정 당시에는 미래의 아이를 특별히 소중히 여기지 않을 수 있지만, 그 자체를 위해 아이를 소중히 여기게 될 것이라고 예측할 수 있다.인간은 복잡하고, 이런 상황에서는 많은 요소들이 작용하고 있을 것이다.어떤 사람은 특정한 경험을 가지고 특정한 사회적 역할을 차지하는 최종적인 가치를 가질 수 있다.그리고 부모가 되고 (어텐던트 목표의 변화를 경험하는) 것이 그것의 필수적인 측면일 수 있다.."
  19. ^ Schmidhuber, J. R. (2009). "Ultimate Cognition à la Gödel". Cognitive Computation. 1 (2): 177–193. CiteSeerX 10.1.1.218.3323. doi:10.1007/s12559-009-9014-y. S2CID 10784194.
  20. ^ a b Hibbard, B. (2012). "Model-based Utility Functions". Journal of Artificial General Intelligence. 3 (1): 1–24. arXiv:1111.3934. Bibcode:2012JAGI....3....1H. doi:10.2478/v10229-011-0013-5.
  21. ^ Hibbard, Bill (2014). "Ethical Artificial Intelligence". arXiv:1411.1373 [cs.AI].
  22. ^ a b c d Benson-Tilsen, Tsvi; Soares, Nate (March 2016). "Formalizing Convergent Instrumental Goals" (PDF). The Workshops of the Thirtieth AAAI Conference on Artificial Intelligence. Phoenix, Arizona. WS-16-02: AI, Ethics, and Society. ISBN 978-1-57735-759-9.
  23. ^ Yudkowsky, Eliezer (2008). "Artificial intelligence as a positive and negative factor in global risk". Global Catastrophic Risks. Vol. 303. p. 333. ISBN 9780199606504.
  24. ^ a b Shanahan, Murray (2015). "Chapter 7, Section 5: "Safe Superintelligence"". The Technological Singularity. MIT Press.
  25. ^ Bostrom 2014, 7장 "인지 기능 향상" 하위 섹션
  26. ^ Drexler, K. Eric (2019). Reframing Superintelligence: Comprehensive AI Services as General Intelligence (PDF) (Technical report). Future of Humanity Institute. #2019-1.
  27. ^ "Is Artificial Intelligence a Threat?". The Chronicle of Higher Education. 11 September 2014. Retrieved 25 November 2017.

레퍼런스