This is a good article. Click here for more information.

알고리즘 바이어스

Algorithmic bias
권장 엔진의 결정을 보여주는 흐름도, 2001년 경.[1]
다음에 대한 시리즈 일부
인공지능
Anatomy-1751201 1280.png
주요목표
접근
철학
역사
기술
용어집

알고리즘 편향은 한 임의의 사용자 그룹을 다른 사용자보다 특전처럼 불공정한 결과를 생성하는 컴퓨터 시스템에서 체계적이고 반복 가능한 오류를 설명한다.편향은 알고리즘 설계, 의도하지 않았거나 예상치 못한 사용 또는 데이터의 코드화, 수집, 선택 또는 알고리즘 훈련 방법과 관련된 결정을 포함하되 이에 국한되지 않는 많은 요인으로부터 나타날 수 있다.예를 들어, 알고리즘 편향은 검색 엔진 결과와 소셜 미디어 플랫폼에서 관찰되었다.이러한 편견은 의도치 않은 사생활 침해에서부터 인종, 성별, 성별, 민족성의 사회적 편견을 강화하는 데까지 영향을 미칠 수 있다.알고리즘 편향 연구는 "체계적이고 불공평한" 차별을 반영하는 알고리즘과 가장 관련이 있다.이러한 편향은 유럽연합의 일반 데이터 보호 규정(2018년)과 제안된 인공지능법(2021년)과 같은 법적 틀에서 최근에야 다루어졌다.

알고리즘이 사회·정치·제도·행동 등을 조직하는 능력을 확대하면서 사회학자들은 예상치 못한 자료의 산출과 조작이 물리적 세계에 어떤 영향을 미칠 수 있는지에 대해 관심을 갖게 됐다.알고리즘은 종종 중립적이고 편견이 없는 것으로 간주되기 때문에 인간 전문지식보다 더 큰 권한을 부정확하게 투영할 수 있으며(부분적으로는 자동화 편향의 심리적 현상에 기인), 경우에 따라서는 알고리즘에 대한 의존이 결과에 대한 인간의 책임을 대신할 수 있다.편향은 기존의 문화적, 사회적 또는 제도적 기대의 결과로서 알고리즘 시스템에 들어갈 수 있다. 그 설계의 기술적 한계 때문에 또는 예상치 못한 맥락에서 사용되거나 소프트웨어의 초기 설계에서 고려되지 않는 청중이 사용할 수 있다.

알고리즘 편향은 선거 결과에서 온라인 혐오 발언의 확산에 이르는 경우에 인용되었다.그것은 또한 형사 사법, 건강관리, 고용에서도 발생하여 기존의 인종, 사회경제적, 성별 편견을 복합적으로 만들었다.얼굴 인식 기술이 피부색이 더 어두운 얼굴을 정확하게 식별하지 못하는 것은 데이터셋의 불균형에서 비롯된 문제인 흑인 남성들의 잘못된 체포와 관련이 있다.일반적으로 영업비밀로 취급되는 알고리즘의 독점적 특성 때문에 알고리즘 편향을 이해하고 연구하고 발견하는 데 문제가 지속된다.완전한 투명성이 제공되더라도, 특정 알고리즘의 복잡성은 그 기능을 이해하는 데 장벽이 된다.또한 알고리즘은 분석을 위해 예상할 수 없거나 쉽게 재현할 수 없는 방식으로 입력 또는 출력에 대응하거나 변경될 수 있다.많은 경우, 단일 웹사이트나 애플리케이션 내에서조차 검토할 수 있는 단일의 "알고리즘"이 존재하지 않고, 같은 서비스의 사용자들 사이에서도 많은 상호 관련 프로그램과 데이터 입력의 네트워크가 존재한다.

정의들

1969년도의 간단한 컴퓨터 프로그램이 결정을 내리는 방법에 대한 도표로, 매우 간단한 알고리즘을 보여준다.

알고리즘은 정의하기 어렵지만 일반적으로 프로그램들이 출력물을 생성하기 위해 데이터를 읽고, 수집하고, 처리하고, 분석하는 방법을 결정하는 명령의 목록으로 이해될 수 있다.[2][3]: 13 자세한 기술 소개는 알고리즘을 참조하십시오.컴퓨터 하드웨어의 발달은 데이터를 처리, 저장, 전송하는 능력을 증가시켰다.이는 결국 머신러닝, 인공지능 등 기술의 디자인과 채택을 촉진시켰다.[4]: 14–15 데이터를 분석하고 처리함으로써 알고리즘은 검색 엔진,[10] [5]소셜 미디어 웹사이트, [6]추천 엔진,[7] 온라인 소매,[9] 온라인 광고 [8]등의 중추적인 역할을 한다.

현대의 사회과학자들은 알고리즘의 정치적, 사회적 영향 때문에 하드웨어와 소프트웨어 응용 프로그램에 내재된 알고리즘 프로세스에 관심을 가지며 알고리즘의 중립성에 대한 근본적인 가정에 의문을 제기한다.[11]: 2 [12]: 563 [13]: 294 [14]알고리즘 편향이라는 용어는 한 임의의 사용자 그룹을 다른 사용자보다 특전시키는 것과 같이 불공정한 결과를 생성하는 체계적이고 반복 가능한 오류를 설명한다.예를 들어, 신용점수 알고리즘이 관련 재무기준을 일관되게 저울질하고 있다면, 대출금을 부당하지 않고 거부할 수 있다.알고리즘이 한 사용자 그룹에 대한 대출을 권장하지만 관련 없는 기준에 따라 거의 동일한 다른 사용자 세트에 대한 대출을 거부한다면, 그리고 이러한 행위가 여러 발생에 걸쳐 반복될 수 있다면 알고리즘은 편향된 것으로 설명할 수 있다.[15]: 332 이러한 편향은 의도적이거나 의도하지 않은 것일 수 있다(예를 들어, 알고리즘이 앞으로 수행할 작업을 이전에 수행한 작업자로부터 얻은 편향된 데이터에서 나올 수 있다).

방법들

편향은 여러 가지 방법으로 알고리즘에 도입될 수 있다.데이터세트를 조립하는 동안, 데이터는 사람이 설계한 카탈로그 작성 기준에 따라 수집, 디지털화, 수정 및 데이터베이스에 입력될 수 있다.[16]: 3 다음으로 프로그래머는 프로그램이 데이터를 평가하고 정렬하는 방법에 대한 우선순위 또는 계층을 할당한다.이를 위해서는 데이터를 분류하는 방법과 어떤 데이터를 포함하거나 폐기할 것인지에 대한 인적 결정이 필요하다.[16]: 4 일부 알고리즘은 인간이 선택한 기준에 따라 자체 데이터를 수집하기도 하는데, 이 역시 인간 설계자의 편견을 반영할 수 있다.[16]: 8 다른 알고리즘은 예를 들어 유사한 사용자나 사용자 그룹의 이전 선택에 기초하여 정보를 선택함으로써 인간 사용자를 위한 "관련된" 데이터를 처리하고 표시할 때 고정관념과 선호도를 강화할 수 있다.[16]: 6

데이터의 조립과 처리를 넘어, 편견이 설계의 결과로 나타날 수 있다.[17]예를 들어, 자원 배분을 결정하는 알고리즘이나 정밀도(학교 배치 결정 등)는 유사한 사용자(신용 점수와 같이)에 기초하여 위험을 결정할 때 의도치 않게 범주를 차별할 수 있다.[18]: 36 한편, 사용자를 유사한 사용자와 연관시켜 작동하거나 추론된 마케팅 특성을 이용하는 권고 엔진은 광범위한 인종, 성별, 사회경제적 또는 인종적 고정관념을 반영하는 부정확한 연관성에 의존할 수 있다.또 다른 예는 결과에서 포함되고 제외되는 것에 대한 기준을 결정하는 데서 온다.이 기준은 후원 항공사의 비행 경로를 따르지 않는 항공편을 생략하는 비행 권장 소프트웨어와 같이 검색 결과에 예상치 못한 결과를 나타낼 수 있다.[17]알고리즘은 또한 불확실성 편향을 나타내 더 큰 데이터 세트를 사용할 수 있을 때 더 신뢰할 수 있는 평가를 제공할 수 있다.이것은 알고리즘 프로세스를 더 큰 표본과 더 밀접하게 일치하는 결과 쪽으로 기울일 수 있으며, 이는 잘 표현되지 않은 모집단의 데이터를 무시할 수 있다.[19]: 4

역사

조기비평론

이 카드는 오래된 메인프레임 컴퓨터에 소프트웨어를 로딩하는데 사용되었다.각 바이트(예: 'A'자)는 펀칭 홀에 의해 입력된다.현대의 컴퓨터는 더 복잡하지만, 데이터를 수집하고 처리하는 데 있어서 인간의 의사 결정 과정을 반영한다.[20]: 70 [21]: 16

초기의 컴퓨터 프로그램은 인간의 추론과 추론을 모방하도록 고안되었고, 그들이 성공적으로 그리고 지속적으로 인간의 논리를 재현했을 때 기능하는 것으로 간주되었다.인공지능의 선구자 조셉 바이젠바움(Joseph Weizenbaum)은 1976년 저서 컴퓨터 파워와 인간 이성(Computer Power and Human Easy)에서 프로그램에서 사용되는 데이터뿐만 아니라 프로그램이 암호화된 방식에서도 편견이 발생할 수 있다고 제안했다.[20]: 149

바이젠바움은 프로그램은 인간이 컴퓨터가 따르도록 만든 일련의 규칙이라고 썼다.그러한 규칙들을 일관되게 준수함으로써, 그러한 프로그램들은 문제를 해결하기 위한 특정한 방법을 시행한다.[20]: 40 컴퓨터가 따르는 규칙은 이러한 문제들이 어떻게 해결될 수 있는지에 대한 컴퓨터 프로그래머의 가정에 기초한다.그것은 그 코드가 그들의 편견과 기대를 포함하여 세상이 어떻게 돌아가는지에 대한 프로그래머의 상상력을 포함할 수 있다는 것을 의미한다.[20]: 109 컴퓨터 프로그램은 이러한 방식으로 편견을 통합할 수 있지만, 바이젠바움에서는 기계의 어떤 데이터도 데이터가 선택되고 있기 때문에 추가로 "인간의 의사결정 과정"을 반영한다고 언급했다.[20]: 70, 105

마지막으로, 그는 사용자가 결과를 해석하는 방법에 대해 불분명한 경우 기계도 의도하지 않은 결과를 가지고 좋은 정보를 전송할 수 있다고 언급했다.[20]: 65 바이젠바움은 동전 던지기에서 좌, 우로 돌리면 호텔 객실로 독점적으로 갈 수 있는 관광객에 비유하며 사용자가 이해하지 못하는 컴퓨터 프로그램의 신뢰 결정을 경계했다.결정적으로, 관광객은 그가 목적지에 어떻게 또는 왜 도착했는지 이해할 근거가 없으며, 성공적인 도착이 그 과정이 정확하거나 신뢰할 수 있다는 것을 의미하지는 않는다.[20]: 226

알고리즘 편향의 초기 사례는 60명에 달하는 여성과 소수민족이 성인의 입국을 거부하게 만들었다. 조지 병원 의과대학은 1982년부터 1986년까지 매년 입학사정관 역사적 추세에 따라 '외국인 소리 이름'을 가진 여성과 남성의 입학을 거부하는 새로운 컴퓨터 지도 평가 제도의 시행을 근거로 하고 있다.[22]당시 많은 학교들이 선택 과정에서 유사한 편견을 채용했지만, 세인트 조지는 알고리즘을 사용함으로써 편견을 자동화함으로써 훨씬 더 넓은 범위에서 사람들의 관심을 끌었다.

더 많은 알고리즘이 실제 데이터에 머신러닝 방법을 사용하기 시작한 근래에는 데이터에 존재하는 편향으로 인해 알고리즘 편견을 더 자주 발견할 수 있다.

동시대 비평과 반응

잘 설계된 알고리즘이 종종 인간의 결정과 동등하게(또는 그 이상) 평등한 결과를 결정하지만, 편견의 경우는 여전히 발생하고, 예측하고 분석하기 어렵다.[23]알고리즘 편향 분석의 복잡성은 프로그램의 복잡성과 그 설계와 함께 커졌다.한 설계자 또는 설계자 팀에 의해 이루어진 결정은 단일 프로그램을 위해 만들어진 많은 코드 조각들 사이에서 가려질 수 있다. 시간이 지남에 따라 이러한 결정과 프로그램 산출물에 대한 집합적 영향은 잊혀질 수 있다.[24]: 115 이론적으로, 이러한 편견들은 코드가 사회의 다른 요소들과 상호작용을 할 때 특정 기술과 관련하여 새로운 행동 패턴, 즉 "스크립트"를 만들어낼 수 있다.[25]편향은 알고리즘이 요구하는 데이터 포인트를 중심으로 사회가 형성되는 방식에도 영향을 미칠 수 있다.예를 들어 특정 지역에서 체포 건수가 많은 경우 알고리즘이 해당 지역에 더 많은 경찰 순찰을 배정할 수 있어 체포 건수가 늘어날 수 있다.[26]: 180

알고리즘 프로그램의 결정은 그들이 보조해야 할 인간의 결정보다 더 권위 있는 것으로 볼 수 있는데,[27]: 15 이 과정은 작가 클레이 셜키가 "알고리즘 권위자"[28]라고 기술한 과정이다.Shirky는 검색 결과와 같이 "다양하고 신뢰할 수 없는 출처에서 가치를 추출하는 관리되지 않는 과정으로 간주하는 결정"을 설명하기 위해 이 용어를 사용한다.[28]이러한 중립성은 또한 결과가 대중에게 제시될 때 전문가와 언론이 사용하는 언어로 잘못 전달될 수 있다.예를 들어 '트렌딩' 또는 '인기'로 선정되어 발표되는 뉴스 항목의 목록은 단순히 인기보다 훨씬 넓은 기준을 바탕으로 만들어질 수 있다.[16]: 14

그들의 편리함과 권위 때문에 알고리즘은 인간으로부터 책임을 위임하는 수단으로 이론화된다.[27]: 16 [29]: 6 이는 대안 옵션, 타협 또는 유연성을 감소시키는 효과를 가져올 수 있다.[27]: 16 사회학자 스콧 래쉬는 알고리즘이 실제 목적을 창출하는 가상의 수단이라는 점에서 "세대적 힘"의 새로운 형태라고 비판해 왔다.이전의 인간 행동이 수집되고 연구될 데이터를 생성했던 곳에서, 강력한 알고리즘은 점점 더 인간 행동을 형성하고 정의할 수 있었다.[30]: 71

알고리즘이 사회에 미치는 영향에 대한 우려로 구글과 마이크로소프트 등 기관에서 '기계학습의 공정성, 책임성, 투명성'이라는 이름의 워킹그룹을 공동창설했다.[31]: 115 구글의 아이디어에는 알고리즘의 결과를 순찰하고 그들이 부정적인 결과를 가져온다고 생각하는 출력을 통제하거나 제한하는 커뮤니티 그룹이 포함되어 있다.[31]: 117 최근에는 알고리즘의 공정성, 책임성, 투명성(FAT)에 대한 연구가 FAccT라는 연차학술회의와 함께 독자적인 학제간 연구 영역으로 부상하고 있다.[32]비평가들은 FAT 시책들이 많은 기업들이 연구 중인 시스템 구축에 자금을 지원받을 때 독립적인 감시 기관으로서 효과적으로 기능할 수 없다고 제안했다.[33]

종류들

기존재

알고리즘에 존재하는 기존의 편향은 근본적인 사회 및 제도적 이데올로기의 결과물이다.그러한 아이디어는 개별 설계자나 프로그래머 내에서 개인적인 편견을 일으키거나 영향을 미칠 수 있다.그러한 편견은 노골적이고 의식적일 수도 있고, 암묵적이고 무의식적일 수도 있다.[15]: 334 [13]: 294 잘 선택되지 않은 입력 데이터 또는 단순히 편향된 출처의 데이터는 기계에 의해 생성되는 결과에 영향을 미칠 것이다.[21]: 17 기존 편견을 소프트웨어에 인코딩하는 것은 사회적, 제도적 편견을 보존할 수 있고, 수정 없이, 그 알고리즘의 향후 모든 사용에서 복제될 수 있다.[24]: 116 [29]: 8

이러한 형태의 편향의 예로는 1981년 영국 국적법 이후 새로운 영국 시민들에 대한 평가를 자동화하기 위해 고안된 영국 국적법 프로그램이 있다.[15]: 341 이 프로그램은 '남자는 합법적인 자식들의 아버지인 반면 여성은 합법적이든 아니든 모든 자식들의 어머니'[15]: 341 [34]: 375 라는 법의 강령을 정확히 반영했다.BNAP는 특정 논리를 알고리즘 프로세스로 전환하려는 시도로, 영국 국적법의 논리를 알고리즘에 새겼는데, 이는 결국 그 행위가 폐지되더라도 영구화 될 것이다.[15]: 342

기술

감시 카메라와 함께 사용되는 안면인식 소프트웨어는 흰 얼굴보다 동양인과 검은 얼굴을 인식하는 데 편견이 있는 것으로 나타났다.[26]: 191

기술적 편향은 프로그램의 한계, 계산 능력, 그것의 설계 또는 시스템의 다른 제약조건을 통해 나타난다.[15]: 332 예를 들어, 화면당 3개의 결과를 보여주는 검색 엔진은 항공사 가격 표시에서와 같이 다음 3개보다 약간 더 상위 3개의 결과에 특권을 부여하는 것으로 이해될 수 있다.[15]: 336 또 다른 경우는 결과의 공정한 분포를 위해 무작위성에 의존하는 소프트웨어다.무작위 번호 생성 메커니즘이 실제로 무작위가 아닌 경우, 예를 들어 목록의 끝이나 시작 부분에서 항목으로 선택을 기울임으로써 편향을 도입할 수 있다.[15]: 332

디콘텍스트화된 알고리즘은 결과를 정렬하기 위해 관련 없는 정보를 사용한다. 예를 들어 알파벳 순서로 결과를 정렬하는 비행-pring 알고리즘은 유나이티드 항공에 비해 아메리칸 항공사에 유리하게 편향될 수 있다.[15]: 332 결과가 수집되는 것과 다른 맥락에서 평가되는 반대의 경우도 적용될 수 있다.중요한 외부 맥락 없이 데이터를 수집할 수 있다. 예를 들어, 안면 인식 소프트웨어가 감시 카메라에 의해 사용되지만 다른 국가나 지역의 원격 직원이 평가하거나 카메라의 시야를 넘어 일어나는 일에 대한 인식 없이 비인간 알고리즘으로 평가한다.예를 들어, 범죄현장에 대한 불완전한 이해를 만들 수 있다. 예를 들어, 범죄를 저지른 사람들을 행인으로 오인할 가능성이 있다.[12]: 574

마지막으로, 기술적 편향은 인간의 행동이 같은 방식으로 작용한다는 가정 하에 결정을 구체적인 단계로 공식화하려고 시도함으로써 만들어질 수 있다.예를 들어, 소프트웨어는 배심원단에 대한 감정의 영향을 무시하면서 피고가 유죄판결을 받아들여야 하는지를 결정하기 위해 데이터 포인트를 저울질한다.[15]: 332 표절 탐지 소프트웨어 투니틴에서 의도하지 않은 또 다른 형태의 편향 결과가 발견되었는데, 이 소프트웨어에서는 학생들이 작성한 텍스트를 온라인에서 발견한 정보와 비교하고 학생의 작품이 복사될 확률 점수를 반환한다.소프트웨어는 긴 텍스트 문자열을 비교하기 때문에, 후자 그룹이 개별 단어를 더 잘 변경하거나, 표절한 텍스트의 문자열을 분리하거나, 동의어를 통해 복사된 구절을 모호하게 할 수 있기 때문에 원어민보다 영어가 모국어가 아닌 사용자를 식별할 가능성이 더 높다.소프트웨어의 기술적 제약으로 인해 원어민이 탐지를 회피하기 쉽기 때문에, 이는 터니틴이 표절을 위해 외국어를 식별하는 한편 더 많은 원어민이 탐지를 회피할 수 있도록 하는 시나리오를 만든다.[27]: 21–22

신생의

긴급 편향은 새로운 또는 예상치 못한 상황에 걸쳐 알고리즘을 사용하고 의존한 결과물이다.[15]: 334 알고리즘은 신약이나 의학 발전, 새로운 법률, 비즈니스 모델, 또는 변화하는 문화적 규범과 같은 새로운 형태의 지식을 고려하도록 조정되지 않았을 수 있다.[15]: 334, 336 이것은 누가 그들의 배제에 책임이 있는지 이해하기 위한 명확한 개요를 제시하지 않고, 기술을 통해 그룹을 제외할 수 있다.[26]: 179 [13]: 294 마찬가지로, 훈련 데이터(어떤 결론을 모델링하는 기계에 "공급된" 샘플)가 알고리즘이 실제 세계에서 마주치는 맥락과 일치하지 않을 때 문제가 발생할 수 있다.[35]

1990년에, 긴급 편향의 예가 미국 의대생을 잔류물에 배치하는 데 사용되는 소프트웨어인 NRM(National Loscitive Match Program (National Response Match Program)[15]: 338 이 알고리즘은 결혼한 부부가 함께 잔존을 모색하는 경우가 거의 없는 시기에 고안된 것이다.의대에 진학하는 여성이 많아지면서 파트너와 함께 입학을 요청하는 학생도 늘어날 것으로 보인다.이 과정은 각 지원자들이 미국 전역에 배치하기 위한 선호도 목록을 제공하도록 요구했고, 이 목록은 병원과 신청자가 모두 일치에 동의했을 때 분류되고 할당되었다.둘 다 잔류성을 추구하는 기혼 부부의 경우 알고리즘이 먼저 상위 등급 파트너의 위치 선택을 저울질했다.그 결과 배치 선호도에서 타협을 위한 분류보다는 선호도가 높은 학교를 1차 협력사에, 선호도가 낮은 학교를 2차 협력사에 자주 배정했다.[15]: 338 [36]

추가적인 긴급 편향은 다음과 같다.

상관 관계

대용량 데이터 세트를 서로 비교할 때 예측 불가능한 상관 관계가 나타날 수 있다.예를 들어, 웹 검색 패턴에 대해 수집된 데이터는 민감한 데이터(예: 인종 또는 성적 지향)를 표시하는 신호와 일치할 수 있다.특정한 행동이나 탐색 패턴에 따라 선택함으로써, 최종 효과는 직접적인 인종이나 성적 지향 데이터의 사용을 통한 차별과 거의 동일할 것이다.[19]: 6 다른 경우, 알고리즘은 상관관계를 이해할 수 없는 상태에서 상관관계로부터 결론을 도출한다.예를 들어, 한 가지 3종 프로그램은 폐렴에 걸리지 않은 천식 환자보다 폐렴에 걸린 천식 환자들에게 더 낮은 우선순위를 주었다.프로그램 알고리즘은 단순히 생존율을 비교했기 때문에 이렇게 했다: 폐렴에 걸린 천식 환자들이 가장 높은 위험에 처해 있다.역사적으로, 이와 같은 이유로, 병원은 전형적으로 그러한 천식 환자들에게 최선의 즉각적인 치료를 제공한다.[37][clarification needed]

예상치 못한 사용

비상 편향은 예상치 못한 청중들이 알고리즘을 사용할 때 발생할 수 있다.예를 들어, 기계는 사용자가 숫자를 읽거나, 쓰거나, 이해할 수 없는 은유법을 사용하여 인터페이스와 관련시킬 수 있도록 요구할 수 있다.[15]: 334 편향되거나 배제된 기술이 사회에 더 깊이 통합되기 때문에 이러한 배제는 복합적으로 될 수 있다.[26]: 179

배제를 제외하고, 예상치 못한 사용은 최종 사용자 자신의 지식보다는 소프트웨어에 의존하는 최종 사용자로부터 나타날 수 있다.한 예에서, 예상치 못한 사용자 그룹이 영국 시민권에 대한 적합성을 평가하기 위해 컴퓨터 과학자들과 이민 변호사들에 의해 개념 증명으로서 영국 국가법 프로그램이 만들어졌을 때, 영국에서는 알고리즘 편향으로 이어졌다.설계자들은 소프트웨어와 출입국관리법에 대한 이해가 세련되지 않았을 가능성이 있는 출입국관리사무소의 최종 사용자들을 넘어서는 법적 전문지식에 접근할 수 있었다.질문을 관리하는 에이전트는 전적으로 소프트웨어에 의존했고, 이는 시민권에 대한 대체 경로를 배제했고, 새로운 사례법과 법률 해석으로 알고리즘이 시대에 뒤떨어지게 된 이후에도 소프트웨어를 사용했다.법적으로 이민법에 정통하다고 가정하는 사용자를 위한 알고리즘을 설계한 결과, 소프트웨어의 알고리즘은 영국 이민법의 보다 광범위한 기준보다는 알고리즘에 의해 설정된 매우 좁은 법적 기준의 집합에 맞는 신청자에게 유리한 편향으로 간접적으로 이어졌다.[15]: 342

피드백 루프

또한 알고리즘에 대해 수집된 데이터가 실제 반응을 일으켜 알고리즘에 다시 공급되는 경우 긴급 편향은 피드백 루프 또는 재귀성을 생성할 수 있다.[38][39]예를 들어, 캘리포니아주 오클랜드에 배치된 예측 경찰 소프트웨어(PredPol)의 시뮬레이션은 대중이 보고한 범죄 데이터를 바탕으로 흑인 거주지역의 경찰 주둔을 증가시킬 것을 제안했다.[40]시뮬레이션 결과 일반인은 경찰이 어떤 행동을 하던지 상관없이 경찰차의 모습을 보고 범죄를 신고한 것으로 나타났다.시뮬레이션은 범죄 예측을 모형화하는 과정에서 경찰의 차량 목격 사례를 해석했으며, 그 결과 이 지역 내에서 훨씬 더 많은 경찰력을 배치하게 될 것이다.[38][41][42]시뮬레이션을 실시한 인권데이터분석단은 인종 차별이 구속의 요인이 되는 곳에서는 이런 피드백 루프가 치안유지에서 인종 차별을 강화하고 영구화할 수 있다고 경고했다.[39]그러한 행동을 보여주는 알고리즘의 또 다른 잘 알려진 예는 범죄자가 될 가능성을 결정하는 소프트웨어인 COMPAS이다.이 소프트웨어는 종종 흑인들을 다른 사람들보다 훨씬 더 범죄자로 낙인찍은 다음, 독립된 사람들이 등록 범죄자가 되는 경우에 데이터를 다시 자신에게 공급하여 알고리즘이 작용하고 있는 데이터 집합에 의해 생성된 편견을 더욱 강화한다는 비판을 받는다.

온라인 동영상이나 뉴스 기사를 추천하는 데 사용되는 추천자 시스템은 피드백 루프를 만들 수 있다.[43]사용자가 알고리즘으로 제안된 콘텐츠를 클릭하면 다음 제안 집합에 영향을 미친다.[44]시간이 지남에 따라 사용자가 필터 버블에 들어가 중요하거나 유용한 콘텐츠를 인식하지 못하게 될 수 있다.[45][46]

임팩트

상업적 영향

기업 알고리즘은 알고리즘이 공정하다고 오해할 수 있는 사용자의 지식 없이 눈에 띄게 기업 간 재무약정이나 계약을 선호하는 쪽으로 치우칠 수 있다.예를 들어 아메리칸 항공은 1980년대에 비행 탐색 알고리즘을 만들었다.소프트웨어는 다양한 항공사에서 고객까지 다양한 항공편을 제시했지만 가격이나 편의에 상관없이 자체 항공편을 끌어올리는 요인을 저울질했다.항공사의 사장은 미국 의회에 대한 증언에서 이 제도가 특혜를 통해 경쟁 우위를 점할 목적으로 만들어졌다고 노골적으로 말했다.[47]: 2 [15]: 331

구글을 묘사한 1998년 논문에서 이 회사의 설립자들은 "광고 자금 검색 엔진은 본질적으로 광고주들에게 편중되어 소비자의 요구에서 벗어날 것"[48]이라고 주장하며 유료 광고에 관한 검색 결과의 투명성 정책을 채택했다.이러한 편견은 사용자의 "보이지 않는" 조작일 것이다.[47]: 3

투표행태도

미국과 인도의 미결 투표자들에 대한 일련의 연구 결과, 검색 엔진 결과가 투표 결과를 약 20%까지 변화시킬 수 있다는 것을 발견했다.연구진은 알고리즘이 고의 여부와 상관없이 경쟁 후보의 페이지 리스트를 증가시킨다면 후보자들은 경쟁할 수 있는 수단이 없다고 결론지었다.[49]투표와 관련된 메시지를 본 페이스북 사용자들은 투표할 가능성이 더 높았다.2010년 페이스북 사용자 무작위 재판에서는 투표를 독려하는 메시지를 본 사용자 중 20%(34만표)가 늘어난 것은 물론 투표를 한 친구들의 이미지도 나타났다.[50]법률학자 조나단 지트레인은 이를 의도적으로 조작할 경우 선거에서 '디지털 게리맨더링' 효과, 즉 '이용자를 섬기기보다는 어젠다를 충족시키기 위해 중개인이 정보를 선별적으로 제시할 수 있다'고 경고했다.[51]: 335

성차별

지난 2016년 전문 네트워킹 사이트 링크드인이 검색 질의에 응해 남성들의 여성 이름 변형을 추천한 사실이 적발되기도 했다.이 사이트는 남성 이름 검색에서도 비슷한 권고를 하지 않았다.예를 들어 "안드레아"는 사용자가 "안드레우"를 의미하는지 묻는 메시지를 표시하지만, "안드레우"에 대한 쿼리는 사용자가 "안드레아"를 찾으려는 것인지 묻지 않았다.회사 측은 사용자들의 사이트 상호작용을 분석한 결과라고 밝혔다.[52]

2012년 백화점 프랜차이즈 타겟은 여성 고객이 임신한 시기를 알리지 않았더라도 데이터 포인트를 수집해 유추한 뒤 마케팅 파트너와 정보를 공유한 점이 꼽혔다.[53]: 94 [54]그 데이터는 직접 관찰하거나 보고하기보다는 예측되었기 때문에, 회사는 그 고객들의 사생활을 보호할 법적 의무가 없었다.[53]: 98

웹 검색 알고리즘도 편향으로 고발됐다.구글의 결과는 "레즈비언"과 같은 성 관련 검색어에 포르노 콘텐츠의 우선순위를 매길 수 있다.이러한 편견은 중립 검색에서 인기 있지만 성적인 내용을 보여주는 검색 엔진으로 확장된다.예를 들어 "가장 섹시한 여자 선수 상위 25명" 기사는 "여자 선수"를 검색하는 1페이지의 결과로 표시된다.[55]: 31 구글은 2017년 혐오단체, 인종차별주의 견해, 아동학대, 음란물 등 불쾌하고 모욕적인 콘텐츠와 함께 이 같은 결과를 조정했다.[56]다른 예로는 구직 웹사이트에 남성 지원자들에게 더 높은 급여를 주는 직업을 표시하는 것이 있다.[57]연구자들은 또한 기계 번역이 남성 채무 불이행의 강한 경향을 보인다는 것을 확인했다.[58]특히 이는 STEM 직업을 포함한 불균형적인 성별 분포와 연계된 분야에서 관찰된다.[59]실제로 현재의 기계번역 시스템은 여성 노동자들의 실제 세계 분배를 재현하지 못하고 있다.

2015년 아마존닷컴은 여성에 대한 편견이 있다는 사실을 알고 입사 원서를 심사하기 위해 개발한 AI 시스템을 껐다.[60]모집 도구는 전 여자 대학에 다닌 지원자와 '여성'이라는 단어가 포함된 이력서를 제외했다.[61]음악 스트리밍 서비스에서도 비슷한 문제가 나타났다.2019년에는 스포티파이가 사용하는 추천자 시스템 알고리즘이 여성 아티스트에 편중된 것으로 나타났다.[62]스포티파이의 추천곡은 여성 아티스트보다 남성 아티스트가 더 많다는 것을 암시했다.

인종 및 민족 차별

알고리즘은 의사결정에서 인종적 편견을 가리는 방법이라는 비판을 받아왔다.[63][64][65]: 158 과거에 특정 인종과 민족 집단이 어떻게 다루어져 왔는지 때문에 데이터에는 종종 숨겨진 편견이 포함될 수 있다.예를 들어, 흑인들은 같은 범죄를 저지른 백인들보다 더 긴 형을 받을 가능성이 있다.[66][67]이것은 잠재적으로 시스템이 데이터의 원래 편견을 증폭시킨다는 것을 의미할 수 있다.

2015년 구글은 사진 애플리케이션(Photos)에서 이미지 식별 알고리즘이 자신을 고릴라로 식별했다며 흑인 사용자들이 불만을 제기하자 사과했다.[68]2010년, 니콘 카메라는, 이미지 인식 알고리즘이 아시아 유저에게 점멸 여부를 지속적으로 물어, 비판을 받았다.[69]그러한 예는 생체 인식 데이터 세트의 편견의 산물이다.[68]생체 데이터는 관찰되거나 추론된 인종적 특징을 포함하여 신체의 측면으로부터 추출되며, 이는 데이터 포인트로 전송될 수 있다.[65]: 154 음성인식 기술은 사용자의 억양에 따라 정확도가 다를 수 있다.이것은 그 억양의 스피커에 대한 훈련 데이터가 부족하기 때문에 발생할 수 있다.[70]

인종에 대한 생체 인식 데이터도 관찰하기보다는 추론할 수 있다.예를 들어, 2012년의 한 연구는 흑인과 관련된 이름들이 그 개인의 이름에 대한 경찰 기록이 있는지 여부에 관계없이, 체포 기록을 암시하는 검색 결과를 산출할 가능성이 더 높다는 것을 보여주었다.[71]2015년 한 연구에서는 흑인과 아시아인이 예측 알고리즘의 폐 기능 모델에 통합되지 않은 인종 및 직업상 피폭 데이터로 인해 기능성이 떨어지는 폐를 가지고 있는 것으로 나타났다.[72][73]

2019년 옵텀이 판매하는 헬스케어 알고리즘이 아픈 흑인 환자보다 백인 환자를 선호한다는 연구 결과가 나왔다.이 알고리즘은 앞으로 환자가 얼마나 의료 시스템에 비용을 지불할지를 예측한다.그러나 흑인 환자가 만성 질환이 같은 백인 환자보다 연간 약 1,800달러의 의료비를 적게 발생시켜 알고리즘이 훨씬 더 많은 질병을 앓는 흑인 환자와 마찬가지로 향후 건강 문제의 위험도 똑같이 평가하게 되었기 때문에 비용은 인종 중립적이지 않다.[74]

2019년 11월 UC버클리 연구진이 실시한 연구 결과에 따르면 대출자가 신원확인 수단을 이용해 신원확인 여부를 판단할 수 있도록 한 미국의 공정대여법에 근거한 '신용성'에 근거해 소수민족을 차별하는 라틴계와 아프리카계 미국인에 대해 주택담보대출 알고리즘이 차별적이었다.Ividual은 융자를 받을 가치가 있다.이러한 특별한 알고리즘은 핀테크 회사에 존재했고 소수민족을 차별하는 것으로 나타났다.[75][non-primary source needed]

법 집행 및 법적 절차

알고리즘은 이미 법률 시스템에 수많은 응용 프로그램을 가지고 있다.그 예로는 미국 법원이 피고인이 재심론자가 될 가능성을 평가하기 위해 널리 사용하는 상업 프로그램인 COMPAS가 있다.프로퍼블리카는 흑인 피고의 평균 재범 위험 수준이 백인 피고의 평균 COMPAS 할당 위험 수준보다 현저히 높고, 흑인 피고는 백인 피고에 비해 '고위험'이라는 꼬리표를 잘못 배정받을 가능성이 2배 높다는 주장이다.[76][77]

미국의 형사 판결과 가석방 심리에서 위험 평가의 활용을 예로 들 수 있는데, 판사들은 죄수가 범죄를 반복할 위험을 반영하기 위해 알고리즘으로 생성된 점수를 받았다.[78]1920년에 시작해서 1970년에 끝나는 기간 동안, 범죄자의 아버지의 국적은 위험 평가 점수에서 고려 사항이었다.[79]: 4 오늘날, 이 점수는 애리조나, 콜로라도, 델라웨어, 켄터키, 루이지애나, 오클라호마, 버지니아, 워싱턴, 위스콘신 주의 판사와 공유된다.ProPublica의 독립적인 조사에 따르면, 점수가 80% 정확하지 않고, 흑인들이 재발할 위험이 있다는 것을 암시하기 위해 불균형하게 왜곡되어 있다는 것을 발견했는데, 백인들보다 77%가 더 많다.[78]

"위험, 인종 및 재범:예측 편향과 이질적인 영향"은 흑인과 흑인의 대립 가능성을 두 배(45% 대 23%)로 나타낸다.백인 피고인들은 2년간의 관찰 기간 동안 어떠한 문서화된 재범도 없이 객관적으로 남아있었음에도 불구하고 더 높은 위험을 부과하는 것으로 잘못 분류되어야 한다.[80]

온라인 혐오 발언

페이스북 내부 문서에 따르면 2017년 온라인 혐오 발언을 없애기 위해 고안된 페이스북 알고리즘이 불쾌한 내용을 평가할 때 흑인 아이들보다 백인 남성에게 유리하게 작용하는 것으로 나타났다.[81]컴퓨터 프로그램과 휴먼 콘텐츠 리뷰어가 결합된 알고리즘은 범주의 특정 하위 집합이 아닌 광범위한 범주를 보호하기 위해 만들어졌다.예를 들어, "무슬림"을 비난하는 게시물은 차단되고 "반경적인 이슬람교도"를 비난하는 게시물은 허용될 것이다.이 알고리즘의 예상치 못한 결과는 흑인 어린이들에 대한 혐오 발언을 허용하는 것이다. 왜냐하면 그들은 "모든 흑인"이 아니라 "어린이" 흑인들을 비난하기 때문이다. 반면에 "모든 백인"은 백인들과 남성들을 하위 세트로 간주하지 않기 때문에 차단을 일으킬 것이다.[81]페이스북은 또 광고 구매자가 사용자 범주로 '유괴자'를 공략할 수 있도록 한 것으로 밝혀졌는데, 이는 데이터를 평가하고 분류하는 데 사용된 알고리즘의 의도치 않은 결과라고 회사 측은 밝혔다.이 회사의 디자인은 또한 광고 구매자들이 아프리카계 미국인들이 주택 광고를 보는 것을 막을 수 있도록 했다.[82]

혐오표현을 추적·차단하는 알고리즘을 사용하는 반면, 일부 알고리즘은 블랙 사용자가 게시한 정보에 플래그를 붙일 가능성이 1.5배, 에보니크어로 쓰면 혐오표시로 플래그를 붙일 가능성이 2.2배 높은 것으로 나타났다.[83]슬러지와 상어에 대한 문맥이 없는 경우, 심지어 이를 재적정하는 커뮤니티에 의해 사용되었을 때에도 플래그가 표시되었다.[84]

감시

감시 카메라 소프트웨어는 정상과 비정상적인 행동을 구별하고 특정 시간에 특정 위치에 누가 속해 있는지를 결정하는 알고리즘이 필요하기 때문에 본질적으로 정치적인 것으로 간주될 수 있다.[12]: 572 그러한 알고리즘이 인종적 스펙트럼에 걸쳐 얼굴을 인식하는 능력은 훈련 데이터베이스에 있는 이미지의 인종적 다양성에 의해 제한되는 것으로 나타났다. 사진의 대다수가 한 인종이나 성별에 속하는 경우 소프트웨어는 해당 인종이나 성별의 다른 구성원을 더 잘 인식한다.[85]그러나 이러한 이미지 인식 시스템에 대한 감사조차도 윤리적으로 문제가 되고 있으며, 일부 학자들은 이 기술의 맥락은 행동이 지나치게 숙달된 지역사회에 항상 불균형적인 영향을 미칠 것이라고 제안했다.[86]예를 들어, CCTV 영상에서 개인을 식별하는 데 사용된 소프트웨어의 2002년 분석 결과 범죄자 데이터베이스에 대해 실행했을 때 편향의 예가 몇 개 발견되었다.소프트웨어는 여성보다 남성이, 젊은 층보다는 노년층이, 백인보다는 아시아계, 아프리카계 미국인과 다른 인종이 더 자주 식별되는 것으로 평가됐다.[26]: 190 안면 인식 소프트웨어에 대한 추가 연구는 비범죄 데이터베이스에서 교육을 받았을 때 그 반대의 경우가 사실이라는 것을 발견했는데, 이 소프트웨어는 피부가 더 어두운 여성을 식별하는 데 있어 가장 정확하지 않다.[87]

성차별

2011년 게이 훅업 애플리케이션 그라인드르 이용자들은 안드로이드 스토어의 추천 알고리즘이 그라인드르를 성범죄자를 찾기 위해 고안된 애플리케이션과 연결시키고 있다고 보고했는데, 이를 두고 동성애와 소아성애와 부정확하게 연관됐다는 비판이 나왔다.작가 마이크 애너니는 "아틀란틱"에서 이 협회를 비판하면서 그러한 협회가 동성애 남성들에게 더 많은 오명을 씌웠다고 주장했다.[88]2009년 온라인 소매업체 아마존은 알고리즘 변경으로 '성인 콘텐츠' 블랙리스트가 확대된 후 평론가들의 호평을 받은 소설 '브레이크백 마운틴'과 같은 성적인 주제나 동성애를 다룬 어떤 책도 포함시키도록 5만7000여 권의 책을 삭제했다.[89][16]: 5 [90]

2019년 페이스북에서 '여자친구들의 사진'을 검색하면 '비키니에서' '해변에서' 등의 제안이 나온 것으로 나타났다.이와는 대조적으로, "내 남자 친구들의 사진"을 검색하는 것은 아무런 결과도 얻지 못했다.[91]

안면인식 기술은 트랜스젠더 개인에게 문제를 일으키는 것으로 나타났다.2018년에는 우버가 내장된 보안 대책으로 시행하는 안면인식 소프트웨어로 트랜스젠더나 전환에 어려움을 겪는 우버 운전자들의 신고도 있었다.그 결과, 트랜스 우버 운전자의 일부 계좌가 정지되어 운임을 지불하고 잠재적으로 일자리를 잃게 되었는데, 이 모든 것은 전환 중인 트랜스 운전자의 얼굴을 인식하는 데 어려움을 겪는 안면 인식 소프트웨어 때문이었다.[92]이 문제에 대한 해결책은 머신러닝 모델에 대한 교육 세트에 트랜스 개인을 포함하는 것으로 보이지만, 교육 데이터에 사용하기 위해 수집된 트랜스 유튜브 동영상의 한 예가 비디오에 포함된 트랜스 개인의 동의를 받지 않아 사생활 침해 문제가 야기되었다.[93]

개인의 성적 지향성을 얼굴 이미지를 기반으로 탐지할 수 있다는 기계학습 시스템에서 알고리즘을 실험한 연구도 2017년 스탠퍼드대에서 있었다.[94]이 연구의 모델은 동성연애자와 이성연애자 사이의 정확한 구분을 81%로 예측했고, 동성애자와 이성연애자 사이의 정확한 구분을 74%로 예측했다.이 연구는 LGBTQ의 반발을 불러 일으켰다.이 AI 시스템이 LGBTQ 개인에게 미칠 수 있는 부정적인 파장을 우려했던 IA 커뮤니티.IA 커뮤니티는 개인들을 그들의 의지와는 반대로 "아웃"될 위험에 처하게 한다.[95]

구글 검색

사용자가 자동으로 '완료'되는 결과를 내는 반면 구글은 성차별적이고 인종차별적인 자기완성 문구를 삭제하는 데 실패했다.예를 들어 압제의 알고리즘: 검색엔진 '인종차별 강화 방안' 사피야 노블은 포르노 이미지로 보도된 '블랙걸스' 검색의 예를 지적한다.구글은 이 페이지들이 불법으로 간주되지 않는 한 지울 수 없다고 주장했다.[96]

연구 장애물

몇 가지 문제들이 대규모 알고리즘 편향 연구를 방해하여 학문적으로 엄격한 연구의 적용과 대중의 이해를 방해한다.[11]: 5

공정성 정의

주요 기사:공정성(기계학습)

알고리즘 편향에 관한 문헌은 공정성의 구제에 초점을 맞췄지만 공정성의 정의는 서로 양립할 수 없는 경우가 많고 기계학습 최적화의 현실이다.예를 들어, 공정성을 "결과의 평등"으로 정의하면 단순히 모든 사람에게 동일한 결과를 산출하는 시스템을 의미할 수 있으며, 반면에 "치료의 평등"으로 정의되는 공정성은 개인 간의 차이를 명시적으로 고려할 수 있다.[97]: 2 결과적으로, 공정성은 때때로 모델의 정확성과 상충되는 것으로 묘사되어 사회 복지의 우선순위와 이들 시스템을 설계하는 벤더의 우선순위 사이의 선천적인 긴장을 시사한다.[98]: 2 이러한 긴장에 대응하여, 연구자들은 특정 애플리케이션과 상황에 대해 정의된 "공정성"을 사용하여 잠재적으로 편향된 알고리즘을 이용하는 시스템의 설계와 사용에 더 많은 주의를 제안했다.[99]

복잡성

알고리즘 과정은 복잡해서, 종종 알고리즘을 사용하는 사람들의 이해를 초월한다.[11]: 2 [100]: 7 대규모 운영은 그것을 만드는 데 관련된 사람들조차 이해하지 못할 수 있다.[101]현대 프로그램의 방법과 과정은 종종 코드의 입력이나 출력의 모든 순열을 알 수 없기 때문에 가려진다.[26]: 183 사회과학자 브루노 라투어는 이 과정을 블랙박스화(blackboxing)로 규정했는데, 이 과정에서 "과학적이고 기술적인 작업은 그 자체의 성공에 의해 보이지 않게 된다"는 것이다.기계가 효율적으로 가동될 때, 어떤 문제가 해결되었을 때, 사람은 기계 내부의 복잡성에 초점을 맞추지 않고 입력과 출력에만 초점을 맞출 필요가 있다.따라서 역설적으로 과학기술이 성공할수록 불투명하고 불명확해진다."[102]다른 사람들은 현재의 알고리즘이 하나의 블랙박스가 아니라 상호 연결된 것들의 네트워크라는 것을 암시하면서 블랙박스 은유를 비판해 왔다.[103]: 92

이러한 복잡성의 예는 피드백을 사용자 정의하기 위한 입력의 범위에서 찾을 수 있다.소셜 미디어 사이트 페이스북은 2013년 사용자의 소셜 미디어 피드의 레이아웃을 결정하기 위해 최소 10만 개의 데이터 포인트를 고려했다.[104]또한, 프로그래머의 대규모 팀은 서로 상대적으로 격리된 상태로 운영될 수 있으며, 연결되고 정교한 알고리즘 내에서 작은 의사결정의 누적 효과를 알지 못한다.[24]: 118 모든 코드가 원본은 아니며, 다른 라이브러리에서 빌릴 수도 있어 데이터 처리와 데이터 입력 시스템 간의 복잡한 관계 집합을 만들 수 있다.[4]: 22

클릭, 현장에서의 시간, 기타 메트릭스 등의 사용자 상호작용을 기반으로 하는 알고리즘의 개인화 및 머신러닝에 의해 추가적인 복잡성이 발생한다.이러한 개인적인 조정은 알고리즘을 이해하려는 일반적인 시도를 혼동시킬 수 있다.[105]: 367 [100]: 7 한 정체불명의 스트리밍 라디오 서비스는 사용자들을 위해 선택한 다섯 가지의 독특한 음악 선택 알고리즘을 그들의 행동에 기초하여 사용했다고 보고했다.이것은 서로 다른 사용자들 사이에 동일한 스트리밍 서비스의 다른 경험을 만들어내, 이러한 알고리즘들이 하는 일을 이해하기 어렵게 만든다.[11]: 5 회사들은 또한 사용자 반응에 기반한 알고리즘을 미세 조정하기 위해 자주 A/B 테스트를 시행한다.예를 들어, 검색 엔진 빙은 하루에 최대 1,000만 개의 미묘한 서비스 변화를 실행할 수 있으며, 각 사용 및/또는 사용자 간에 서로 다른 서비스 경험을 생성할 수 있다.[11]: 5

투명성 부족

상업적 알고리즘은 독점적이며, 영업 비밀로 취급될 수도 있다.[11]: 2 [100]: 7 [26]: 183 알고리즘을 영업비밀로 취급하면 검색엔진과 같은 기업을 보호하는데, 여기서 투명 알고리즘이 검색 순위를 조작하는 전술을 드러낼 수 있다.[105]: 366 이로 인해 연구자들은 알고리즘이 어떻게 기능하는지를 알아내기 위해 인터뷰나 분석을 하기 어렵다.[4]: 20 비평가들은 그러한 비밀주의가 알고리즘 산출물을 생산하거나 처리하는 데 사용되는 가능한 비윤리적인 방법들을 모호하게 할 수 있다고 제안한다.[105]: 369 변호사 및 활동가 카타르지나 스지밀레위츠와 같은 다른 비평가들은 투명성의 결여가 종종 알고리즘의 복잡성의 결과로 위장되어 기업들이 자체 알고리즘 프로세스를 공개하거나 조사하지 못하게 한다고 제안했다.[106]

중요한 범주에 대한 데이터 부족

실제에서 편향의 태클을 이해하는 데 중요한 장벽은 차별금지법에 의해 보호되는 개인의 인구통계 같은 범주가 데이터를 수집하고 처리할 때 명시적으로 고려되지 않는 경우가 많다는 것이다.[107]기기 지문인식, 유비쿼터스 컴퓨팅, 사물인터넷 등 이 데이터를 명시적으로 수집할 기회가 거의 없는 경우도 있다.다른 경우에, 데이터 통제자는 평판상의 이유로 또는 책임과 보안 위험의 증가를 나타내기 때문에 그러한 데이터를 수집하기를 원하지 않을 수 있다.적어도 유럽연합의 일반 데이터 보호 규정과 관련하여, 그러한 데이터는 '특수 범주' 조항(9조)에 해당하므로 잠재적 수집과 처리에 더 많은 제약을 수반하는 경우도 있을 수 있다.

일부 실무자들은 편향 완화를 허용하기 위해 이러한 누락된 민감한 분류들을 추정하고 귀속시키려 했지만, 예를 들어 이름에서 민족성을 추론하는 시스템을 구축했지만,[108] 이것은 주의 깊게 시행하지 않으면 다른 형태의 편견을 도입할 수 있다.[109]머신러닝 연구자들은 암호 프라이버시 향상 기술과 같은 암호 프라이버시 향상 기술을 이용하여 알고리즘 편향을 평가하거나 완화시킬 수 있는 방법을 제안해 왔다.[110]

알고리즘 편향은 보호 범주를 포함할 뿐만 아니라 정치적 관점과 같이 덜 쉽게 관찰하거나 코드화할 수 있는 특성을 포함할 수 있다.이러한 경우 쉽게 접근할 수 있거나 논란의 여지가 없는 지상 진리가 거의 없으며, 그러한 시스템에서 편향성을 제거하기가 더 어렵다.[111]더욱이, 허위 및 우발적 상관관계는 보호 범주에 대한 이해 부족에서 나타날 수 있다. 예를 들어, 자동차 사고의 과거 데이터에 근거한 보험료는 소수 민족 거주 집단과 엄격히 일치할 수 있다.[112]

해결 방법

윤리 AI에 대한 84개 정책 가이드라인을 조사한 결과, 공정성과 '불필요한 편향성의 완화'가 공통 관심사였으며, 기술적 해결책, 투명성과 모니터링, 개선 및 감독권, 다양성과 포용 노력 등을 통해 해결되었다.[113]

기술

추가 정보:공정성(기계학습)

알고리즘 내에서 편견을 감지하고 관찰할 수 있는 방법과 도구를 만들려는 시도가 여러 번 있었다.이러한 긴급 분야는 알고리즘의 내부 프로세스보다는 프로그램에 의해 사용되는 (훈련) 데이터에 일반적으로 적용되는 도구에 초점을 맞춘다.이 방법들은 또한 프로그램의 산출물과 그 유용성을 분석할 수 있기 때문에 혼동 매트릭스(또는 혼동 표)의 분석을 수반할 수 있다.[114][115][116][117][118][119][120][121][122]알고리즘 바이서스를 검출하기 위한 설명 가능한 AI는 알고리즘이나 학습 모델에서 편향의 존재를 검출하기 위한 제안 방법이다.[123]편향 탐지를 위해 머신러닝을 이용하는 것을 'AI 감사 실시'라고 하는데, 여기서 '감사자'는 편향을 식별하기 위한 AI 모델과 훈련 데이터를 거치는 알고리즘이다.[124]분류기와 같은 AI 도구가 편향되지 않도록 하는 것은 단순히 입력 신호에서 민감한 정보를 제거하는 것보다 더 어렵다. 이는 일반적으로 다른 신호에 내재되어 있기 때문이다.예를 들어, 취업 지원자가 다니는 취미, 스포츠 및 학교는 소프트웨어에서 성별을 공개할 수 있다. 심지어 분석에서 제외된 경우에도 말이다.이 문제에 대한 해결책은[125]에서 깊은 학습 네트워크가 동시에 동시에 완전히 abou에 대한 관용성이 과제를 배우도록 훈련을 받었다 보여 준 것은 지적인 요원, 그 주제에 대해서 민감하고 보호된 정보를 재구성에 사용할 지도 모르는 정보를 가지지 않음을 보장하기를 포함한다.t월e 보호 기능.단어 내장형이라는 맥락에서 더 간단한 방법이 제안되었고, 보호된 특성과 상관관계가 있는 정보를 제거하는 것을 포함한다.[126]

현재 알고리즘의 작성자가 자신의 알고리즘의 기능과 가능한 효과에 대해 편향성 문제를 제거하고 투명성(즉, 당국이나 최종 사용자에게)을 명확히 하는 방법을 명시하는 것을 목적으로 하는 새로운 IEEE 표준이 작성되고 있다.이 프로젝트는 2017년 2월 승인됐으며 IEEE 컴퓨터 협회가 인가한 위원회인 소프트웨어 & 시스템 엔지니어링 표준 위원회가 후원하고 있다.2019년 6월 투표용지 표준안 초안이 제출될 전망이다.[127][128]

투명성 및 모니터링

AI에 대한 윤리지침은 책임의 필요성을 지적하면서 결과의 해석성을 개선하기 위한 조치를 취할 것을 권고하고 있다.[129]그러한 해결책에는 머신러닝 알고리즘의 "이해권"에 대한 고려와 의사결정을 설명하거나 검토할 수 없는 상황에서 머신러닝의 배치에 저항하는 것이 포함된다.[130]이를 위해 이미 DARPA 등 조직 내에서는 편향성 해소 이상의 이유로 '해명 가능한 AI' 운동이 진행 중이다.[131]예를 들어 Price Waterhouse Coopers는 또한 출력을 모니터링하는 것은 시스템의 고독한 구성 요소가 결과를 왜곡할 경우 격리되고 종료될 수 있도록 시스템을 설계하는 것을 의미한다고 제안한다.[132]

투명성을 위한 초기 접근법에는 알고리즘의 오픈소싱이 포함되었다.[133]소프트웨어 코드를 조사할 수 있고 소스 코드 호스팅 시설을 통해 개선을 제안할 수 있다.그러나 이러한 접근법이 반드시 의도된 효과를 내는 것은 아니다.기업과 조직은 가능한 모든 문서와 코드를 공유할 수 있지만, 이것은 청중이 주어진 정보를 이해하지 못한다면 투명성을 확립하지 못한다.따라서 투명성과 관련하여 관심 있는 비판적 청중의 역할은 탐구할 가치가 있다.알고리즘은 비판적인 청중 없이는 책임을 질 수 없다.[134]

구제권

규제적 관점에서, 토론토 선언은 알고리즘 편향에 의해 야기되는 해악에 인권 프레임워크를 적용할 것을 요구한다.[135]여기에는 이러한 알고리즘의 설계자를 대신하여 실사에 대한 기대치를 법제화하고, 민간 행위자가 공익을 보호하지 못할 때 책임성을 창출하는 것이 포함되며, 그러한 권리는 복잡하고 서로 얽혀 있는 과정의 거미줄 안에서 책임을 결정하는 복잡성에 의해 가려질 수 있다는 점에 주목한다.[136]다른 이들은 명확한 책임보험제도의 필요성을 제안한다.[137]

다양성 및 포함

AI 시스템 설계가 주로 백인 남성 엔지니어의 영역이라는 우려가 나오는 가운데,[138] AI 시스템을 설계하는 사람의 대열에 포함시켜 알고리즘 편향을 최소화할 수 있다는 학자가 다수 나왔다.[130][113]예를 들어 기계학습 엔지니어의 12%만 여성이며,[139] 흑인 AI 리더는 현장에서 '다양성 위기'를 지적한다.[140]블랙 인 AI, 퀴어 인 AI와 같은 단체들은 AI 커뮤니티에 좀 더 포용적인 공간을 만들고 AI 연구의 궤적을 통제하는 기업의 종종 해로운 욕구에 맞서려고 노력하고 있다.[141]단순 포괄성 노력의 비판은 다양성 프로그램이 중복된 형태의 불평등을 다룰 수 없다는 것을 시사하며, 알고리즘 설계에 보다 신중한 교차성 렌즈를 적용해야 한다고 요구해왔다.[142][143]: 4 케임브리지 대학의 연구원들은 인종적 다양성을 다루는 것이 AI 문화의 '고결함'에 의해 방해받고 있다고 주장해왔다.[144]

규정

유럽

2018년 시행된 유럽연합(EU)의 개정 데이터 보호체제인 GDPR(General Data Protection Regulation)은 제22조에서 '프로파일링을 포함한 자동화된 개별적 의사결정'을 다루고 있다.이러한 규칙은 동의, 계약 또는 회원 국가법에 의해 명시적으로 인가되지 않는 한 개인에게 "중대한" 또는 "법적" 영향을 미치는 "솔직히" 자동화된 결정을 금지한다.허용될 경우, 해결된 결정에 대한 설명에 구속력이 없는 권리, 인간 루프에 대한 권리 등 안전장치가 마련되어야 한다.이러한 규정은 일반적으로 새로운 것으로 간주되지만, 1995년 이후 거의 동일한 조항이 유럽 전역에 존재해왔다. 데이터 보호 지침 제15조.원래의 자동화된 결정 규칙과 안전장치는 1970년대 후반부터 프랑스 법률에서 발견되었다.[145]

GDPR은 프로파일링 시스템의 알고리즘 편향과 이를 청소할 수 있는 통계적 접근법을 리사이틀 71에서 직접 다루며,[146] 다음과 같은 점에 주목한다.

통제관은 프로파일링에 적절한 수학적 또는 통계적 절차를 사용해야 하며, 적절한 기술적 및 조직적 조치를 구현해야 한다.인종간 또는 민족적 기원, 정치적 의견, 종교 또는 신념, 노동조합 가입, 유전적 또는 건강 상태 또는 성적 지향에 근거하여 자연인에 대한 차별적 영향을 방지하거나, 그러한 영향을 미치는 조치를 초래하는 것.

리사이틀 71의 설명에 대한 구속력이 없는 권리처럼, 문제는 리사이틀의 구속력이 없는 성격이다.[147]데이터 보호법 시행을 자문한 제29조 실무자로부터 요건으로 취급되어 왔지만, 그 실체적 차원은 불명확하다.[146]높은 위험도의 데이터 프로파일링에 대한 데이터 보호 영향 평가(데이터 보호 내의 다른 사전 예방 조치와 함께)는 소비자 불만 제기 또는 변경 요청보다 알고리즘 배포자의 행동을 제한하기 때문에 알고리즘 차별 문제를 해결하는 더 나은 방법이 될 수 있다는 주장이 제기되었다.s.[148]

미국

미국은 알고리즘 편향을 제어하는 일반 법률이 없으며, 산업, 부문, 알고리즘 사용 방법에 따라 달라질 수 있는 다양한 주 및 연방 법률을 통해 문제에 접근한다.[149]많은 정책들이 연방 무역 위원회에 의해 자체 강제되거나 통제된다.[149]2016년 오바마 행정부는 정책 입안자들이 알고리즘에 대한 비판적 평가를 하도록 안내하기 위한 국가 인공지능 연구개발전략계획을 발표했다.[150]그것은 연구자들에게 "이러한 시스템을 단순히 배우고 반복하는 것이 아니라, 그들의 행동과 의사결정이 투명하고 인간에 의해 쉽게 해석될 수 있도록 설계할 것"을 권고했다.지침으로만 의도된 이 보고서는 어떠한 법적 판례도 만들지 않았다.[151]: 26

2017년 뉴욕시는 미국 최초의 알고리즘 책임 법안을 통과시켰다.[152]2018년 1월 1일부터 시행된 법안은 "기관 자동결정시스템에 대한 정보가 국민과 어떻게 공유될 수 있는지, 기관 자동결정시스템에 의해 국민이 피해를 입는 사례를 기관들이 어떻게 해결할 수 있는지에 대한 권고안을 제공하는 태스크포스를 신설해야 한다"[153]고 규정했다.대책위원회는 2019년 추가 규제 조치에 대한 조사 결과와 권고안을 제시해야 한다.[154]

인도

2018년 7월 31일, 개인 데이터 법안 초안이 발표되었다.[155]초안은 데이터의 저장, 처리 및 전송에 대한 표준을 제안한다.알고리즘이라는 용어는 사용하지 않지만, "신탁자가 어떤 처리나 어떤 종류의 처리로 인한 손해"에 대한 규정을 만든다.그것은 "데이터 주체에 대한 평가적 결정에서 비롯되는 서비스, 이익 또는 선의 거부 또는 철회" 또는 "차별적 처리"를 데이터의 부적절한 사용에서 발생할 수 있는 위해의 원천으로 정의한다.그것은 또한 "간성 상태"의 사람들을 위한 특별 조항을 만든다.[156]

참고 항목

추가 읽기

  • Baer, Tobias (2019). Understand, Manage, and Prevent Algorithmic Bias: A Guide for Business Users and Data Scientists. New York: Apress. ISBN 9781484248843.
  • Noble, Safiya Umoja (2018). Algorithms of Oppression: How Search Engines Reinforce Racism. New York: New York University Press. ISBN 9781479837243.
  • 공정성(기계학습)

참조

  1. ^ Jacobi, Jennifer (13 September 2001). "Patent #US2001021914". Espacenet. Retrieved 4 July 2018.
  2. ^ Striphas, Ted. "What is an Algorithm? – Culture Digitally". culturedigitally.org. Retrieved 20 November 2017.
  3. ^ Cormen, Thomas H.; Leiserson, Charles E.; Rivest, Ronald L.; Stein, Clifford (2009). Introduction to Algorithms (3rd ed.). Cambridge, Mass.: MIT Press. p. 5. ISBN 978-0-262-03384-8.
  4. ^ a b c Kitchin, Rob (25 February 2016). "Thinking critically about and researching algorithms" (PDF). Information, Communication & Society. 20 (1): 14–29. doi:10.1080/1369118X.2016.1154087. S2CID 13798875.
  5. ^ "How Google Search Works". Google. Retrieved 19 November 2017.
  6. ^ Luckerson, Victor. "Here's How Your Facebook News Feed Actually Works". Time. Retrieved 19 November 2017.
  7. ^ Vanderbilt, Tom (2013-08-07). "The Science Behind the Netflix Algorithms That Decide What You'll Watch Next". Wired. Retrieved 19 November 2017.
  8. ^ Angwin, Julia; Mattu, Surya (20 September 2016). "Amazon Says It Puts Customers First. But Its Pricing Algorithm Doesn't — ProPublica". ProPublica. Retrieved 19 November 2017.
  9. ^ Livingstone, Rob. "The future of online advertising is big data and algorithms". The Conversation. Retrieved 19 November 2017.
  10. ^ Hickman, Leo (1 July 2013). "How algorithms rule the world". The Guardian. Retrieved 19 November 2017.
  11. ^ a b c d e f Seaver, Nick. "Knowing Algorithms" (PDF). Media in Transition 8, Cambridge, MA, April 2013. Retrieved 18 November 2017.
  12. ^ a b c Graham, Stephen D.N. (July 2016). "Software-sorted geographies" (PDF). Progress in Human Geography (Submitted manuscript). 29 (5): 562–580. doi:10.1191/0309132505ph568oa. S2CID 19119278.
  13. ^ a b c Tewell, Eamon (4 April 2016). "Toward the Resistant Reading of Information: Google, Resistant Spectatorship, and Critical Information Literacy". Portal: Libraries and the Academy. 16 (2): 289–310. doi:10.1353/pla.2016.0017. ISSN 1530-7131. S2CID 55749077. Retrieved 19 November 2017.
  14. ^ Crawford, Kate (1 April 2013). "The Hidden Biases in Big Data". Harvard Business Review.
  15. ^ a b c d e f g h i j k l m n o p q Friedman, Batya; Nissenbaum, Helen (July 1996). "Bias in Computer Systems" (PDF). ACM Transactions on Information Systems. 14 (3): 330–347. doi:10.1145/230538.230561. S2CID 207195759. Retrieved 10 March 2019.
  16. ^ a b c d e f Gillespie, Tarleton; Boczkowski, Pablo; Foot, Kristin (2014). Media Technologies. Cambridge: MIT Press. pp. 1–30. ISBN 9780262525374.
  17. ^ a b Diakopoulos, Nicholas. "Algorithmic Accountability: On the Investigation of Black Boxes ". towcenter.org. Retrieved 19 November 2017.
  18. ^ Lipartito, Kenneth (6 January 2011). "The Narrative and the Algorithm: Genres of Credit Reporting from the Nineteenth Century to Today" (PDF) (Submitted manuscript). doi:10.2139/ssrn.1736283. S2CID 166742927. {{cite journal}}:Cite 저널은 필요로 한다. journal=(도움말)
  19. ^ a b Goodman, Bryce; Flaxman, Seth (2017). "EU regulations on algorithmic decision-making and a "right to explanation"". AI Magazine. 38 (3): 50. arXiv:1606.08813. doi:10.1609/aimag.v38i3.2741. S2CID 7373959.
  20. ^ a b c d e f g Weizenbaum, Joseph (1976). Computer Power and Human Reason: From Judgment to Calculation. San Francisco: W.H. Freeman. ISBN 978-0-7167-0464-5.
  21. ^ a b Goffrey, Andrew (2008). "Algorithm". In Fuller, Matthew (ed.). Software Studies: A Lexicon. Cambridge, Mass.: MIT Press. pp. 15–20. ISBN 978-1-4356-4787-9.
  22. ^ Lowry, Stella; Macpherson, Gordon (5 March 1988). "A Blot on the Profession". British Medical Journal. 296 (6623): 657–8. doi:10.1136/bmj.296.6623.657. PMC 2545288. PMID 3128356. Retrieved 17 November 2017.
  23. ^ Miller, Alex P. (26 July 2018). "Want Less-Biased Decisions? Use Algorithms". Harvard Business Review. Retrieved 31 July 2018.
  24. ^ a b c Introna, Lucas D. (2 December 2011). "The Enframing of Code". Theory, Culture & Society. 28 (6): 113–141. doi:10.1177/0263276411418131. S2CID 145190381.
  25. ^ Bogost, Ian (2015-01-15). "The Cathedral of Computation". The Atlantic. Retrieved 19 November 2017.
  26. ^ a b c d e f g Introna, Lucas; Wood, David (2004). "Picturing algorithmic surveillance: the politics of facial recognition systems". Surveillance & Society. 2: 177–198. Retrieved 19 November 2017.
  27. ^ a b c d Introna, Lucas D. (21 December 2006). "Maintaining the reversibility of foldings: Making the ethics (politics) of information technology visible". Ethics and Information Technology. 9 (1): 11–25. CiteSeerX 10.1.1.154.1313. doi:10.1007/s10676-006-9133-z. S2CID 17355392.
  28. ^ a b Shirky, Clay. "A Speculative Post on the Idea of Algorithmic Authority Clay Shirky". www.shirky.com. Retrieved 20 November 2017.
  29. ^ a b Ziewitz, Malte (1 January 2016). "Governing Algorithms: Myth, Mess, and Methods". Science, Technology, & Human Values. 41 (1): 3–16. doi:10.1177/0162243915608948. ISSN 0162-2439. S2CID 148023125.
  30. ^ Lash, Scott (30 June 2016). "Power after Hegemony". Theory, Culture & Society. 24 (3): 55–78. doi:10.1177/0263276407075956. S2CID 145639801.
  31. ^ a b Garcia, Megan (1 January 2016). "Racist in the Machine". World Policy Journal. 33 (4): 111–117. doi:10.1215/07402775-3813015. S2CID 151595343.
  32. ^ "ACM FAccT 2021 Registration". fatconference.org. Retrieved 2021-11-14.
  33. ^ Ochigame, Rodrigo (20 December 2019). "The Invention of "Ethical AI": How Big Tech Manipulates Academia to Avoid Regulation". The Intercept. Retrieved 11 February 2020.
  34. ^ Sergot, MJ; Sadri, F; Kowalski, RA; Kriwaczek, F; Hammond, P; Cory, HT (May 1986). "The British Nationality Act as a Logic Program" (PDF). Communications of the ACM. 29 (5): 370–386. doi:10.1145/5689.5920. S2CID 5665107. Retrieved 18 November 2017.
  35. ^ Gillespie, Tarleton. "Algorithm [draft] [#digitalkeywords] – Culture Digitally". culturedigitally.org. Retrieved 20 November 2017.
  36. ^ Roth, A. E. 1524–1528. (14 December 1990). "New physicians: A natural experiment in market organization". Science. 250 (4987): 1524–1528. Bibcode:1990Sci...250.1524R. doi:10.1126/science.2274783. PMID 2274783. S2CID 23259274. Retrieved 18 November 2017.
  37. ^ Kuang, Cliff (21 November 2017). "Can A.I. Be Taught to Explain Itself?". The New York Times Magazine. Retrieved 26 November 2017.
  38. ^ a b Jouvenal, Justin (17 November 2016). "Police are using software to predict crime. Is it a 'holy grail' or biased against minorities?". Washington Post. Retrieved 25 November 2017.
  39. ^ a b Chamma, Maurice (2016-02-03). "Policing the Future". The Marshall Project. Retrieved 25 November 2017.
  40. ^ Lum, Kristian; Isaac, William (October 2016). "To predict and serve?". Significance. 13 (5): 14–19. doi:10.1111/j.1740-9713.2016.00960.x.
  41. ^ Smith, Jack. "Predictive policing only amplifies racial bias, study shows". Mic. Retrieved 25 November 2017.
  42. ^ Lum, Kristian; Isaac, William (1 October 2016). "FAQs on Predictive Policing and Bias". HRDAG. Retrieved 25 November 2017.
  43. ^ Sun, Wenlong; Nasraoui, Olfa; Shafto, Patrick (2018). "Iterated Algorithmic Bias in the Interactive Machine Learning Process of Information Filtering". Proceedings of the 10th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management. Seville, Spain: SCITEPRESS - Science and Technology Publications: 110–118. doi:10.5220/0006938301100118. ISBN 9789897583308.
  44. ^ Sinha, Ayan; Gleich, David F.; Ramani, Karthik (2018-08-09). "Gauss's law for networks directly reveals community boundaries". Scientific Reports. 8 (1): 11909. Bibcode:2018NatSR...811909S. doi:10.1038/s41598-018-30401-0. ISSN 2045-2322. PMC 6085300. PMID 30093660.
  45. ^ Hao, Karen. "Google is finally admitting it has a filter-bubble problem". Quartz. Retrieved 2019-02-26.
  46. ^ "Facebook Is Testing This New Feature to Fight 'Filter Bubbles'". Fortune. Retrieved 2019-02-26.
  47. ^ a b Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (22 May 2014). "Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms" (PDF). 64th Annual Meeting of the International Communication Association. Retrieved 18 November 2017.
  48. ^ Brin, Sergey; Page, Lawrence. "The Anatomy of a Search Engine". www7.scu.edu.au. Archived from the original on 2 July 2019. Retrieved 18 November 2017.
  49. ^ Epstein, Robert; Robertson, Ronald E. (18 August 2015). "The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections". Proceedings of the National Academy of Sciences. 112 (33): E4512–E4521. Bibcode:2015PNAS..112E4512E. doi:10.1073/pnas.1419828112. PMC 4547273. PMID 26243876.
  50. ^ Bond, Robert M.; Fariss, Christopher J.; Jones, Jason J.; Kramer, Adam D. I.; Marlow, Cameron; Settle, Jaime E.; Fowler, James H. (13 September 2012). "A 61-million-person experiment in social influence and political mobilization". Nature. 489 (7415): 295–8. Bibcode:2012Natur.489..295B. doi:10.1038/nature11421. ISSN 0028-0836. PMC 3834737. PMID 22972300.
  51. ^ Zittrain, Jonathan (2014). "Engineering an Election" (PDF). Harvard Law Review Forum. 127: 335–341. Retrieved 19 November 2017.
  52. ^ Day, Matt (31 August 2016). "How LinkedIn's search engine may reflect a gender bias". The Seattle Times. Retrieved 25 November 2017.
  53. ^ a b Crawford, Kate; Schultz, Jason (2014). "Big Data and Due Process: Toward a Framework to Redress Predictive Privacy Harms". Boston College Law Review. 55 (1): 93–128. Retrieved 18 November 2017.
  54. ^ Duhigg, Charles (16 February 2012). "How Companies Learn Your Secrets". The New York Times Magazine. Retrieved 18 November 2017.
  55. ^ Noble, Safiya (2012). "Missed Connections: What Search Engines Say about Women" (PDF). Bitch. 12 (4): 37–41.
  56. ^ Guynn, Jessica (16 March 2017). "Google starts flagging offensive content in search results". USA TODAY. USA Today. Retrieved 19 November 2017.
  57. ^ Simonite, Tom. "Study Suggests Google's Ad-Targeting System May Discriminate". MIT Technology Review. Massachusetts Institute of Technology. Retrieved 17 November 2017.
  58. ^ Prates, Marcelo O. R.; Avelar, Pedro H. C.; Lamb, Luis (2018). "Assessing Gender Bias in Machine Translation -- A Case Study with Google Translate". arXiv:1809.02208 [cs.CY].
  59. ^ Prates, Marcelo O. R.; Avelar, Pedro H.; Lamb, Luís C. (2019). "Assessing gender bias in machine translation: A case study with Google Translate". Neural Computing and Applications. 32 (10): 6363–6381. arXiv:1809.02208. doi:10.1007/s00521-019-04144-6. S2CID 52179151.
  60. ^ Dastin, Jeffrey (October 9, 2018). "Amazon scraps secret AI recruiting tool that showed bias against women". Reuters.
  61. ^ Vincent, James (10 October 2018). "Amazon reportedly scraps internal AI recruiting tool that was biased against women". The Verge.
  62. ^ "Reflecting on Spotify's Recommender System – SongData". Retrieved 2020-08-07.
  63. ^ Buolamwini, Joy; Gebru, Timnit. "Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification". Proceedings of Machine Learning Research. 81 (2018): 1–15. Retrieved 27 September 2020.
  64. ^ Noble, Safiya Umoja (20 February 2018). Algorithms of Oppression: How Search Engines Reinforce Racism. New York: NYU Press. ISBN 978-1479837243.
  65. ^ a b Nakamura, Lisa (2009). Magnet, Shoshana; Gates, Kelly (eds.). The New Media of Surveillance. London: Routledge. pp. 149–162. ISBN 978-0-415-56812-8.
  66. ^ Alexander, Rudolph; Gyamerah, Jacquelyn (September 1997). "Differential Punishing of African Americans and Whites Who Possess Drugs: A Just Policy or a Continuation of the Past?". Journal of Black Studies. 28 (1): 97–111. doi:10.1177/002193479702800106. ISSN 0021-9347. S2CID 152043501.
  67. ^ Petersilia, Joan (January 1985). "Racial Disparities in the Criminal Justice System: A Summary". Crime & Delinquency. 31 (1): 15–34. doi:10.1177/0011128785031001002. ISSN 0011-1287. S2CID 146588630.
  68. ^ a b Guynn, Jessica (1 July 2015). "Google Photos labeled black people 'gorillas'". USA TODAY. USA Today. USA Today. Retrieved 18 November 2017.
  69. ^ Rose, Adam (22 January 2010). "Are Face-Detection Cameras Racist?". Time. Retrieved 18 November 2017.
  70. ^ "Alexa does not understand your accent". Washington Post.
  71. ^ Sweeney, Latanya (28 January 2013). "Discrimination in Online Ad Delivery". arXiv:1301.6822 [cs.IR].
  72. ^ Braun, Lundy (2015). "Race, ethnicity and lung function: A brief history". Canadian Journal of Respiratory Therapy. 51 (4): 99–101. ISSN 1205-9838. PMC 4631137. PMID 26566381.
  73. ^ Robinson, Whitney R; Renson, Audrey; Naimi, Ashley I (2020-04-01). "Teaching yourself about structural racism will improve your machine learning". Biostatistics. 21 (2): 339–344. doi:10.1093/biostatistics/kxz040. ISSN 1465-4644. PMC 7868043. PMID 31742353.
  74. ^ Johnson, Carolyn Y. (24 October 2019). "Racial bias in a medical algorithm favors white patients over sicker black patients". Washington Post. Retrieved 2019-10-28.
  75. ^ Bartlett, Robert; Morse, Adair; Stanton, Richard; Wallace, Nancy (June 2019). "Consumer-Lending Discrimination in the FinTech Era". NBER Working Paper No. 25943. doi:10.3386/w25943. S2CID 242410791.
  76. ^ Jeff Larson, Julia Angwin (2016-05-23). "How We Analyzed the COMPAS Recidivism Algorithm". ProPublica. Archived from the original on 29 April 2019. Retrieved 2020-06-19.
  77. ^ "Commentary: Bad news. Artificial intelligence is biased". CNA. 2019-01-12. Archived from the original on 12 January 2019. Retrieved 2020-06-19.
  78. ^ a b Angwin, Julia; Larson, Jeff; Mattu, Surya; Kirchner, Lauren (23 May 2016). "Machine Bias — ProPublica". ProPublica. Retrieved 18 November 2017.
  79. ^ Harcourt, Bernard (16 September 2010). "Risk as a Proxy for Race". Criminology and Public Policy, Forthcoming. SSRN 1677654.
  80. ^ Skem J, Lowenkamp C, Risk, 레이스 및 재범:예측 편향 및 이질적인 영향 (2016년 6월 14일).SSRN: https://ssrn.com/abstract=2687339 또는 https://doi.org/10.2139/ssrn.2687339에서 이용 가능
  81. ^ a b Angwin, Julia; Grassegger, Hannes (28 June 2017). "Facebook's Secret Censorship Rules Protect White Men From Hate Speech But Not Black Children — ProPublica". ProPublica. Retrieved 20 November 2017.
  82. ^ Angwin, Julia; Varner, Madeleine; Tobin, Ariana (14 September 2017). "Facebook Enabled Advertisers to Reach 'Jew Haters' — ProPublica". ProPublica. Retrieved 20 November 2017.
  83. ^ Sap, Maarten. "The Risk of Racial Bias in Hate Speech Detection" (PDF). Archived (PDF) from the original on 2019-08-14.
  84. ^ Ghaffary, Shirin. "The algorithms that detect hate speech online are biased against black people". Vox. Retrieved 19 February 2020.
  85. ^ Furl, N (December 2002). "Face recognition algorithms and the other-race effect: computational mechanisms for a developmental contact hypothesis". Cognitive Science. 26 (6): 797–815. doi:10.1207/s15516709cog2606_4.
  86. ^ Raji, Inioluwa Deborah; Gebru, Timnit; Mitchell, Margaret; Buolamwini, Joy; Lee, Joonseok; Denton, Emily (7 February 2020). "Saving Face: Investigating the Ethical Concerns of Facial Recognition Auditing". Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society. Association for Computing Machinery: 145–151. arXiv:2001.00964. doi:10.1145/3375627.3375820. S2CID 209862419.
  87. ^ Buolamwini, Joy; Gebru, Timnit (2018). "Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification" (PDF). Proceedings of Machine Learning Research. 81: 1 – via MLR Press.
  88. ^ Ananny, Mike (2011-04-14). "The Curious Connection Between Apps for Gay Men and Sex Offenders". The Atlantic. Retrieved 18 November 2017.
  89. ^ Kafka, Peter. "Did Amazon Really Fail This Weekend? The Twittersphere Says 'Yes,' Online Retailer Says 'Glitch.'". AllThingsD. Retrieved 22 November 2017.
  90. ^ Kafka, Peter. "Amazon Apologizes for 'Ham-fisted Cataloging Error'". AllThingsD. AllThingsD. Retrieved 22 November 2017.
  91. ^ Matsakis, Louise (2019-02-22). "A 'Sexist' Search Bug Says More About Us Than Facebook". Wired. ISSN 1059-1028. Retrieved 2019-02-26.
  92. ^ "Some AI just shouldn't exist". 2019-04-19.
  93. ^ Samuel, Sigal (2019-04-19). "Some AI just shouldn't exist". Vox. Retrieved 2019-12-12.
  94. ^ Wang, Yilun; Kosinski, Michal (2017-02-15). "Deep neural networks are more accurate than humans at detecting sexual orientation from facial images". OSF.
  95. ^ Levin, Sam (2017-09-09). "LGBT groups denounce 'dangerous' AI that uses your face to guess sexuality". The Guardian. ISSN 0261-3077. Retrieved 2019-12-12.
  96. ^ Noble, Safiya Umoja (2018-02-20). Algorithms of Oppression: How Search Engines Reinforce Racism. New York. ISBN 9781479837243. OCLC 987591529.
  97. ^ Friedler, Sorelle A.; Scheidegger, Carlos; Venkatasubramanian, Suresh (2016). "On the (im)possibility of fairness". arXiv:1609.07236.
  98. ^ Hu, Lily; Chen, Yiling (2018). "Welfare and Distributional Impacts of Fair Classification". arXiv:1807.01134.
  99. ^ Dwork, Cynthia; Hardt, Moritz; Pitassi, Toniann; Reingold, Omer; Zemel, Rich (28 November 2011). "Fairness Through Awareness". arXiv:1104.3913.
  100. ^ a b c Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (2014). Gangadharan, Seeta Pena; Eubanks, Virginia; Barocas, Solon (eds.). "An Algorithm Audit" (PDF). Data and Discrimination: Collected Essays.
  101. ^ LaFrance, Adrienne (2015-09-18). "The Algorithms That Power the Web Are Only Getting More Mysterious". The Atlantic. Retrieved 19 November 2017.
  102. ^ Bruno Latour (1999). Pandora's Hope: Essays On the Reality of Science Studies. Cambridge, Massachusetts: Harvard University Press.
  103. ^ Kubitschko, Sebastian; Kaun, Anne (2016). Innovative Methods in Media and Communication Research. Springer. ISBN 978-3-319-40700-5. Retrieved 19 November 2017.
  104. ^ McGee, Matt (16 August 2013). "EdgeRank Is Dead: Facebook's News Feed Algorithm Now Has Close To 100K Weight Factors". Marketing Land. Retrieved 18 November 2017.
  105. ^ a b c Granka, Laura A. (27 September 2010). "The Politics of Search: A Decade Retrospective" (PDF). The Information Society. 26 (5): 364–374. doi:10.1080/01972243.2010.511560. S2CID 16306443. Retrieved 18 November 2017.
  106. ^ Szymielewicz, Katarzyna (2020-01-20). "Black-Boxed Politics". Medium. Retrieved 2020-02-11.
  107. ^ Veale, Michael; Binns, Reuben (2017). "Fairer machine learning in the real world: Mitigating discrimination without collecting sensitive data". Big Data & Society. 4 (2): 205395171774353. doi:10.1177/2053951717743530. SSRN 3060763.
  108. ^ Elliott, Marc N.; Morrison, Peter A.; Fremont, Allen; McCaffrey, Daniel F.; Pantoja, Philip; Lurie, Nicole (June 2009). "Using the Census Bureau's surname list to improve estimates of race/ethnicity and associated disparities". Health Services and Outcomes Research Methodology. 9 (2): 69–83. doi:10.1007/s10742-009-0047-1. ISSN 1387-3741. S2CID 43293144.
  109. ^ Chen, Jiahao; Kallus, Nathan; Mao, Xiaojie; Svacha, Geoffry; Udell, Madeleine (2019). "Fairness Under Unawareness: Assessing Disparity When Protected Class Is Unobserved". Proceedings of the Conference on Fairness, Accountability, and Transparency - FAT* '19. Atlanta, GA, USA: ACM Press: 339–348. arXiv:1811.11154. doi:10.1145/3287560.3287594. ISBN 9781450361255. S2CID 58006233.
  110. ^ Kilbertus, Niki; Gascon, Adria; Kusner, Matt; Veale, Michael; Gummadi, Krishna; Weller, Adrian (2018). "Blind Justice: Fairness with Encrypted Sensitive Attributes". International Conference on Machine Learning: 2630–2639. arXiv:1806.03281. Bibcode:2018arXiv180603281K.
  111. ^ Binns, Reuben; Veale, Michael; Kleek, Max Van; Shadbolt, Nigel (13 September 2017). Like Trainer, Like Bot? Inheritance of Bias in Algorithmic Content Moderation. Social Informatics. Lecture Notes in Computer Science. Vol. 10540. pp. 405–415. arXiv:1707.01477. doi:10.1007/978-3-319-67256-4_32. ISBN 978-3-319-67255-7. S2CID 2814848.
  112. ^ Claburn, Thomas. "EU Data Protection Law May End The Unknowable Algorithm – InformationWeek". InformationWeek. Retrieved 25 November 2017.
  113. ^ a b Jobin, Anna; Ienca, Marcello; Vayena, Effy (2 September 2019). "The global landscape of AI ethics guidelines". Nature Machine Intelligence. 1 (9): 389–399. arXiv:1906.11668. doi:10.1038/s42256-019-0088-2. S2CID 201827642.
  114. ^ https://research.google.com/bigpicture/attacking-discrimination-in-ml/ 지능적인 기계 학습으로 차별 공격
  115. ^ Hardt, Moritz; Price, Eric; Srebro, Nathan (2016). "Equality of Opportunity in Supervised Learning". arXiv:1610.02413 [cs.LG].
  116. ^ https://venturebeat.com/2018/05/25/microsoft-is-developing-a-tool-to-help-engineers-catch-bias-in-algorithms/ 마이크로소프트는 엔지니어들이 알고리즘의 편견을 잡을 수 있도록 돕는 도구를 개발하고 있다.
  117. ^ https://qz.com/1268520/facebook-says-it-has-a-tool-to-detect-bias-in-its-artificial-intelligence/ 페이스북은 인공지능의 편견을 감지할 수 있는 도구가 있다고 말한다.
  118. ^ 오픈 소스 Pymetrics 감사-ai
  119. ^ https://venturebeat-com.cdn.ampproject.org/c/s/venturebeat.com/2018/05/31/pymetrics-open-sources-audit-ai-an-algorithm-bias-detection-tool/amp/ Pymetrics 개방형 분석 Audit AI, 알고리즘 바이어스 검출 툴
  120. ^ https://github.com/dssg/aequitas 오픈 소스 Aequitas:편견 및 공정성 감사 툴킷
  121. ^ https://dsapp.uchicago.edu/aequitas/ 시카고 대학교의 개방형 감사 AI, Aequitas
  122. ^ https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/ AI 모델의 편향 완화
  123. ^ S. S. Sen, D.다스굽타와 K.D.Gupta, "알고리즘 편향에 관한 실증적 연구", 2020 IEEE 44회 컴퓨터, 소프트웨어 및 애플리케이션 컨퍼런스(COMSAC), 마드리드, 2020, 페이지 1189-1194, doi:10.1109/COMP48688.20.00-95.
  124. ^ Zou, James; Schiebinger, Londa (July 2018). "AI can be sexist and racist — it's time to make it fair". Nature. 559 (7714): 324–326. Bibcode:2018Natur.559..324Z. doi:10.1038/d41586-018-05707-8. PMID 30018439.
  125. ^ Jia, Sen; Welfare, Thomas; Cristianini, Nello (2018). Right for the right reason: Training agnostic networks. International Symposium on Intelligent Data Analysis. Springer.
  126. ^ Sutton, Adam; Welfare, Thomas; Cristianini, Nello (2018). Biased embeddings from wild data: Measuring, understanding and removing. International Symposium on Intelligent Data Analysis. Springer.
  127. ^ Koene, Ansgar (June 2017). "Algorithmic Bias: Addressing Growing Concerns [Leading Edge]" (PDF). IEEE Technology and Society Magazine. 36 (2): 31–32. doi:10.1109/mts.2017.2697080. ISSN 0278-0097.
  128. ^ "P7003 - Algorithmic Bias Considerations". standards.ieee.org. Retrieved 2018-12-03.
  129. ^ The Internet Society (18 April 2017). "Artificial Intelligence and Machine Learning: Policy Paper". Internet Society. Retrieved 11 February 2020.
  130. ^ a b "White Paper: How to Prevent Discriminatory Outcomes in Machine Learning". World Economic Forum. 12 March 2018. Retrieved 11 February 2020.
  131. ^ "Explainable Artificial Intelligence". www.darpa.mil. Retrieved 2020-02-11.
  132. ^ PricewaterhouseCoopers. "The responsible AI framework". PwC. Retrieved 2020-02-11.
  133. ^ Heald, David (2006-09-07). Transparency: The Key to Better Governance?. British Academy. doi:10.5871/bacad/9780197263839.003.0002. ISBN 978-0-19-726383-9.
  134. ^ Kemper, Jakko; Kolkman, Daan (2019-12-06). "Transparent to whom? No algorithmic accountability without a critical audience". Information, Communication & Society. 22 (14): 2081–2096. doi:10.1080/1369118X.2018.1477967. ISSN 1369-118X.
  135. ^ "The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems". Human Rights Watch. 2018-07-03. Retrieved 2020-02-11.
  136. ^ The Toronto Declaration: Protecting the Right to Equality and Non-Discrimination in Machine Learning Systems (PDF). Human Rights Watch. 2018. p. 15.
  137. ^ Floridi, Luciano; Cowls, Josh; Beltrametti, Monica; Chatila, Raja; Chazerand, Patrice; Dignum, Virginia; Luetge, Christoph; Madelin, Robert; Pagallo, Ugo; Rossi, Francesca; Schafer, Burkhard (2018-12-01). "AI4People—An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations". Minds and Machines. 28 (4): 703. doi:10.1007/s11023-018-9482-5. ISSN 1572-8641. PMC 6404626. PMID 30930541.
  138. ^ Crawford, Kate (2016-06-25). "Opinion Artificial Intelligence's White Guy Problem". The New York Times. ISSN 0362-4331. Retrieved 2020-02-11.
  139. ^ "AI Is the Future—But Where Are the Women?". Wired. ISSN 1059-1028. Retrieved 2020-02-11.
  140. ^ Snow, Jackie. ""We're in a diversity crisis": cofounder of Black in AI on what's poisoning algorithms in our lives". MIT Technology Review. Retrieved 2020-02-11.
  141. ^ Hao, Karen (2021-06-14). "Inside the fight to reclaim AI from Big Tech's control". MIT Technology Review. Retrieved 2021-06-21.
  142. ^ Ciston, Sarah (2019-12-29). "Intersectional AI Is Essential". Journal of Science and Technology of the Arts. 11 (2): 3–8. doi:10.7559/citarj.v11i2.665. ISSN 2183-0088.
  143. ^ D'Ignazio, Catherine; Klein, Lauren F. (2020). Data Feminism. MIT Press. ISBN 978-0262044004.
  144. ^ Cave, Stephen; Dihal, Kanta (2020-08-06). "The Whiteness of AI". Philosophy & Technology. 33 (4): 685–703. doi:10.1007/s13347-020-00415-6. ISSN 2210-5441.
  145. ^ Bygrave, Lee A (2001). "Automated Profiling". Computer Law & Security Review. 17 (1): 17–24. doi:10.1016/s0267-3649(01)00104-2.
  146. ^ a b Veale, Michael; Edwards, Lilian (2018). "Clarity, Surprises, and Further Questions in the Article 29 Working Party Draft Guidance on Automated Decision-Making and Profiling" (PDF). Computer Law & Security Review. doi:10.2139/ssrn.3071679. SSRN 3071679.
  147. ^ Wachter, Sandra; Mittelstadt, Brent; Floridi, Luciano (1 May 2017). "Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation". International Data Privacy Law. 7 (2): 76–99. doi:10.1093/idpl/ipx005. ISSN 2044-3994.
  148. ^ Edwards, Lilian; Veale, Michael (23 May 2017). "Slave to the Algorithm? Why a Right to an Explanation Is Probably Not the Remedy You Are Looking For". Duke Law & Technology Review. 16: 18–84. doi:10.2139/ssrn.2972855. SSRN 2972855.
  149. ^ a b Singer, Natasha (2 February 2013). "Consumer Data Protection Laws, an Ocean Apart". The New York Times. Retrieved 26 November 2017.
  150. ^ Obama, Barack (12 October 2016). "The Administration's Report on the Future of Artificial Intelligence". whitehouse.gov. National Archives. Retrieved 26 November 2017.
  151. ^ and Technology Council, National Science (2016). National Artificial Intelligence Research and Development Strategic Plan (PDF). US Government. Retrieved 26 November 2017.
  152. ^ Kirchner, Lauren (18 December 2017). "New York City Moves to Create Accountability for Algorithms — ProPublica". ProPublica. ProPublica. Retrieved 28 July 2018.
  153. ^ "The New York City Council - File #: Int 1696-2017". legistar.council.nyc.gov. New York City Council. Retrieved 28 July 2018.
  154. ^ Powles, Julia. "New York City's Bold, Flawed Attempt to Make Algorithms Accountable". The New Yorker. Retrieved 28 July 2018.
  155. ^ "India Weighs Comprehensive Data Privacy Bill, Similar to EU's GDPR". Insurance Journal. 2018-07-31. Retrieved 2019-02-26.
  156. ^ https://meity.gov.in/writereaddata/files/Personal_Data_Protection_Bill,2018.pdf