추천자제

Recommender system
추천인 시스템
컨셉트
방법 및 과제
구현
조사.

추천 시스템(recommendor system) 또는 추천 시스템(recommendor system)은 특정 사용자와 가장 관련성이 높은 항목에 대한 제안을 제공하는 정보 필터링 시스템의 하위 클래스입니다.[1][2] 추천자 시스템은 개인이 서비스가 제공할 수 있는 잠재적으로 압도적인 수의 항목 중에서 항목을 선택해야 할 때 특히 유용합니다.[1][3]

일반적으로 제안은 어떤 제품을 구매할지, 어떤 음악을 들을지, 또는 어떤 온라인 뉴스를 읽을지와 같은 다양한 의사 결정 과정을 말합니다.[1] 추천인 시스템은 비디오 및 음악 서비스를 위한 플레이리스트 생성기, 온라인 스토어를 위한 제품 추천인 또는 소셜 미디어 플랫폼 및 오픈 웹 콘텐츠 추천인의 형태로 일반적으로 인식되는 예와 함께 다양한 영역에서 사용됩니다.[4][5] 이러한 시스템은 음악과 같은 단일 유형의 입력 또는 뉴스, 책 및 검색 쿼리와 같은 플랫폼 내 및 플랫폼 간의 여러 입력을 사용하여 작동할 수 있습니다. 레스토랑 및 온라인 데이트와 같은 특정 주제에 대한 인기 있는 추천 시스템도 있습니다. 연구 기사 및 전문가,[6] 협력자 [7]및 금융 서비스를 탐색하기 위한 추천자 시스템도 개발되었습니다.[8]

개요

추천자 시스템은 일반적으로 협업 필터링 및 내용 기반 필터링(개인 정보 기반 접근 방식이라고도 함)과 지식 기반 시스템과 같은 다른 시스템을 사용합니다. 공동 필터링 접근 방식은 사용자의 과거 행동(이전에 구매했거나 선택한 항목 및/또는 해당 항목에 부여된 수치 등급)뿐만 아니라 다른 사용자가 내린 유사한 의사 결정을 통해 모델을 구축합니다. 그런 다음 이 모델을 사용하여 사용자가 관심을 가질 수 있는 항목(또는 항목의 등급)을 예측합니다.[9]콘텐츠 기반 필터링 접근법은 유사한 속성을 가진 추가 아이템을 추천하기 위해 아이템의 일련의 이산적인, 사전-태그화된 특성을 활용합니다.[10]

초기 음악 추천 시스템인 Last.fm 과 Pandora Radio를 비교함으로써 협업 필터링과 콘텐츠 기반 필터링의 차이점을 입증할 수 있습니다.

  • Last.fm 은 사용자가 정기적으로 어떤 밴드와 개별 트랙을 들었는지 관찰하고 다른 사용자의 청취 행동과 비교함으로써 추천 곡의 "스테이션"을 만듭니다. Last.fm 은 사용자의 라이브러리에는 나타나지 않지만 관심사가 비슷한 다른 사용자가 자주 재생하는 트랙을 재생합니다. 이 접근 방식은 사용자의 행동을 활용하기 때문에 협업 필터링 기술의 한 예입니다.[11]
  • 판도라는 비슷한 속성을 가진 음악을 재생하는 "스테이션"을 시드하기 위해 노래나 아티스트의 속성(Music Genome Project에서 제공하는 400개 속성의 하위 집합)을 사용합니다. 사용자 피드백은 사용자가 특정 노래를 "좋아"할 때 특정 속성을 강조하고 사용자가 노래를 "좋아"할 때 다른 속성을 강조하는 스테이션의 결과를 개선하는 데 사용됩니다. 이것은 콘텐츠 기반 접근 방식의 한 예입니다.

각 유형의 시스템에는 장단점이 있습니다. 위 예에서 Last.fm 은 정확한 추천을 하기 위해 사용자에 대한 많은 정보를 요구합니다. 이는 콜드 스타트 문제의 한 예이며, 협업 필터링 시스템에서 일반적입니다.[12][13][14][15][16][17] Pandora는 시작하는 데 매우 적은 정보가 필요한 반면, 범위는 훨씬 더 제한적입니다(예를 들어, 원래 시드와 유사한 추천만 할 수 있습니다).

추천인 시스템은 사용자가 다른 방법으로는 찾을 수 없었던 항목을 찾을 수 있도록 도와주기 때문에 검색 알고리즘의 유용한 대안입니다. 참고로 추천자 시스템은 종종 비전통적인 데이터를 인덱싱하는 검색 엔진을 사용하여 구현됩니다.

추천인 시스템은 여러 부여된 특허의 초점이었습니다.[18][19][20][21][22]

역사

일레인 리치(Elaine Rich)는 1979년 그룬디(Grundy)라는 최초의 추천자 시스템을 만들었습니다.[23][24] 그녀는 사용자가 좋아할 만한 책을 추천하는 방법을 찾았습니다. 그녀의 아이디어는 사용자들에게 특정한 질문을 하고 그들의 대답에 따라 선호하는 클래스, 즉 "스테레오타입"으로 분류하는 시스템을 만드는 것이었습니다. 사용자의 고정관념에 따라 좋아하는 책을 추천받을 수 있습니다.

또 다른 초기 추천자 시스템인 "디지털 책장"은 1990년 콜롬비아 대학교의 Jussi Karlgren이 기술 보고서를 통해 설명되었으며,[25] 1994년 이후부터 Jussi Karlgren이 기술 보고서와 출판물에 대규모로 구현하여 작업했으며,[26][27] MIT의 Pattie Maes,[28] Bellcore의 Will Hill, 그리고 MIT의 Pattie Maes가 이끄는 연구 그룹이 작업했습니다.[29] 그리고[30][3] 2010년 ACM 소프트웨어 시스템 상을 수상한 MIT의 Paul Resnick도 있습니다.

Montaner는 지능형 에이전트 관점에서 추천자 시스템에 대한 최초의 개요를 제공했습니다.[31] Adomavius는 추천자 시스템에 대한 새로운 대체 개요를 제공했습니다.[32] Herlocker는 추천자 시스템에 대한 평가 기법에 대한 추가 개요를 [33]제공하며 Beel 등은 오프라인 평가의 문제점에 대해 논의했습니다.[34] Beel et al. 또한 사용 가능한 연구 논문 추천 시스템 및 기존 과제에 대한 문헌 조사를 제공했습니다.[35][36]

접근방법

협업 필터링

메인 기사: 공동 필터링
등급 시스템을 기반으로 한 공동 필터링 예제

널리 사용되는 추천자 시스템 설계에 대한 한 가지 접근 방식은 협업 필터링입니다.[37] 협업 필터링은 과거에 동의했던 사람들이 미래에 동의할 것이고, 과거에 좋아했던 것과 비슷한 종류의 아이템을 좋아할 것이라는 가정에 기반을 두고 있습니다. 시스템은 다른 사용자 또는 항목에 대한 등급 프로파일에 대한 정보만을 사용하여 권장 사항을 생성합니다. 현재 사용자 또는 항목과 유사한 등급 이력을 가진 피어 사용자/항목을 찾아 이 인접 영역을 사용하여 추천을 생성합니다. 협업 필터링 방식은 메모리 기반과 모델 기반으로 분류됩니다. 메모리 기반 접근법의 잘 알려진 예로는 사용자 기반 알고리즘이 [38]있고, 모델 기반 접근법의 경우에는 행렬 인수분해(권장 시스템)가 있습니다.[39]

협업 필터링 접근 방식의 주요 장점은 기계 분석 가능한 콘텐츠에 의존하지 않기 때문에 항목 자체에 대한 "이해"가 필요하지 않고 영화와 같은 복잡한 항목을 정확하게 추천할 수 있다는 것입니다. 추천인 시스템에서 사용자 유사도 또는 항목 유사도를 측정하는 데 많은 알고리즘이 사용되었습니다. 예를 들어, 알렌에 의해 처음 구현된 k-근접 이웃(k-NN) 접근법과[40] 피어슨 상관법이 있습니다.[41]

사용자의 행동으로부터 모델을 구축할 때, 데이터 수집의 명시적 형태와 암묵적 형태를 구분하는 경우가 많습니다.

명시적인 데이터 수집의 예로는 다음이 있습니다.

  • 사용자에게 항목의 등급을 슬라이딩 척도로 매길 것을 요청합니다.
  • 사용자에게 검색을 요청합니다.
  • 사용자에게 즐겨찾기 항목에서 덜 즐겨찾기 항목으로 정렬하도록 요청합니다.
  • 사용자에게 두 가지 항목을 제시하고 그 중에서 더 나은 것을 선택하도록 요청하는 것.
  • 사용자에게 마음에 드는 항목 목록을 만들어 달라고 요청하는 것(로키오 분류나 다른 유사한 기법 참조).

암시적 데이터 수집의 예로는 다음이 있습니다.

  • 온라인 스토어에서 사용자가 보는 항목을 관찰합니다.
  • 항목/[42]사용자 시청시간 분석
  • 사용자가 온라인으로 구매한 항목에 대한 기록을 유지합니다.
  • 사용자가 컴퓨터에서 듣거나 시청한 항목 목록을 가져옵니다.
  • 사용자의 소셜 네트워크를 분석하여 유사한 호불호를 발견합니다.

공동 필터링 접근 방식은 종종 콜드 스타트, 확장성 및 희소성의 세 가지 문제를 겪습니다.[43]

  • 콜드 스타트: 신규 사용자나 아이템의 경우 정확한 추천을 하기에는 데이터가 부족합니다. 참고: 이 문제에 대해 일반적으로 구현되는 솔루션 중 하나는 다중 무장 밴디트 알고리즘입니다.[44][12][13][15][17]
  • 확장성: 이러한 시스템이 권장되는 많은 환경에는 수백만 명의 사용자와 제품이 있습니다. 따라서 권장 사항을 계산하기 위해 많은 양의 계산 능력이 필요한 경우가 많습니다.
  • 희소성: 주요 전자 상거래 사이트에서 판매되는 품목의 수는 매우 많습니다. 가장 활성화된 사용자는 전체 데이터베이스의 작은 부분 집합만 등급을 매깁니다. 따라서 가장 인기 있는 품목도 등급이 매우 적습니다.

협업 필터링의 가장 유명한 예 중 하나는 Amazon.com 의 추천자 시스템에 의해 대중화된 알고리즘인 항목 간 협업 필터링(x를 구매하는 사람들도 y를 구매한다)입니다.

많은 소셜 네트워크는 원래 사용자와 친구 사이의 연결 네트워크를 조사하여 새로운 친구, 그룹 및 기타 소셜 연결을 추천하기 위해 공동 필터링을 사용했습니다.[1] 협업 필터링은 여전히 하이브리드 시스템의 일부로 사용됩니다.

내용기반 필터링

추천자 시스템을 설계할 때 일반적으로 사용되는 또 다른 접근 방식은 콘텐츠 기반 필터링입니다. 내용 기반 필터링 방법은 항목에 대한 설명과 사용자 환경설정 프로파일을 기반으로 합니다.[46][47] 이러한 방법은 사용자가 아닌 항목(이름, 위치, 설명 등)에 알려진 데이터가 있는 경우에 가장 적합합니다. 콘텐츠 기반 추천인은 추천을 사용자별 분류 문제로 취급하고, 아이템의 특징을 기반으로 사용자의 호불호에 대한 분류기를 학습합니다.

이 시스템에서는 키워드를 사용하여 항목을 설명하고 사용자 프로필을 구축하여 사용자가 좋아하는 항목의 유형을 나타냅니다. 즉, 이러한 알고리즘은 사용자가 과거에 좋아했거나 현재 검사 중인 것과 유사한 항목을 추천하려고 합니다. 이러한 임시 프로파일을 생성하기 위해 사용자 로그인 메커니즘에 의존하지 않습니다. 특히 다양한 후보 아이템들을 사용자가 기존에 평가한 아이템들과 비교하여 가장 잘 어울리는 아이템들을 추천해 드립니다. 이 접근 방식은 정보 검색 및 정보 필터링 연구에 뿌리를 두고 있습니다.

사용자 프로파일을 작성하기 위해 시스템은 주로 다음과 같은 두 가지 유형의 정보에 초점을 맞춥니다.

  1. 사용자가 선호하는 모델입니다.
  2. 사용자가 추천자 시스템과 상호 작용한 기록입니다.

기본적으로 이러한 방법은 시스템 내의 항목을 특성화하는 항목 프로파일(즉, 이산 속성 및 기능 집합)을 사용합니다. 시스템에 있는 항목의 특징을 추상화하기 위해 항목 표시 알고리즘이 적용됩니다. 널리 사용되는 알고리즘은 tf-idf 표현(벡터 공간 표현이라고도 함)입니다.[48] 시스템은 항목 특징의 가중 벡터를 기반으로 사용자의 콘텐츠 기반 프로파일을 만듭니다. 가중치는 사용자에게 각 기능의 중요성을 나타내며 다양한 기술을 사용하여 개별적으로 평가된 콘텐츠 벡터에서 계산할 수 있습니다. 단순한 접근법은 등급화된 아이템 벡터의 평균값을 사용하고, 다른 정교한 방법들은 사용자가 아이템을 좋아할 확률을 추정하기 위해 베이지안 분류기, 클러스터 분석, 의사결정 트리, 인공신경망 등의 기계 학습 기법을 사용합니다.[49]

콘텐츠 기반 필터링의 핵심 문제는 시스템이 하나의 콘텐츠 소스에 대한 사용자의 동작으로부터 사용자 기본 설정을 학습하고 다른 콘텐츠 유형에 걸쳐 사용할 수 있는지 여부입니다. 시스템이 사용자가 이미 사용하고 있는 것과 동일한 유형의 콘텐츠를 추천하는 것으로 제한되는 경우, 추천 시스템으로부터의 값은 다른 서비스로부터의 다른 유형의 콘텐츠를 추천할 수 있는 경우보다 현저히 작습니다. 예를 들어, 뉴스 브라우징을 기반으로 뉴스 기사를 추천하는 것은 유용합니다. 그래도 뉴스 브라우징을 기반으로 다른 서비스의 음악, 비디오, 제품, 토론 등을 추천할 수 있을 때 훨씬 더 유용할 것입니다. 이를 극복하기 위해 현재 대부분의 콘텐츠 기반 추천 시스템은 어떤 형태의 하이브리드 시스템을 사용하고 있습니다.

콘텐츠 기반 추천인 시스템에는 의견 기반 추천인 시스템도 포함될 수 있습니다. 사용자가 항목에 대한 텍스트 리뷰나 피드백을 남길 수 있는 경우도 있습니다. 이러한 사용자 생성 텍스트는 항목의 특징/측면 및 항목에 대한 사용자의 평가/감정 모두의 잠재적으로 풍부한 리소스이기 때문에 추천자 시스템에 대한 암묵적인 데이터입니다. 사용자가 생성한 리뷰에서 추출된 기능은 항목의 개선된 메타 데이터이며, 메타 데이터와 같은 항목의 측면도 반영하기 때문에 추출된 기능은 사용자의 관심이 높습니다. 리뷰에서 추출된 감정은 해당 기능에 대한 사용자의 평가 점수로 볼 수 있습니다. 의견 기반 추천자 시스템의 대중적인 접근 방식은 텍스트 마이닝, 정보 검색, 감정 분석(멀티모달 감정 분석 참조) 및 딥 러닝을 포함한 다양한 기술을 활용합니다.[50]

하이브리드 권장 사항 접근 방식

현재 대부분의 권장 시스템은 협업 필터링, 내용 기반 필터링 및 기타 접근 방식을 결합한 하이브리드 접근 방식을 사용합니다. 동일한 유형의 여러 가지 다른 기술을 혼합할 수 없는 이유는 없습니다. 하이브리드 접근 방식은 콘텐츠 기반 및 협업 기반 예측을 개별적으로 수행한 후 이를 결합하는 방식, 협업 기반 접근 방식에 콘텐츠 기반 기능을 추가하는 방식, 또는 접근 방식을 하나의 모델로 통합하는 방식 등 여러 가지 방식으로 구현할 수 있습니다(추천자 시스템에 대한 전체 검토는 참조[32]). 하이브리드의 성능을 순수한 협업 및 콘텐츠 기반 방법과 경험적으로 비교하고 하이브리드 방법이 순수한 접근 방식보다 더 정확한 권장 사항을 제공할 수 있음을 입증한 여러 연구가 있습니다. 또한 이러한 방법을 사용하여 콜드 스타트 및 희소성 문제와 같은 권장 시스템의 일반적인 문제와 지식 기반 접근 방식의 지식 엔지니어링 병목 현상을 극복할 수 있습니다.[51]

넷플릭스는 하이브리드 추천 시스템을 사용하는 좋은 예입니다.[52] 웹사이트는 유사한 사용자의 시청 및 검색 습관(즉, 공동 필터링)을 비교하고 사용자가 높은 평가를 받은 영화(콘텐츠 기반 필터링)와 특징을 공유하는 영화를 제공하여 권장합니다.

일부 혼성화 기술은 다음과 같습니다.

  • 가중치: 다양한 추천 구성 요소의 점수를 수치로 결합합니다.
  • 전환: 추천 구성 요소 중에서 선택하고 선택한 구성 요소를 적용합니다.
  • 혼합: 다른 추천인들의 추천을 함께 제시하여 추천을 해줍니다.
  • 피쳐 조합: 서로 다른 지식 소스에서 파생된 기능이 함께 결합되어 단일 추천 알고리즘에 제공됩니다.[53]
  • 기능 증강: 특징 또는 특징 집합을 계산하는 것은 다음 기술에 대한 입력의 일부입니다.[53]
  • 캐스케이드: 추천자는 엄격한 우선순위를 부여받으며, 우선순위가 낮은 사람들이 높은 사람들의 점수에서 동점을 깨게 됩니다.
  • 메타 레벨: 하나의 추천 기법이 적용되어 어떤 종류의 모델을 생성하며, 이는 다음 기법에 의해 사용되는 입력입니다.[54]

기술

세션 기반 추천 시스템

이러한[55] 추천 시스템은 세션 내 사용자의 상호 작용을 사용하여 추천을 생성합니다. 세션 기반 추천 시스템은 유튜브와[56] 아마존에서 사용됩니다.[57] 이는 사용자의 기록(예: 과거 클릭, 구매)을 사용할 수 없거나 현재 사용자 세션에서 관련이 없는 경우에 특히 유용합니다. 세션 기반 권장 사항이 특히 관련된 도메인에는 비디오, 전자 상거래, 여행, 음악 등이 포함됩니다. 세션 기반 추천자 시스템의 대부분의 인스턴스는 사용자의 추가 세부 정보(역사적, 인구 통계적)를 요구하지 않고 세션 내에서 최근 상호 작용의 시퀀스에 의존합니다. 세션 기반 추천 기법은 주로 순환 신경망(Recurrent Neural Networks),[55][58] 트랜스포머([59]Transformer) 및 기타 딥 러닝 기반 접근법과[60][61] 같은 생성 순차 모델에 기반합니다.

추천자 시스템 강화 학습

추천 문제는 사용자가 에이전트, 추천 시스템이 사용자의 클릭 또는 참여와 같은 보상을 받기 위해 행동하는 환경인 강화 학습 문제의 특별한 사례로 볼 수 있습니다.[56][62][63] 추천자 시스템 영역에서 특히 사용되는 강화 학습의 한 측면은 추천 에이전트에게 보상을 제공함으로써 모델이나 정책을 학습할 수 있다는 사실입니다. 이는 덜 유연한 지도 학습 접근 방식에 의존하는 기존의 학습 기술과 대조적이며, 강화 학습 권장 기술을 통해 참여도 및 사용자 관심 지표에 직접 최적화할 수 있는 모델을 잠재적으로 훈련할 수 있습니다.[64]

다중 기준 추천 시스템

MCRS(Multi-Criteria Recommendor System)는 여러 기준에 대한 선호도 정보를 통합하는 추천자 시스템으로 정의할 수 있습니다. 이 시스템은 항목 i에 대한 사용자 u의 전체 선호도인 단일 기준 값에 기반한 추천 기법을 개발하는 대신, 이러한 전체 선호도 값에 영향을 미치는 여러 기준에 대한 선호도 정보를 활용하여 u의 미개척 항목에 대한 등급을 예측하려고 합니다. 여러 연구자들은 MCRS를 다중 기준 의사 결정(multi-criteria decision making, MCDM) 문제로 접근하고, MCRS 시스템을 구현하기 위해 MCDM 방법과 기법을 적용합니다.[65] 확장 소개는 이 장을[66] 참조하십시오.

위험을 인식하는 권장 시스템

추천 시스템에 대한 기존의 대부분의 접근 방식은 상황 정보를 사용하여 사용자에게 가장 관련성이 높은 콘텐츠를 추천하는 데 초점을 맞추고 있지만, 원하지 않는 알림으로 사용자를 방해할 위험을 고려하지 않습니다. 전문가 회의 중, 이른 아침 또는 늦은 밤 등 특정 상황에서 권장 사항을 푸시하여 사용자를 화나게 할 위험을 고려해야 합니다. 따라서 추천인 시스템의 성능은 추천 프로세스에 위험을 포함시킨 정도에 따라 어느 정도 좌우됩니다. 이 문제를 관리하는 한 가지 옵션은 상황 인식 권장 사항을 밴디트 문제로 모델링하는 시스템인 DRARS입니다. 이 시스템은 콘텐츠 기반 기법과 상황에 맞는 밴디트 알고리즘을 결합합니다.[67]

모바일 추천 시스템

자세한 정보: 위치기반추천

모바일 추천 시스템은 인터넷에 접속하는 스마트폰을 사용하여 개인화된 상황에 민감한 추천을 제공합니다. 모바일 데이터는 추천 시스템이 종종 처리해야 하는 데이터보다 복잡하기 때문에 특히 어려운 연구 분야입니다. 이질적이고 잡음이 많으며 공간적, 시간적 자기 상관이 필요하며 검증 및 일반성 문제가 있습니다.[68]

모바일 추천자 시스템과 예측 결과의 정확성에 영향을 미칠 수 있는 세 가지 요소가 있습니다. 상황, 추천 방법 및 개인 정보 보호입니다.[69] 또한 모바일 추천 시스템은 이식 문제를 겪고 있습니다. 추천은 모든 지역에 적용되지 않을 수 있습니다(예를 들어, 모든 재료를 사용할 수 없는 지역에서 레시피를 추천하는 것은 현명하지 못한 일입니다).

모바일 추천 시스템의 한 예는 우버(Uber)와 리프트(Lyft)와 같은 회사가 도시의 택시 운전자를 위한 운전 경로를 생성하기 위해 취한 접근 방식입니다.[68] 이 시스템은 택시기사들이 근무 중 타는 경로의 GPS 데이터를 이용해 위치(위도·경도), 타임스탬프, 운행상태(승객 유무) 등을 알려줍니다. 이 데이터를 사용하여 경로를 따라 픽업 지점 목록을 추천하고, 점유 시간과 수익을 최적화하는 것을 목표로 합니다.

넷플릭스 상

주 기사: 넷플릭스상

추천자 시스템 연구에 활력을 불어넣은 이벤트 중 하나가 넷플릭스 상이었습니다. 2006년부터 2009년까지 넷플릭스는 공모전을 후원했는데, 대상 상금 1,000,000 달러를 팀에 제공했는데, 이 상금은 1억 개가 넘는 영화 평점 데이터 세트와 회사의 기존 추천자 시스템이 제공한 추천 데이터보다 10% 더 정확한 추천 데이터 세트를 가져올 수 있습니다. 이 대회는 새롭고 더 정확한 알고리즘을 찾는 데 활력을 불어넣었습니다. 2009년 9월 21일, 타이브레이킹 룰을 사용한 벨코르의 프래그머티컬 카오스 팀에게 1,000,000 달러의 상금이 주어졌습니다.[70]

2007년에 가장 정확한 알고리즘은 107개의 다양한 알고리즘 접근 방식의 앙상블 방법을 사용하여 단일 예측으로 통합되었습니다. 수상자들이 언급한 바와 같이, Bell et al.:[71]

여러 예측 변수를 혼합하면 예측 정확도가 크게 향상됩니다. 우리의 경험은 대부분의 노력이 단일 기술을 개선하는 것이 아니라 실질적으로 다른 접근 방식을 도출하는 데 집중되어야 한다는 것입니다. 결과적으로, 당사의 솔루션은 다양한 방법의 앙상블입니다.

넷플릭스 프로젝트로 인해 웹에 많은 혜택이 발생했습니다. 일부 팀은 자사의 기술을 가지고 다른 시장에 적용했습니다. 2위를 차지한 팀의 몇몇 멤버들은 RecSys 커뮤니티에서 활동하고 있는 추천 엔진인 Gravity R&D를 설립했습니다.[70][72] 4-Tell, Inc.는 넷플릭스 프로젝트에서 파생된 전자상거래 웹사이트용 솔루션을 개발했습니다.

넷플릭스가 넷플릭스 경품 경쟁을 위해 제공한 데이터 세트를 둘러싸고 여러 가지 개인 정보 보호 문제가 발생했습니다. 비록 데이터 세트가 고객의 사생활을 보호하기 위해 익명으로 처리되었지만, 2007년에 텍사스 대학교의 두 연구원은 인터넷 영화 데이터베이스의 영화 등급과 데이터 세트를 일치시킴으로써 개별 사용자를 식별할 수 있었습니다.[73] 그 결과 2009년 12월, 익명의 넷플릭스 사용자가 넷플릭스가 데이터 세트를 공개함으로써 미국 공정거래법과 비디오 프라이버시 보호법을 위반했다고 주장하며 도브 넷플릭스를 고소했습니다.[74] 이는 연방거래위원회의 우려와 더불어 2010년 넷플릭스 2차 경품 경쟁이 취소되는 결과를 낳았습니다.[75]

평가하기

성과측정

평가는 추천 알고리즘의 효과를 평가하는 데 중요합니다. 추천자 시스템의 효과를 측정하고 다양한 접근 방식을 비교하기 위해 사용자 연구, 온라인 평가(A/B 테스트) 및 오프라인 평가의 세 가지 유형의 평가를 사용할 수 있습니다.[34]

일반적으로 사용되는 지표는 평균 제곱 오차와 제곱 평균 제곱 오차이며, 후자는 넷플릭스 상에서 사용되었습니다. 정밀도 및 리콜 또는 DCG와 같은 정보 검색 메트릭은 권장 방법의 품질을 평가하는 데 유용합니다. 다양성, 참신성, 커버리지도 평가에서 중요한 측면으로 고려됩니다.[76] 하지만 고전적인 평가 방법 중에는 비판의 목소리가 높습니다.[77]

추천에 대한 실제 사용자의 반응을 정확하게 예측하는 것은 불가능하기 때문에 고정된 테스트 데이터 세트에서 추천 알고리즘의 성능을 평가하는 것은 항상 매우 어려울 것입니다. 따라서 오프라인 데이터에서 알고리즘의 효과를 계산하는 메트릭은 정확하지 않습니다.

사용자 연구는 소규모입니다. 몇 십, 수백 명의 사용자들이 서로 다른 추천 접근 방식으로 만든 추천을 제시받고, 사용자들은 어떤 추천이 최선인지 판단합니다.

A/B 테스트에서 추천은 일반적으로 실제 제품의 수천 명의 사용자에게 표시되며 추천자 시스템은 추천을 생성하기 위해 최소 두 가지 다른 추천 접근 방식을 무작위로 선택합니다. 효과는 전환율 또는 클릭률과 같은 암묵적인 효과 측정으로 측정됩니다.

오프라인 평가는 사용자가 이전에 영화를 평가한 방법에 대한 정보를 포함하는 데이터 세트와 같은 과거 데이터를 기반으로 합니다.[78]

그런 다음 추천 접근 방식의 효과는 추천 접근 방식이 데이터 세트에서 사용자의 등급을 얼마나 잘 예측할 수 있는지에 따라 측정됩니다. 등급은 사용자가 영화를 좋아했는지 여부를 명시적으로 표현하는 것이지만, 이러한 정보는 모든 도메인에서 사용할 수 있는 것은 아닙니다. 예를 들어, 인용 추천자 시스템에서 사용자는 일반적으로 인용 또는 추천 기사를 평가하지 않습니다. 이러한 경우 오프라인 평가는 효과에 대한 암묵적인 측정을 사용할 수 있습니다. 예를 들어, 연구 기사의 참고 목록에 포함된 기사를 최대한 많이 추천할 수 있는 추천자 시스템이 효과적이라고 가정할 수 있습니다. 그러나 이러한 종류의 오프라인 평가는 많은 연구자들에 의해 비판적으로 간주됩니다.[79][80][81][34] 예를 들어, 오프라인 평가의 결과는 사용자 연구나 A/B 테스트의 결과와 상관관계가 낮은 것으로 나타났습니다.[81][82] 오프라인 평가에 인기 있는 데이터 세트에는 중복 데이터가 포함되어 있어 알고리즘 평가에서 잘못된 결론을 도출하는 것으로 나타났습니다.[83] 흔히, 소위 오프라인 평가의 결과는 실제 평가된 사용자 만족도와 상관관계가 없습니다.[84] 오프라인 교육은 도달 가능성이 높은 항목에 매우 치우쳐 있고 오프라인 테스트 데이터는 온라인 추천 모듈의 출력에 의해 영향을 많이 받기 때문일 것입니다.[79][85] 연구원들은 오프라인 평가 결과를 비판적으로 봐야 한다고 결론 내렸습니다.[86]

정확성을 넘어서

일반적으로 추천자 시스템에 대한 연구는 가장 정확한 추천 알고리즘을 찾는 것과 관련이 있습니다. 하지만 중요한 요소들이 여럿 있습니다.

  • 다양성 – 사용자는 목록 내 다양성(예: 다른 아티스트의 항목)이 높을수록 추천에 더 만족하는 경향이 있습니다.[87][88]
  • 추천자 지속성 – 어떤 상황에서는 새로운 항목을 보여주는 [90]것보다 추천을 다시 [89]보여주거나 사용자가 항목을 다시 평가하도록 하는 것이 더 효과적입니다. 여기에는 몇 가지 이유가 있습니다. 예를 들어 사용자는 권장 사항을 주의 깊게 검사할 시간이 없었기 때문에 항목을 처음 표시할 때 무시할 수 있습니다.
  • 개인 정보 보호 – 사용자가 민감한 정보를 공개해야 하기 때문에 추천자 시스템은 일반적으로 개인 정보 보호[91] 문제를 처리해야 합니다. 공동 필터링을 사용하여 사용자 프로파일을 구축하는 것은 개인 정보 보호 관점에서 문제가 될 수 있습니다. 많은 유럽 국가들은 데이터 개인 정보 보호 문화가 강하며, 모든 수준의 사용자 프로파일링을 도입하려는 모든 시도는 부정적인 고객 반응을 초래할 수 있습니다. 이 공간에서 진행 중인 개인 정보 보호 문제에 대한 많은 연구가 수행되었습니다. 넷플릭스 상은 데이터 세트에 공개된 자세한 개인 정보로 특히 눈에 띕니다. 라마크리쉬난 외. 개인화와 개인 정보 보호 사이의 상충 관계에 대한 광범위한 개요를 수행한 결과, 약한 유대 관계(우연한 권장 사항을 제공하는 예기치 않은 연결)와 다른 데이터 소스를 결합하여 익명화된 데이터 세트에서 사용자의 신원을 밝히는 데 사용할 수 있음을 발견했습니다.[92]
  • 사용자 인구 통계 – Beel 등은 사용자 인구 통계가 사용자가 권장 사항에 얼마나 만족하는지에 영향을 미칠 수 있음을 발견했습니다.[93] 그들의 논문에서 그들은 나이가 많은 사용자들이 젊은 사용자들보다 추천에 더 관심이 있다는 것을 보여줍니다.
  • 견고성 – 사용자가 추천자 시스템에 참여할 수 있을 때 사기 문제를 해결해야 합니다.[94]
  • Serendipity – Serendipity는 "추천 사항이 얼마나 놀라운지"를 나타내는 척도입니다.[95][88] 예를 들어, 식료품점에서 고객에게 우유를 추천하는 추천인 시스템은 완벽하게 정확할 수 있지만, 고객이 구매하기에 명백한 품목이기 때문에 좋은 추천은 아닙니다. "[Serendipity]는 다음 두 가지 목적을 수행합니다. 첫째, 선택 세트가 너무 균일해서 사용자가 흥미를 잃을 가능성이 줄어듭니다. 둘째, 알고리즘이 스스로 학습하고 개선하기 위해서는 이러한 항목들이 필요합니다."[96]
  • 신뢰 – 사용자가 시스템을 신뢰하지 않는 경우 추천자 시스템은 사용자에게 거의 가치가 없습니다.[97] 신뢰는 추천을 생성하는 방법과 아이템을 추천하는 이유를 설명함으로써 추천자 시스템에 의해 구축될 수 있습니다.
  • 라벨링 – 권장 사항에 대한 사용자 만족도는 권장 사항의 라벨링에 의해 영향을 받을 수 있습니다.[98] 예를 들어 인용된 연구에서 "후원"으로 표시된 권장 사항에 대한 클릭률(CTR)은 "유기"로 표시된 권장 사항에 대한 CTR보다 낮았습니다(CTR=5.93%). 레이블이 없는 권장 사항이 해당 연구에서 가장 잘 수행되었습니다(CTR=9.87%).

재현성

일부 연구자들은 이것이 추천자 시스템 출판물의 재현성 위기로 이어졌다고 주장하면서, 추천자 시스템은 오프라인에서 평가하기가 어렵기로 악명이 높습니다. 재현성에 대한 주제는 일부 기계 학습 출판 장소에서 반복되는 문제인 것처럼 보이지만 과학 출판의 세계를 넘어서는 상당한 영향을 미치지는 않습니다. 추천자 시스템의 맥락에서, 2019년 논문은 상위 컨퍼런스(SIGIR, KDD, WWW, RecSys, IJCAI)에 발표된 상위 k 추천 문제에 딥 러닝 또는 신경 방법을 적용하는 소수의 손으로 선택한 출판물을 조사한 결과, 평균 40% 미만의 기사가 조사 저자에 의해 복제될 수 있는 것으로 나타났습니다. 일부 학회에서는 14% 정도로 적습니다. 이 기사는 오늘날 연구 장학금의 여러 가지 잠재적인 문제점을 고려하고 해당 분야의 개선된 과학적 관행을 제안합니다.[99][100][101] 일련의 동일한 방법을 벤치마킹하는 보다 최근의 작업은 질적으로 매우 다른 결과를[102] 얻었으며 신경 방법이 가장 우수한 수행 방법 중 하나인 것으로 나타났습니다. 추천 시스템에 대한 딥 러닝 및 신경 방법은 최근 여러 추천 시스템 챌린지인 WSDM,[103] RecSys Challenge에서 우승 솔루션에 사용되었습니다.[104] 더욱이 신경 및 딥 러닝 방법은 광범위하게 테스트되는 산업에서 널리 사용됩니다.[105][56][57] 재현성에 대한 주제는 추천자 시스템에서 새로운 것이 아닙니다. 2011년까지 Konstan, Ekstrand 등은 "현재 추천자 시스템 연구 결과를 재현하고 확장하는 것이 어렵다"며 평가가 "일관적으로 처리되지 않는다"고 비판했습니다.[106] Konstan과 Adomavicius는 "Recommender Systems 연구계는 많은 논문이 집단 지식에 거의 기여하지 않는 결과를 제시하는 위기에 직면해 있습니다. 왜냐하면 이 연구는 적절하게 판단할 수 있는 [...] 평가가 부족하기 때문입니다. 따라서 의미 있는 기여를 제공하기 위한 [...] 평가가 부족하기 때문입니다."[107] 결과적으로 추천자 시스템에 대한 많은 연구는 재현 가능하지 않은 것으로 간주될 수 있습니다.[108] 따라서, 추천자 시스템의 운영자들은 현재 연구에서 어떤 추천 방식이 추천자 시스템에서 사용되는지에 대한 질문에 답하기 위한 지침을 거의 찾을 수 없습니다. Said and Bellogin은 해당 분야에서 발표된 논문을 연구하고 추천을 위해 가장 인기 있는 프레임워크 중 일부를 벤치마킹했으며 동일한 알고리즘과 데이터 세트를 사용하는 경우에도 결과의 큰 불일치를 발견했습니다.[109] 일부 연구자들은 추천 알고리즘이나 시나리오의 작은 변화가 추천자 시스템의 효과에 강한 변화를 가져온다는 것을 증명했습니다. 그들은 현재의 상황을 개선하기 위해서는 "(1) 다른 연구 분야를 조사하고 이를 통해 배우고, (2) 재현성에 대한 공통된 이해를 찾고, (3) 재현성에 영향을 미치는 결정 요인을 파악하고 이해하고, (4) 보다 포괄적인 실험을 수행하고, (5) 출판 관행을 현대화하고,[108] (6) 권고 프레임워크 개발 및 활용을 촉진하고, (7) 권고자 systems 연구를 위한 모범 사례 지침을 수립합니다."

추천 중인 인공지능 애플리케이션

추천 시스템의 인공 지능(AI) 응용 프로그램은 성능 추천 엔진을 향상시키기 위해 AI 기술을 활용하는 고급 방법론입니다. AI 기반 추천인은 복잡한 데이터 세트, 사용자 행동, 선호도 및 상호 작용에서 학습하여 매우 정확하고 개인화된 콘텐츠 또는 제품 제안을 생성할 수 있습니다.[110] 추천 시스템에 AI를 통합함으로써 전통적인 추천 방법에서 크게 발전했습니다. 기존의 방법은 일반적인 사용자 경향이나 내용의 명백한 유사성에 기반하여 항목을 제안할 수 있는 유연하지 않은 알고리즘에 의존하는 경우가 많았습니다. 이에 비해 AI 기반 시스템은 전통적인 방법으로 간과할 수 있는 패턴과 미묘한 구별을 감지하는 기능이 있습니다.[111] 이러한 시스템은 특정 개인의 선호도에 적응할 수 있으므로 개별 사용자 요구에 더 부합하는 권장 사항을 제공할 수 있습니다. 이러한 접근 방식은 보다 개인화된 사용자 중심의 제안으로 전환되었음을 나타냅니다.

추천 시스템은 기계 학습, 딥 러닝 및 자연어 처리와 같은 AI 기술을 널리 채택합니다.[112] 이러한 고급 방법은 시스템 기능을 향상시켜 사용자 선호도를 예측하고 개인화된 콘텐츠를 보다 정확하게 전달합니다. 각 기술은 고유하게 기여합니다. 다음 절에서는 추천 시스템이 활용하는 특정 AI 모델을 이론과 기능을 설명하여 소개합니다.[citation needed]

KNN 기반 협업 필터

협업 필터링(CF)은 가장 일반적으로 사용되는 추천 시스템 알고리즘 중 하나입니다. 사용자가 명시적 또는 암묵적 행동 패턴을 기반으로 개인화된 제안을 생성하여 예측을 형성합니다.[113] 구체적으로 스타 평점, 구매 이력 등 외부 피드백에 의존해 판단합니다. CF는 유사도 측정을 기반으로 사용자의 선호도를 예측합니다. 본질적으로, "사용자 A가 사용자 B와 비슷하고, A가 아이템 C를 좋아한다면, B도 아이템 C를 좋아할 가능성이 높다"는 것이 기본 이론입니다.

협업 필터링에 사용할 수 있는 많은 모델이 있습니다. AI 적용 협업 필터링의 경우 일반적인 모델을 K-neighbor라고 합니다. 아이디어는 다음과 같습니다.

  1. 데이터 표현: 각 축이 사용자의 특성(등급, 구매 등)을 나타내는 차원 공간을 만듭니다. 사용자를 해당 공간의 점으로 나타냅니다.
  2. 통계적 거리: '거리'는 사용자가 이 공간에서 얼마나 떨어져 있는지를 측정합니다. 계산 세부 정보는 통계적 거리 참조
  3. 이웃 식별: 계산된 거리를 기반으로 추천할 사용자의 가장 가까운 이웃을 찾습니다.
  4. 예측 권장 사항을 형성하는 중: 시스템은 k 이웃의 유사한 선호도를 분석할 것입니다. 시스템이 유사성을 기반으로 권장 사항을 제시합니다.

신경망

인공 신경망(ANN)은 인간의 뇌를 모방하는 것을 목표로 하는 딥 러닝 모델 구조입니다. 그들은 일련의 뉴런으로 구성되며, 각각은 서로 연결된 다른 뉴런에서 전송된 정보를 수신하고 처리하는 역할을 합니다.[114] 인간의 뇌와 유사하게, 이 뉴런들은 수신 신호(훈련 입력 및 역전파 출력)에 기초하여 활성화 상태를 변화시켜, 시스템이 네트워크 학습 단계 동안 활성화 가중치를 조정할 수 있도록 합니다. ANN은 일반적으로 블랙박스 모델로 설계됩니다. 기본 이론 구성 요소가 형식적이고 경직적인 일반 기계 학습과 달리 뉴런의 협력 효과는 완전히 명확하지 않지만 현대 실험은 ANN의 예측력을 보여주었습니다.

ANN은 다양한 데이터를 활용할 수 있는 힘으로 추천 시스템에 널리 사용되고 있습니다. 피드백 데이터 외에 ANN은 협업 필터링이 학습하기에는 너무 복잡한 비피드백 데이터를 통합할 수 있으며, 독특한 구조를 통해 ANN은 비피드백 데이터에서 추가 신호를 식별하여 사용자 경험을 높일 수 있습니다.[112] 다음은 몇 가지 예입니다.

  • 시간 및 계절성: 사용자가 플랫폼과 상호 작용하는 시간 및 날짜 또는 계절을 지정하는 항목
  • 사용자 탐색 패턴: 방문한 페이지의 순서, 웹 사이트의 여러 부분에서 보낸 시간, 마우스 이동 등
  • 외부 사회 동향: 외부 소셜 미디어의 정보

자연어 처리

자연어 처리는 기계가 자연인의 언어에 접근하고 분석할 수 있도록 하기 위한 일련의 AI 알고리즘입니다.[115] 텍스트 정보의 양이 증가함에 따라 상당히 현대적인 기술입니다. 추천 시스템에 적용하기 위해서는 아마존 고객 리뷰가 일반적인 경우입니다. 아마존은 각 고객의 피드백 코멘트를 분석하여 관련 자료를 다른 고객에게 보고하여 참고하도록 할 것입니다. 최근 몇 년 동안 잠재 의미 분석(LSA), 단수 값 분해(SVD), 잠재 디리클레 할당(LDA) 등 다양한 텍스트 분석 모델이 개발되었습니다. 그들의 용도는 지속적으로 고객에게 보다 정확하고 맞춤형 추천을 제공하는 것을 목표로 하고 있습니다.

참고 항목

참고문헌

  1. ^ a b c d Ricci, Francesco; Rokach, Lior; Shapira, Bracha (2022). "Recommender Systems: Techniques, Applications, and Challenges". In Ricci, Francesco; Rokach, Lior; Shapira, Bracha (eds.). Recommender Systems Handbook (3 ed.). New York: Springer. pp. 1–35. doi:10.1007/978-1-0716-2197-4_1. ISBN 978-1-0716-2196-7.
  2. ^ Lev Grossman (May 27, 2010). "How Computers Know What We Want — Before We Do". TIME. Archived from the original on May 30, 2010. Retrieved June 1, 2015.
  3. ^ a b 레스닉, 폴 그리고 할 R. 바리안. "권장 시스템" ACM 40, No. 3(1997)의 통신: 56-58.
  4. ^ Gupta, Pankaj; Goel, Ashish; Lin, Jimmy; Sharma, Aneesh; Wang, Dong; Zadeh, Reza (2013). "WTF: the who to follow service at Twitter". Proceedings of the 22nd International Conference on World Wide Web. Association for Computing Machinery. pp. 505–514. doi:10.1145/2488388.2488433. ISBN 9781450320351.
  5. ^ Baran, Remigiusz; Dziech, Andrzej; Zeja, Andrzej (June 1, 2018). "A capable multimedia content discovery platform based on visual content analysis and intelligent data enrichment". Multimedia Tools and Applications. 77 (11): 14077–14091. doi:10.1007/s11042-017-5014-1. ISSN 1573-7721. S2CID 36511631.
  6. ^ H. Chen, A. G. Orbia II, C. L. Giles Expert Seer: 디지털 라이브러리를 위한 키프레이즈 기반 전문가 추천인, arXiv 사전 인쇄 2015
  7. ^ Chen, Hung-Hsuan; Gou, Liang; Zhang, Xiaolong; Giles, Clyde Lee (2011). "CollabSeer: a search engine for collaboration discovery" (PDF). Proceedings of the 11th Annual International ACM/IEEE Joint Conference on Digital Libraries. Association for Computing Machinery. pp. 231–240. doi:10.1145/1998076.1998121. ISBN 9781450307444.
  8. ^ Felfernig, Alexander; Isak, Klaus; Szabo, Kalman; Zachar, Peter (2007). "The VITA Financial Services Sales Support Environment" (PDF). In William Cheetham (ed.). Proceedings of the 19th National Conference on Innovative Applications of Artificial Intelligence, vol. 2. pp. 1692–1699. ISBN 9781577353232.
  9. ^ Melville, Prem; Sindhwani, Vikas (2010). "Recommender Systems" (PDF). In Claude Sammut; Geoffrey I. Webb (eds.). Encyclopedia of Machine Learning. Springer. pp. 829–838. doi:10.1007/978-0-387-30164-8_705. ISBN 978-0-387-30164-8.
  10. ^ R. J. Mooney & L. Roy (1999). Content-based book recommendation using learning for text categorization. In Workshop Recom. Sys.: Algo. and Evaluation.
  11. ^ Haupt, Jon (June 1, 2009). "Last.fm: People‐Powered Online Radio". Music Reference Services Quarterly. 12 (1–2): 23–24. doi:10.1080/10588160902816702. ISSN 1058-8167. S2CID 161141937.
  12. ^ a b Chen, Hung-Hsuan; Chen, Pu (January 9, 2019). "Differentiating Regularization Weights -- A Simple Mechanism to Alleviate Cold Start in Recommender Systems". ACM Transactions on Knowledge Discovery from Data. 13: 1–22. doi:10.1145/3285954. S2CID 59337456.
  13. ^ a b Rubens, Neil; Elahi, Mehdi; Sugiyama, Masashi; Kaplan, Dain (2016). "Active Learning in Recommender Systems". In Ricci, Francesco; Rokach, Lior; Shapira, Bracha (eds.). Recommender Systems Handbook (2 ed.). Springer US. pp. 809–846. doi:10.1007/978-1-4899-7637-6_24. ISBN 978-1-4899-7637-6.
  14. ^ Bobadilla, J.; Ortega, F.; Hernando, A.; Alcalá, J. (2011). "Improving collaborative filtering recommender system results and performance using genetic algorithms". Knowledge-Based Systems. 24 (8): 1310–1316. doi:10.1016/j.knosys.2011.06.005.
  15. ^ a b Elahi, Mehdi; Ricci, Francesco; Rubens, Neil (2016). "A survey of active learning in collaborative filtering recommender systems". Computer Science Review. 20: 29–50. doi:10.1016/j.cosrev.2016.05.002.
  16. ^ Andrew I. Schein; Alexandrin Popescul; Lyle H. Ungar; David M. Pennock (2002). Methods and Metrics for Cold-Start Recommendations. Proceedings of the 25th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2002). : ACM. pp. 253–260. ISBN 1-58113-561-0. Retrieved February 2, 2008.
  17. ^ a b Bi, Xuan; Qu, Annie; Wang, Junhui; Shen, Xiaotong (2017). "A group-specific recommender system". Journal of the American Statistical Association. 112 (519): 1344–1353. doi:10.1080/01621459.2016.1219261. S2CID 125187672.
  18. ^ 스택, 찰스. "기록된 구매 이력에 기초한 상품 및 서비스의 추천을 제공하는 시스템 및 방법" 미국 특허 7,222,085, 2007년 5월 22일 발행.
  19. ^ Herz, Frederick SM. "맞춤형 전자신문 및 광고" 미국 특허 7,483,871, 2009년 1월 27일 발행
  20. ^ 허즈, 프레데릭, 라일 웅거, 지안 장, 데이비드 와초브. "고객 프로파일을 이용한 데이터 접근 제공 시스템 및 방법" 미국 특허 8,056,100, 2011년 11월 8일 발행.
  21. ^ 하빅, 앤드류 V, 라이언 J. 스노드그래스, 조엘 R. 슈피겔. "유사 디지털 저작물 및 저작물 창작자에 대한 플레이리스트 기반 검출" 2013. 6. 18. 발행된 미국 특허 8,468,046
  22. ^ 린든, 그레고리 D., 브렌트 러셀 스미스, 니다 K. 자다. "브라우저블 아이템들 사이의 행동 기반 관계의 자동 검출 및 노출." 미국 특허 9,070,156, 2015년 6월 30일 발행.
  23. ^ BEEL, Joeran, et al. 논문 추천 시스템: 문헌 조사. International Journal on Digital Libraries, 2016, 17. Jg., Nr. 4, S. 305–338.
  24. ^ 리치, 일레인. 고정관념을 통한 사용자 모델링. 인지과학, 1979, 3. Jg., Nr. 4, S. 329–354.
  25. ^ Karlgren, Jussi. 1990. "권장할 만한 대수학." Syslab Working Paper 179 (1990).
  26. ^ Karlgren, Jussi. "사용자 행동에 기반한 뉴스그룹 클러스터링- 2021년 2월 27일 웨이백 머신에 보관된 추천 대수." SICS 연구 보고서(1994).
  27. ^ Karlgren, Jussi (October 2017). "A digital bookshelf: original work on recommender systems". Retrieved October 27, 2017.
  28. ^ 샤르다난드, 우펜드라, 패티 마에스. "소셜 정보 필터링: '입소문' 자동화 알고리즘" 컴퓨팅 시스템의 인적 요소에 관한 SIGCHI 회의 의사록, 210-217쪽. ACM Press/Addison-Wesley 출판사, 1995
  29. ^ 힐, 윌, 래리 스테드, 마크 로젠스타인, 조지 푸르나스. "Wayback Machine에서 Archive 2018-12-21 가상 사용 커뮤니티에서 선택사항 추천 및 평가" 컴퓨팅 시스템의 인적 요소에 관한 SIGCHI 회의 의사록, 194-201쪽. ACM Press/Addison-Wesley 출판사, 1995
  30. ^ Resnick, Paul, Neophytos Iacovou, Mitesh Suchak, Peter Bergström, John Riedl. "GroupLens: 넷뉴스의 공동 필터링을 위한 개방형 아키텍처." 1994년 컴퓨터에 관한 ACM 회의의 의사록에서 175-186쪽을 지원했습니다. ACM, 1994.
  31. ^ Montaner, M.; Lopez, B.; de la Rosa, J. L. (June 2003). "A Taxonomy of Recommender Agents on the Internet". Artificial Intelligence Review. 19 (4): 285–330. doi:10.1023/A:1022850703159. S2CID 16544257..
  32. ^ a b Adomavicius, G.; Tuzhilin, A. (June 2005). "Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions". IEEE Transactions on Knowledge and Data Engineering. 17 (6): 734–749. CiteSeerX 10.1.1.107.2790. doi:10.1109/TKDE.2005.99. S2CID 206742345..
  33. ^ Herlocker, J. L.; Konstan, J. A.; Terveen, L. G.; Riedl, J. T. (January 2004). "Evaluating collaborative filtering recommender systems". ACM Trans. Inf. Syst. 22 (1): 5–53. CiteSeerX 10.1.1.78.8384. doi:10.1145/963770.963772. S2CID 207731647..
  34. ^ a b c Beel, J.; Genzmehr, M.; Gipp, B. (October 2013). "A comparative analysis of offline and online evaluations and discussion of research paper recommender system evaluation" (PDF). Proceedings of the International Workshop on Reproducibility and Replication in Recommender Systems Evaluation. pp. 7–14. doi:10.1145/2532508.2532511. ISBN 978-1-4503-2465-6. S2CID 8202591. Archived from the original (PDF) on April 17, 2016. Retrieved October 22, 2013.
  35. ^ Beel, J.; Langer, S.; Genzmehr, M.; Gipp, B.; Breitinger, C. (October 2013). "Research paper recommender system evaluation: A quantitative literature survey" (PDF). Proceedings of the International Workshop on Reproducibility and Replication in Recommender Systems Evaluation. pp. 15–22. doi:10.1145/2532508.2532512. ISBN 978-1-4503-2465-6. S2CID 4411601.
  36. ^ Beel, J.; Gipp, B.; Langer, S.; Breitinger, C. (July 26, 2015). "Research Paper Recommender Systems: A Literature Survey". International Journal on Digital Libraries. 17 (4): 305–338. doi:10.1007/s00799-015-0156-0. S2CID 207035184.
  37. ^ John S. Breese; David Heckerman & Carl Kadie (1998). Empirical analysis of predictive algorithms for collaborative filtering. In Proceedings of the Fourteenth conference on Uncertainty in artificial intelligence (UAI'98). arXiv:1301.7363.
  38. ^ Breese, John S.; Heckerman, David; Kadie, Carl (1998). Empirical Analysis of Predictive Algorithms for Collaborative Filtering (PDF) (Report). Microsoft Research.
  39. ^ Koren, Yehuda; Volinsky, Chris (August 1, 2009). "Matrix Factorization Techniques for Recommender Systems". Computer. 42 (8): 30–37. CiteSeerX 10.1.1.147.8295. doi:10.1109/MC.2009.263. S2CID 58370896.
  40. ^ Sarwar, B.; Karypis, G.; Konstan, J.; Riedl, J. (2000). "Application of Dimensionality Reduction in Recommender System A Case Study".,
  41. ^ Allen, R.B. (1990). User Models: Theory, Method, Practice. International J. Man-Machine Studies.
  42. ^ Parsons, J.; Ralph, P.; Gallagher, K. (July 2004). Using viewing time to infer user preference in recommender systems. AAAI Workshop in Semantic Web Personalization, San Jose, California..
  43. ^ 희소성 문제 극복을 위한 협력 필터링에 대한 숨겨진 유사성의 발견, 이상학, 양지훈·박성용, 디스커버리 사이언스, 2007.
  44. ^ Felício, Crícia Z.; Paixão, Klérisson V.R.; Barcelos, Celia A.Z.; Preux, Philippe (July 9, 2017). "A Multi-Armed Bandit Model Selection for Cold-Start User Recommendation". Proceedings of the 25th Conference on User Modeling, Adaptation and Personalization (PDF). UMAP '17. Bratislava, Slovakia: Association for Computing Machinery. pp. 32–40. doi:10.1145/3079628.3079681. ISBN 978-1-4503-4635-1. S2CID 653908.
  45. ^ Wayback Machine에서 아카이브된 항목 간 유사도 매핑을 사용한 공동 권장 사항 2015-03-16
  46. ^ Aggarwal, Charu C. (2016). Recommender Systems: The Textbook. Springer. ISBN 978-3-319-29657-9.
  47. ^ Peter Brusilovsky (2007). The Adaptive Web. Springer. p. 325. ISBN 978-3-540-72078-2.
  48. ^ Wang, Donghui; Liang, Yanchun; Xu, Dong; Feng, Xiaoyue; Guan, Renchu (2018). "A content-based recommender system for computer science publications". Knowledge-Based Systems. 157: 1–9. doi:10.1016/j.knosys.2018.05.001.
  49. ^ Blanda, Stephanie (May 25, 2015). "Online Recommender Systems – How Does a Website Know What I Want?". American Mathematical Society. Retrieved October 31, 2016.
  50. ^ X.Y. Feng, H. Zhang, Y.J. Ren, P.H. Shang, Y. Zhu, Y.C. Liang, R.C. Guan, D. Xu, (2019), "바이오메디컬 출판 장소 선택을 위한 딥 러닝 기반 추천자 시스템 "퍼멘더": 개발 및 검증 연구", 의학 인터넷 연구 저널, 21 (5): e12957
  51. ^ Rinke Hoekstra, 지식 리엔지니어링 병목 현상, 시맨틱 웹 – 상호운용성, 사용성, 응용성 1 (2010) 1, IOS Press
  52. ^ Gomez-Uribe, Carlos A.; Hunt, Neil (December 28, 2015). "The Netflix Recommender System". ACM Transactions on Management Information Systems. 6 (4): 1–19. doi:10.1145/2843948.
  53. ^ a b Zamanzadeh Darban, Z.; Valipour, M. H. (August 15, 2022). "GHRS: Graph-based hybrid recommendation system with application to movie recommendation". Expert Systems with Applications. 200: 116850. arXiv:2111.11293. doi:10.1016/j.eswa.2022.116850. S2CID 244477799.
  54. ^ Robin Burke, Hybrid Web Recommender Systems Archive the Wayback Machine, pp. 377-408, Adaptive Web, Peter Brusilovsky, Alfred Kobsa, Wolfgang Nejdl (Ed.), 컴퓨터 과학 강의 노트, Springer-Verlag, 독일 베를린, 컴퓨터 과학 강의 노트, Vol. 4321, 2007년 5월, 978-3-540-72078-2
  55. ^ a b Hidasi, Balázs; Karatzoglou, Alexandros; Baltrunas, Linas; Tikk, Domonkos (March 29, 2016). "Session-based Recommendations with Recurrent Neural Networks". arXiv:1511.06939 [cs.LG].
  56. ^ a b c Chen, Minmin; Beutel, Alex; Covington, Paul; Jain, Sagar; Belletti, Francois; Chi, Ed (2018). "Top-K Off-Policy Correction for a REINFORCE Recommender System". arXiv:1812.02353 [cs.LG].
  57. ^ a b Yifei, Ma; Narayanaswamy, Balakrishnan; Haibin, Lin; Hao, Ding (2020). "Temporal-Contextual Recommendation in Real-Time". Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. Association for Computing Machinery. pp. 2291–2299. doi:10.1145/3394486.3403278. ISBN 978-1-4503-7998-4. S2CID 221191348.
  58. ^ Hidasi, Balázs; Karatzoglou, Alexandros (October 17, 2018). "Recurrent Neural Networks with Top-k Gains for Session-based Recommendations". Proceedings of the 27th ACM International Conference on Information and Knowledge Management. CIKM '18. Torino, Italy: Association for Computing Machinery. pp. 843–852. arXiv:1706.03847. doi:10.1145/3269206.3271761. ISBN 978-1-4503-6014-2. S2CID 1159769.
  59. ^ Kang, Wang-Cheng; McAuley, Julian (2018). "Self-Attentive Sequential Recommendation". arXiv:1808.09781 [cs.IR].
  60. ^ Li, Jing; Ren, Pengjie; Chen, Zhumin; Ren, Zhaochun; Lian, Tao; Ma, Jun (November 6, 2017). "Neural Attentive Session-based Recommendation". Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. CIKM '17. Singapore, Singapore: Association for Computing Machinery. pp. 1419–1428. arXiv:1711.04725. doi:10.1145/3132847.3132926. ISBN 978-1-4503-4918-5. S2CID 21066930.
  61. ^ Liu, Qiao; Zeng, Yifu; Mokhosi, Refuoe; Zhang, Haibin (July 19, 2018). "STAMP". Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. KDD '18. London, United Kingdom: Association for Computing Machinery. pp. 1831–1839. doi:10.1145/3219819.3219950. ISBN 978-1-4503-5552-0. S2CID 50775765.
  62. ^ Xin, Xin; Karatzoglou, Alexandros; Arapakis, Ioannis; Jose, Joemon (2020). "Self-Supervised Reinforcement Learning for Recommender Systems". arXiv:2006.05779 [cs.LG].
  63. ^ Ie, Eugene; Jain, Vihan; Narvekar, Sanmit; Agarwal, Ritesh; Wu, Rui; Cheng, Heng-Tze; Chandra, Tushar; Boutilier, Craig (2019). "SlateQ: A Tractable Decomposition for Reinforcement Learning with Recommendation Sets". Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence (IJCAI-19): 2592–2599.
  64. ^ Zou, Lixin; Xia, Long; Ding, Zhuoye; Song, Jiaxing; Liu, Weidong; Yin, Dawei (2019). "Reinforcement Learning to Optimize Long-term User Engagement in Recommender Systems". Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. KDD '19. pp. 2810–2818. arXiv:1902.05570. doi:10.1145/3292500.3330668. ISBN 978-1-4503-6201-6. S2CID 62903207.
  65. ^ Lakiotaki, K.; Matsatsinis; Tsoukias, A (March 2011). "Multicriteria User Modeling in Recommender Systems". IEEE Intelligent Systems. 26 (2): 64–76. CiteSeerX 10.1.1.476.6726. doi:10.1109/mis.2011.33. S2CID 16752808.
  66. ^ Gediminas Adomavicius; Nikos Manouselis; YoungOk Kwon. "Multi-Criteria Recommender Systems" (PDF). Archived from the original (PDF) on June 30, 2014.
  67. ^ Bouneffouf, Djallel (2013), DRARS, A Dynamic Risk-Aware Recommender System (Ph.D.), Institut National des Télécommunications
  68. ^ a b Yong Ge; Hui Xiong; Alexander Tuzhilin; Keli Xiao; Marco Gruteser; Michael J. Pazzani (2010). An Energy-Efficient Mobile Recommender System (PDF). Proceedings of the 16th ACM SIGKDD Int'l Conf. on Knowledge Discovery and Data Mining. New York City, New York: ACM. pp. 899–908. Retrieved November 17, 2011.
  69. ^ Pimenidis, Elias; Polatidis, Nikolaos; Mouratidis, Haralambos (August 3, 2018). "Mobile recommender systems: Identifying the major concepts". Journal of Information Science. 45 (3): 387–397. arXiv:1805.02276. doi:10.1177/0165551518792213. S2CID 19209845.
  70. ^ a b Lohr, Steve (September 22, 2009). "A $1 Million Research Bargain for Netflix, and Maybe a Model for Others". The New York Times.
  71. ^ R. Bell; Y. Koren; C. Volinsky (2007). "The BellKor solution to the Netflix Prize" (PDF). Archived from the original (PDF) on March 4, 2012. Retrieved April 30, 2009.
  72. ^ Bodoky, Thomas (August 6, 2009). "Mátrixfaktorizáció one million dollars". Index.
  73. ^ 2012년 1월 24일 웨이백 머신에 보관된 넷플릭스 해커들의 부상
  74. ^ "Netflix Spilled Your Brokeback Mountain Secret, Lawsuit Claims". WIRED. December 17, 2009. Retrieved June 1, 2015.
  75. ^ "Netflix Prize Update". Netflix Prize Forum. March 12, 2010. Archived from the original on November 27, 2011. Retrieved December 14, 2011.
  76. ^ 라티아, N. 하일스, S., 카프라, L., 아마트리아인, X. 추천자 시스템의[dead link] 시간적 다양성. In: 제33차 정보검색 연구개발 국제 ACMSIGIR 회의의 의사진행, SIGIR 2010, pp. 210-217. ACM, 뉴욕
  77. ^ Turpin, Andrew H; Hersh, William (2001). "Why batch and user evaluations do not give the same results". Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval. pp. 225–231.
  78. ^ "MovieLens dataset". September 6, 2013.
  79. ^ a b Chen, Hung-Hsuan; Chung, Chu-An; Huang, Hsin-Chien; Tsui, Wen (September 1, 2017). "Common Pitfalls in Training and Evaluating Recommender Systems". ACM SIGKDD Explorations Newsletter. 19: 37–45. doi:10.1145/3137597.3137601. S2CID 10651930.
  80. ^ Jannach, Dietmar; Lerche, Lukas; Gedikli, Fatih; Bonnin, Geoffray (June 10, 2013). "What Recommenders Recommend – an Analysis of Accuracy, Popularity, and Sales Diversity Effects". In Carberry, Sandra; Weibelzahl, Stephan; Micarelli, Alessandro; Semeraro, Giovanni (eds.). User Modeling, Adaptation, and Personalization. Lecture Notes in Computer Science. Vol. 7899. Springer Berlin Heidelberg. pp. 25–37. CiteSeerX 10.1.1.465.96. doi:10.1007/978-3-642-38844-6_3. ISBN 978-3-642-38843-9.
  81. ^ a b Turpin, Andrew H.; Hersh, William (January 1, 2001). "Why batch and user evaluations do not give the same results". Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval. SIGIR '01. New York, NY, USA: ACM. pp. 225–231. CiteSeerX 10.1.1.165.5800. doi:10.1145/383952.383992. ISBN 978-1-58113-331-8. S2CID 18903114.
  82. ^ Langer, Stefan (September 14, 2015). "A Comparison of Offline Evaluations, Online Evaluations, and User Studies in the Context of Research-Paper Recommender Systems". In Kapidakis, Sarantos; Mazurek, Cezary; Werla, Marcin (eds.). Research and Advanced Technology for Digital Libraries. Lecture Notes in Computer Science. Vol. 9316. Springer International Publishing. pp. 153–168. doi:10.1007/978-3-319-24592-8_12. ISBN 978-3-319-24591-1.
  83. ^ Basaran, Daniel; Ntoutsi, Eirini; Zimek, Arthur (2017). Proceedings of the 2017 SIAM International Conference on Data Mining. pp. 390–398. doi:10.1137/1.9781611974973.44. ISBN 978-1-61197-497-3.
  84. ^ Beel, Joeran; Genzmehr, Marcel; Langer, Stefan; Nürnberger, Andreas; Gipp, Bela (January 1, 2013). "A comparative analysis of offline and online evaluations and discussion of research paper recommender system evaluation". Proceedings of the International Workshop on Reproducibility and Replication in Recommender Systems Evaluation. RepSys '13. New York, NY, USA: ACM. pp. 7–14. CiteSeerX 10.1.1.1031.973. doi:10.1145/2532508.2532511. ISBN 978-1-4503-2465-6. S2CID 8202591.
  85. ^ Cañamares, Rocío; Castells, Pablo (July 2018). Should I Follow the Crowd? A Probabilistic Analysis of the Effectiveness of Popularity in Recommender Systems (PDF). 41st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2018). Ann Arbor, Michigan, USA: ACM. pp. 415–424. doi:10.1145/3209978.3210014. Archived from the original (PDF) on April 14, 2021. Retrieved March 5, 2021.
  86. ^ Cañamares, Rocío; Castells, Pablo; Moffat, Alistair (March 2020). "Offline Evaluation Options for Recommender Systems" (PDF). Information Retrieval. Springer. 23 (4): 387–410. doi:10.1007/s10791-020-09371-3. S2CID 213169978.
  87. ^ Ziegler CN, McNee SM, Konstan JA, Lausen G (2005). "Improving recommendation lists through topic diversification". Proceedings of the 14th international conference on World Wide Web. pp. 22–32.
  88. ^ a b Castells, Pablo; Hurley, Neil J.; Vargas, Saúl (2015). "Novelty and Diversity in Recommender Systems". In Ricci, Francesco; Rokach, Lior; Shapira, Bracha (eds.). Recommender Systems Handbook (2 ed.). Springer US. pp. 881–918. doi:10.1007/978-1-4899-7637-6_26. ISBN 978-1-4899-7637-6.
  89. ^ Joeran Beel; Stefan Langer; Marcel Genzmehr; Andreas Nürnberger (September 2013). "Persistence in Recommender Systems: Giving the Same Recommendations to the Same Users Multiple Times" (PDF). In Trond Aalberg; Milena Dobreva; Christos Papatheodorou; Giannis Tsakonas; Charles Farrugia (eds.). Proceedings of the 17th International Conference on Theory and Practice of Digital Libraries (TPDL 2013). Lecture Notes of Computer Science (LNCS). Vol. 8092. Springer. pp. 390–394. Retrieved November 1, 2013.
  90. ^ Cosley, D.; Lam, S.K.; Albert, I.; Konstan, J.A.; Riedl, J (2003). "Is seeing believing?: how recommender system interfaces affect users' opinions" (PDF). Proceedings of the SIGCHI conference on Human factors in computing systems. pp. 585–592. S2CID 8307833.
  91. ^ Pu, P.; Chen, L.; Hu, R. (2012). "Evaluating recommender systems from the user's perspective: survey of the state of the art" (PDF). User Modeling and User-Adapted Interaction: 1–39.
  92. ^ Naren Ramakrishnan; Benjamin J. Keller; Batul J. Mirza; Ananth Y. Grama; George Karypis (2001). "Privacy risks in recommender systems". IEEE Internet Computing. Piscataway, NJ: IEEE Educational Activities Department. 5 (6): 54–62. CiteSeerX 10.1.1.2.2932. doi:10.1109/4236.968832. ISBN 978-1-58113-561-9. S2CID 1977107.
  93. ^ Joeran Beel; Stefan Langer; Andreas Nürnberger; Marcel Genzmehr (September 2013). "The Impact of Demographics (Age and Gender) and Other User Characteristics on Evaluating Recommender Systems" (PDF). In Trond Aalberg; Milena Dobreva; Christos Papatheodorou; Giannis Tsakonas; Charles Farrugia (eds.). Proceedings of the 17th International Conference on Theory and Practice of Digital Libraries (TPDL 2013). Springer. pp. 400–404. Retrieved November 1, 2013.
  94. ^ Konstan JA, Riedl J (2012). "Recommender systems: from algorithms to user experience" (PDF). User Modeling and User-Adapted Interaction. 22 (1–2): 1–23. doi:10.1007/s11257-011-9112-x. S2CID 8996665.
  95. ^ Ricci F, Rokach L, Shapira B, Kantor BP (2011). Recommender systems handbook. pp. 1–35. Bibcode:2011rsh..book.....R.
  96. ^ Möller, Judith; Trilling, Damian; Helberger, Natali; van Es, Bram (July 3, 2018). "Do not blame it on the algorithm: an empirical assessment of multiple recommender systems and their impact on content diversity". Information, Communication & Society. 21 (7): 959–977. doi:10.1080/1369118X.2018.1444076. hdl:11245.1/4242e2e0-3beb-40a0-a6cb-d8947a13efb4. ISSN 1369-118X. S2CID 149344712.
  97. ^ Montaner, Miquel; López, Beatriz; de la Rosa, Josep Lluís (2002). "Developing trust in recommender agents". Proceedings of the first international joint conference on Autonomous agents and multiagent systems: part 1. pp. 304–305.
  98. ^ Beel, Joeran, Langer, Stefan, Genzmehr, Marcel (September 2013). "Sponsored vs. Organic (Research Paper) Recommendations and the Impact of Labeling" (PDF). In Trond Aalberg, Milena Dobreva, Christos Papatheodorou, Giannis Tsakonas, Charles Farrugia (eds.). Proceedings of the 17th International Conference on Theory and Practice of Digital Libraries (TPDL 2013). pp. 395–399. Retrieved December 2, 2013.
  99. ^ Ferrari Dacrema, Maurizio; Boglio, Simone; Cremonesi, Paolo; Jannach, Dietmar (January 8, 2021). "A Troubling Analysis of Reproducibility and Progress in Recommender Systems Research". ACM Transactions on Information Systems. 39 (2): 1–49. arXiv:1911.07698. doi:10.1145/3434185. hdl:11311/1164333. S2CID 208138060.
  100. ^ Ferrari Dacrema, Maurizio; Cremonesi, Paolo; Jannach, Dietmar (2019). "Are we really making much progress? A worrying analysis of recent neural recommendation approaches". Proceedings of the 13th ACM Conference on Recommender Systems. RecSys '19. ACM. pp. 101–109. arXiv:1907.06902. doi:10.1145/3298689.3347058. hdl:11311/1108996. ISBN 978-1-4503-6243-6. S2CID 196831663. Retrieved October 16, 2019.
  101. ^ Rendle, Steffen; Krichene, Walid; Zhang, Li; Anderson, John (September 22, 2020). "Neural Collaborative Filtering vs. Matrix Factorization Revisited". Fourteenth ACM Conference on Recommender Systems. pp. 240–248. arXiv:2005.09683. doi:10.1145/3383313.3412488. ISBN 978-1-4503-7583-2.
  102. ^ Sun, Zhu; Yu, Di; Fang, Hui; Yang, Jie; Qu, Xinghua; Zhang, Jie; Geng, Cong (2020). "Are We Evaluating Rigorously? Benchmarking Recommendation for Reproducible Evaluation and Fair Comparison". Fourteenth ACM Conference on Recommender Systems. ACM. pp. 23–32. doi:10.1145/3383313.3412489. ISBN 978-1-4503-7583-2. S2CID 221785064.
  103. ^ Schifferer, Benedikt; Deotte, Chris; Puget, Jean-François; de Souza Pereira, Gabriel; Titericz, Gilberto; Liu, Jiwei; Ak, Ronay. "Using Deep Learning to Win the Booking.com WSDM WebTour21 Challenge on Sequential Recommendations" (PDF). WSDM '21: ACM Conference on Web Search and Data Mining. ACM. Archived from the original (PDF) on March 25, 2021. Retrieved April 3, 2021.
  104. ^ Volkovs, Maksims; Rai, Himanshu; Cheng, Zhaoyue; Wu, Ga; Lu, Yichao; Sanner, Scott (2018). "Two-stage Model for Automatic Playlist Continuation at Scale". Proceedings of the ACM Recommender Systems Challenge 2018. ACM. pp. 1–6. doi:10.1145/3267471.3267480. ISBN 978-1-4503-6586-4. S2CID 52942462.
  105. ^ Yves Raimond, Justin Basilico Deep Learning for Recommender Systems, Deep Learning Re-Work SF Summit 2018
  106. ^ Ekstrand, Michael D.; Ludwig, Michael; Konstan, Joseph A.; Riedl, John T. (January 1, 2011). "Rethinking the recommender research ecosystem". Proceedings of the fifth ACM conference on Recommender systems. RecSys '11. New York, NY, USA: ACM. pp. 133–140. doi:10.1145/2043932.2043958. ISBN 978-1-4503-0683-6. S2CID 2215419.
  107. ^ Konstan, Joseph A.; Adomavicius, Gediminas (January 1, 2013). "Toward identification and adoption of best practices in algorithmic recommender systems research". Proceedings of the International Workshop on Reproducibility and Replication in Recommender Systems Evaluation. RepSys '13. New York, NY, USA: ACM. pp. 23–28. doi:10.1145/2532508.2532513. ISBN 978-1-4503-2465-6. S2CID 333956.
  108. ^ a b Breitinger, Corinna; Langer, Stefan; Lommatzsch, Andreas; Gipp, Bela (March 12, 2016). "Towards reproducibility in recommender-systems research". User Modeling and User-Adapted Interaction. 26 (1): 69–101. doi:10.1007/s11257-016-9174-x. ISSN 0924-1868. S2CID 388764.
  109. ^ Said, Alan; Bellogín, Alejandro (October 1, 2014). "Comparative recommender system evaluation". Proceedings of the 8th ACM Conference on Recommender systems. RecSys '14. New York, NY, USA: ACM. pp. 129–136. doi:10.1145/2645710.2645746. hdl:10486/665450. ISBN 978-1-4503-2668-1. S2CID 15665277.
  110. ^ Verma, P.; Sharma, S. (2020). "Artificial Intelligence based Recommendation System". 2020 2nd International Conference on Advances in Computing, Communication Control and Networking (ICACCCN). pp. 669–673. doi:10.1109/ICACCCN51052.2020.9362962. ISBN 978-1-7281-8337-4.
  111. ^ Khanal, S.S. (July 2020). "A systematic review: machine learning based recommendation systems for e-learning". Educ Inf Technol. 25 (4): 2635–2664. doi:10.1007/s10639-019-10063-9.
  112. ^ a b Zhang, Q. (February 2021). "Artificial intelligence in recommender systems". Complex and Intelligent Systems. 7: 439–457.
  113. ^ Wu, L. (May 2023). "A Survey on Accuracy-Oriented Neural Recommendation: From Collaborative Filtering to Information-Rich Recommendation". IEEE Transactions on Knowledge and Data Engineering. 35 (5): 4425–4445. arXiv:2104.13030. doi:10.1109/TKDE.2022.3145690.
  114. ^ Samek, W. (March 2021). "Explaining Deep Neural Networks and Beyond: A Review of Methods and Applications". Proceedings of the IEEE. 109 (3): 247–278. arXiv:2003.07631. doi:10.1109/JPROC.2021.3060483.
  115. ^ Eisenstein, J. (October 2019). Introduction to natural language processing. MIT press. ISBN 9780262042840.

더보기

책들
과학 기사

외부 링크