포커스 크롤러

집중 크롤러는 크롤 프런티어를 신중하게 우선시하고 하이퍼링크 탐색 프로세스를 관리하여 특정 속성을 만족시키는 웹 페이지를 수집하는 웹 크롤러다.^[1] 일부 술어는 단순하고 결정론적 및 표면적 특성에 기초할 수 있다. 예를 들어 크롤러의 임무는 .jp 도메인에서만 페이지를 기어오는 것일 수 있다. 다른 술어는 "야구에 관한 크롤 페이지" 또는 "큰 페이지 랭크가 있는 크롤 페이지"와 같이 더 부드럽거나 비교될 수 있다. 중요한 페이지 속성은 주제와 관련이 있어 '주제 크롤러'로 이어진다. 예를 들어, 태양열 발전, 돼지 독감 또는 논란과^[2] 같은 더 추상적인 개념에 대한 페이지를 수집하기 위해 주제 크롤러를 배치하는 동시에 다른 주제에 대한 페이지를 가져오는 데 소비되는 자원을 최소화할 수 있다. 크롤 프런티어 관리는 초점화된 크롤러가 사용하는 유일한 장치가 아닐 수 있으며, 웹 디렉토리, 웹 텍스트 색인, 백링크 또는 기타 웹 아티팩트를 사용할 수 있다.

집중 크롤러는 페이지를 실제로 다운로드하기 전에 방문하지 않은 페이지가 관련될 확률을 예측해야 한다.^[3] 가능한 예측 변수는 링크의 앵커 텍스트로, 이것은 핑커튼이^[4] 웹 초기에 개발한 크롤러에서 취한 접근법이었다. 국부적 기어가는 것은 필리포 멘체르^[5][6] 차크라바르티 등이 '초점 크롤러'라는 용어를 처음 만들어내고 텍스트^[7] 분류기를 사용해 기어가는 프론티어의 우선순위를 정했다. Andrew McCallum과 공동 저자는 크롤러에 초점을 맞추기 위해 강화 학습을^[8][9] 사용하기도 했다. Davidii 등에서는 분류자를 교육하기 위해 관련 페이지와 텍스트 내용까지 이어지는 상황^[10] 그래프를 추적했다. 온라인 강화 학습의 형태는 DOM 트리에서 추출한 특징과 페이지 연결 텍스트와 함께 사용되어 크롤을 안내하는 분류자를^[11] 지속적으로 양성하고 있다. 국소적 기어가는 알고리즘에 대한 리뷰에서 멘처 등은 그러한 간단한 전략이 짧은 크롤에 매우 효과적이지만, 강화 학습과 진화적응과 같은 보다 정교한 기술은 더 긴 크롤에 비해 최상의 성능을 제공할 수 있다는 것을 보여준다.^[12] 웹 문서를 분류하기 위해서는 공간 정보가 중요하다는 것이 밝혀졌다.^[13]

또 다른 유형의 집중 크롤러는 의미 중심 크롤러로, 도메인 온톨로지를 사용하여 주제 지도를 나타내고 웹 페이지를 선택과 분류 목적을 위한 관련 온톨로지 개념과 연결한다.^[14] 또한 온톨로지는 기어가는 과정에서 자동으로 업데이트될 수 있다. 동 등은 웹페이지 탐색 시 온톨로지 개념의 내용을 업데이트하기 위해 서포트 벡터 머신을 이용한 온톨로지 학습 기반 크롤러를 소개했다.^[15]

크롤러는 주제 이외의 페이지 속성에도 초점을 맞춘다. 조씨 등은 다양한 크롤 우선 순위 정책과 그것들이 가져온 페이지의 링크 인기에 미치는 영향에 대해 연구한다.^[16] Najork와 Weiner는^[17] 인기 있는 종자 페이지에서 시작하여 넓이 먼저 기어가면 크롤 초기에 큰 페이지 랭크 페이지를 수집하게 된다는 것을 보여준다. 오래된(잘 유지되지 않는) 페이지의 검출과 관련된 개선사항은 아이론 외 연구진에 의해 보고되었다.^[18] 일종의 의미 중심 크롤러의 일종으로, 강화 학습의 개념을 활용하는 것이 Meusel 외 연구진에 의해 소개되었다.^[19] RDFa, Microformats, Microdata와 같은 마크업 언어로 페이지를 효율적으로 탐색하기 위해 도적단 기반 선택 전략과 함께 온라인 기반 분류 알고리즘을 사용한다.

초점 크롤러의 성능은 검색되는 특정 주제에 있는 링크의 풍부함에 따라 달라지며, 초점 크롤러는 보통 출발점을 제공하기 위해 일반적인 웹 검색 엔진에 의존한다. Davison은^[20] 웹 링크와 왜 집중된 기어가 광범위한 주제에서 성공하는지를 설명하는 텍스트에 대한 연구를 발표했다; 유사한 연구들은 Chakrabarti 외 연구자들에 의해 발표되었다.^[21] 종자 선택은 집중적인 크롤러에게 중요할 수 있으며 크롤링 효율에 상당한 영향을 미칠 수 있다.^[22] 화이트리스트 전략은 고품질 시드 URL 목록에서 포커스 크롤을 시작하고 탐색 범위를 이러한 URL의 도메인으로 제한하는 것이다. 이러한 고품질 씨앗은 오랜 기간 동안 일반 웹 탐색에 걸쳐 축적된 URL 후보 목록을 기반으로 선택해야 한다. 화이트리스트는 작성된 후 주기적으로 업데이트해야 한다.

참조