분산 검색엔진

Distributed search engine

분산 검색엔진은 중앙 서버가 없는 검색엔진이다.기존의 중앙집중식 검색엔진과 달리 크롤링, 데이터 마이닝, 인덱싱, 쿼리 처리 등의 작업은 단일 제어 지점이 없는 분산된 방식으로 여러 피어 사이에 분산되어 있다.

역사

로루르

로루르 프로젝트의 단기 목표는 분산형 방식으로 서민들의 컴퓨터 네트워크를 타고 달리는 분산형 검색엔진을 만드는 것이다.참여 노드 수가 충분히 크고 악의적인 노드의 비율이 계산 가능한 임계값 https://rorur.com/whitepaper을 초과하지 않으면 경쟁적 지연 시간과 요청된 순위 전달을 달성할 수 있다.아키텍처는 개발 및 유지보수를 위한 공공기여에 의존하는 오픈소스 알고리즘을 기반으로 한다.가입하고 기여하는 사람들에게 인센티브를 주기 위해, 광고로 인한 수익은 노드 유지 관리자들 사이에 분배된다.장기적인 목표는 인간과 웹의 상호작용을 지원하기 위해 개인 지식 그래프를 구성하고 유지하는 개인 검색 에이전트를 내장하는 것이다.[1]

사전 검색

2017년부터 시작된 프리서치(Presearch)는 다양한 소스의 결과를 집계하는 커뮤니티 운영 노드의 분산 네트워크를 통해 구동되는 검색 엔진이다.이는 https://engine.presearch.org/search에서 검색에 힘을 실어준다. 이는 각 노드가 글로벌 분산형 지수에 대해 협력하는 전조가 될 계획이다.[2] 사전 검색은 하루 평균 130만건의 검색과 220만명의 등록된 사용자를 가지고 있다.2021년 9월 1일 EU용 안드로이드 검색엔진 목록에 프리서치가 기본 옵션으로 추가되었다.[3]

야시

2003년 12월 15일 마이클 크리스틴은 헤이즈 온라인 포럼에서 결국 YaCy라는 이름을 가진 P2P 기반 검색 엔진의 개발을 발표했다.[4][5]

이슬

학술 문헌에서 논의된 분산 검색 엔진의 이론적 설계.[6]

추구하다

검색은 웹 검색을 위한 오픈 소스 웹 검색 프록시 및 협업 분산 도구였습니다.그것은 2016년에 사용 가능한 발매가 중단되었다.

InfraSearch

2000년 4월에 몇몇 프로그래머들(Gene Kan, Steve Waterhouse 포함)은 InfraSearch라고 불리는 Gnutella를 기반으로 한 시제품 P2P 웹 검색 엔진을 만들었다.이 기술은 후에 선 마이크로시스템스에 의해 인수되어 JXTA 프로젝트에 통합되었다.[7]그것은 참여 웹사이트의 데이터베이스 안에서 실행되어 InfraSearch 웹사이트를 통해 접속할 수 있는 P2P 네트워크를 만드는 것을 의미했다.[8][9][10]

오픈콜라

2000년 5월 31일 Steelbridge Inc.는 협력적 분배 오픈 소스 검색 엔진인 OpenCOLA의 개발을 발표했다.[11]사용자의 컴퓨터에서 실행되며 웹 페이지를 스크롤하고 사용자가 자신의 오픈콜라 폴더와 P2P 네트워크를 통해 결과 인덱스를 공유하도록 링크한다.[12]

마리오

2001년 2월 울프 가르베는 피어 투 피어 검색 엔진의 아이디어를 발표하여 2004년에 파루 시제품을 시작하였고,[13][14] 2005년에 출시하였다.[15][16]


목표들

분산 검색 엔진 구축의 목표는 다음과 같다.

1. 커뮤니티에 의해 구동되는 독립적인 검색 엔진을 생성한다.

2. 오픈 소스 소프트웨어에 의존하여 검색 작업을 개방적이고 투명하게 한다.

3. 노드 유지 관리자에게 광고 수익을 분배하여 보다 견고한 웹 인프라를 구축하는 데 도움이 될 수 있다.

4. 연구자가 공개 소스 및 공개 평가 순위 알고리즘의 개발에 기여하고 알고리즘 매개변수의 훈련을 감독할 수 있도록 한다.

과제들

1. 처리할 데이터의 양이 엄청나다.보이는 웹의 크기는 약 100억페이지에 걸쳐 5PB로 추정된다.

2. 분산 운영의 지연 시간은 상업적 검색 엔진의 지연 시간과 경쟁적이어야 한다.

3. 악성 사용자가 분산된 데이터 구조나 순위를 손상시키지 못하도록 하는 메커니즘을 개발할 필요가 있다.

참고 항목

참조

  1. ^ "Distributed Search Engine".
  2. ^ "Presearch is a Decentralized Search Engine".
  3. ^ 297shares; 4.3kreads (2021-09-01). "Google Adds Presearch As A Default Option on Android Devices in EU". Search Engine Journal. Retrieved 2021-11-10.
  4. ^ "YaCy: News". Archived from the original on 2005-11-24.
  5. ^ Michael Christen. "Ich entwickle eine P2P-basierende Suchmaschine. Wer macht mit?". heise online.
  6. ^ "DEWS: A decentralized engine for Web search".
  7. ^ Justin Hibbard. "Can peer-to-peer grow up?". Red Herring.[영구적 데드링크]
  8. ^ Simon Foust. "Move Over Yahoo, Here Comes InfraSearch". Dmusic. Archived from the original on 2000-10-13.
  9. ^ Sean M. Dugan. "Peer-to-peer networking is poised to revolutionize the Internet once again". InfoWorld. Archived from the original on 2000-10-18.
  10. ^ John Borland. "Napster-like technology takes Web search to new level". Cnet.
  11. ^ David Akin. "Software launched with a little pop". Financial Post.[데드링크]
  12. ^ Paul Heltzel. "OpenCola-Have Some Code and a Smile". Technology Review.
  13. ^ Wolf Garbe. "BINGOOO - Die Transformation des World Wide Web zur virtuellen Datenbank" (in German). Wirtschaftinformatik. Archived from the original on 2014-02-02. Retrieved 2010-12-21. ... Wir setzen dem das Konzept einer verteilten Peer-to-Peer-Suchmaschine entgegen [We counter with the concept of a distributed peer-to-peer search engine] ...
  14. ^ Bernard Lunn. "Technical Q&A With FAROO Founder". ReadWriteWeb. Archived from the original on 2011-02-14. ... When I started to work on the first prototype in 2004 ...
  15. ^ "FAROO: History". Archived from the original on 2008-03-22.
  16. ^ "Revisited: Deriving crawler start points from visited pages by monitoring HTTP traffic". Faroo.