야시

YaCy
야시
YaCy logo.png
Yacy-buscador.png
원본 작성자마이클 크리스틴
개발자야시 커뮤니티
최초 공개.2003; 19년 전(2003)[1]
안정적 해제
1.924 / 2020년 12월 14일; 13개월 전(2020-12-14)
리포지토리github.com/yacy/yacy_search_server
기록 위치자바
운영 체제크로스 플랫폼
유형오버레이 네트워크, 검색 엔진
면허증GPL-2.0 또는 라이터
웹사이트yacy.net/en/

YaCy("ya see"로 발음됨)는 P2P(Peer-to-Peer) 네트워크의 원리를 기반으로 구축된 무료 분산 검색 엔진이다.[2][3] 그것의 핵심은 2006년 9월 현재 수백 대의 컴퓨터에 배포된 자바어로 쓰여진 컴퓨터 프로그램, 이른바 야씨피어(YaCy-peers)이다. 각 YaCy-peer는 P2P 네트워크의 원리를 사용하여 인터넷을 독립적으로 탐색하고, 발견된 웹 페이지를 분석하고 색인화하고, 색인 결과를 다른 YaCy-peer와 공유하는 공통 데이터베이스(일명 색인)에 저장한다. 누구나 자신의 인트라넷을 위한 검색 포털을 구축하고 공공 인터넷 검색을 명확히 하는데 사용할 수 있는 검색 엔진이다.

반분산 검색 엔진에 비해 야시 네트워크는 분산형 아키텍처를 가지고 있다. 모든 YaCy-peer는 동일하며 중앙 서버가 존재하지 않는다. 이는 컴퓨터에서 YaCy를 실행하는 사람이 방문한 웹 페이지를 색인화하여 탐색 모드 또는 로컬 프록시 서버로 실행될 수 있다. (사용자의 프라이버시를 보호하기 위한 여러 메커니즘이 제공된다.) 검색 기능에 대한 액세스는 검색어를 입력할 수 있는 검색 상자를 제공하고 검색 결과를 다른 인기 검색 엔진과 유사한 형식으로 반환하는 로컬 실행 웹 서버에 의해 이루어진다.

YaCy는 2003년에 Michael Christen에 의해 만들어졌다.[4]

시스템 구성 요소

YaCy 검색 엔진은 다음 네 가지 요소를 기반으로 한다.[5]

크롤러
웹 페이지 사이를 가로지르며 내용을 분석하는 검색 로봇.[6]
인덱서
역방향 단어 색인(RWI)을 작성한다. 즉, RWI의 각 단어에는 관련 URL 및 순위 정보가 수록되어 있다. 단어는 해시의 형태로 저장된다.[7]
검색 및 관리 인터페이스
로컬 HTTP 서블릿이 서블릿 엔진을 사용하여 제공하는 웹 인터페이스로 제작.[8]
데이터 스토리지
분산 해시 테이블을 사용하여 역방향 단어 색인 데이터베이스를 저장하는 데 사용된다.
야시의 홈페이지

검색엔진 기술

야시 네트워크
  • YaCy는 사용자 인터페이스, 색인, 관리 및 모니터링을 갖춘 완전한 검색 어플라이언스다.
  • YaCy는 웹 크롤러로 웹 페이지를 수집한다. 그런 다음 문서를 구문 분석하고 색인화하고 검색 색인을 로컬로 저장한다. 피어가 피어 네트워크의 일부인 경우 로컬 검색 색인도 해당 네트워크의 공유 색인으로 병합된다.
  • 검색이 시작되면 로컬 인덱스가 YaCy 검색 네트워크의 피어에서 가져온 글로벌 검색 인덱스와 함께 기여한다.
  • YaCy Grid는 YaCy 피어 투 피어 검색의 2세대 구현이다. YaCy Grid 설치는 MCP를 사용하여 통신하는 마이크로 서비스로 구성된다.
  • YaCy Parser는 Docker를 사용하여 배포할 수 있는 마이크로 서비스다. 파서 컴포넌트가 시작되면 MCP를 검색하여 파서 컴포넌트에 연결한다. 기본적으로 로컬 호스트가 MCP를 검색하지만 직접 MCP를 구성할 수 있다.

YaCy 플랫폼 아키텍처

YaCy가 사용하는 여러 구성 요소의 결과를 보여주는 웹 검색

YaCy는 검색 엔진 인덱싱의 네트워킹, 관리 및 유지보수를 위해 블랙리스트 작성, 조정, 커뮤니티와의 커뮤니케이션 등 다양한 기술을 사용한다. YaCy가 이러한 작업을 수행하는 방법은 다음과 같다.

  • 커뮤니티 구성 요소
    1. 웹 포럼[9]
    2. 통계
    3. XML API
  • 유지 관리
    1. 웹 서버
    2. 인덱싱
    3. 밸런서가 있는 크롤러
    4. 피어 투 피어 서버 통신
  • 콘텐츠 구성
    1. 블랙리스트 작성 및 필터링
    2. 검색 인터페이스
    3. 책갈피
    4. 검색 결과 모니터링

분배

YaCy는 Linux, Windows, Macintosh용 패키지와 Docker 이미지로도 이용 가능하다. YaCy는 또한 수동으로 컴파일하거나 타르볼을 사용하여 다른 운영 시스템에 설치할 수 있다.[10] YaCy는 Java 8이 필요하며 OpenJDK 8이 권장된다.

데비안 패키지는 프로젝트 웹 사이트의 하위 도메인에서 사용할 수 있는 리포지토리에서 설치할 수 있다.[11][12] 이 패키지는 아직 데비안 공식 패키지 리포지토리에 유지되지 않고 있다.[13]

참고 항목

  • Duble – YaCy Search Engine Tool 위젯이 통합된 오픈 소스 웹 브라우저

참조

  1. ^ "Ich entwickle eine P2P-basierende Suchmaschine. Wer macht mit?". Heise Online (in German). 2003-12-15. Retrieved 2018-05-09.
  2. ^ "YaCy takes on Google with open source search engine". The Register. 2011-11-29. Retrieved 2012-04-16.
  3. ^ "YaCy: It's About Freedom, Not Beating Google". PC World. 2011-12-03. Retrieved 2012-04-16.
  4. ^ "Ich entwickle eine P2P-basierende Suchmaschine. Wer macht mit?". Heise Online (in German). 2003-12-15. Retrieved 2018-05-09.
  5. ^ "YaCy Technology Architecture". YaCy.net. Retrieved 2012-02-14.
  6. ^ GitHub: YaCy Grid Crawler, YaCy Search Engine, 2021-02-28, pp. yacy / yacy_grid_crawler, retrieved 2021-03-11
  7. ^ GitHub: YaCy Grid Parser, YaCy Search Engine, 2021-02-28, pp. The YaCy Grid is the second-generation implementation of YaCy, retrieved 2021-03-11
  8. ^ GitHub: YaCY Search, YaCy Search Engine, 2021-02-28, pp. yacy / yacy-search forked from cream/yacy-search, retrieved 2021-03-11
  9. ^ "forum.yacy.de". Retrieved 6 June 2017.
  10. ^ "Download - YaCy". yacy.net. Retrieved 2021-07-27.
  11. ^ "En:DebianInstall". YaCyWiki. Retrieved 6 October 2019.
  12. ^ "Dev:TaskSharing". YaCyWiki. Retrieved 6 October 2019.
  13. ^ "#452422 - RFP: yacy -- distributed web crawler and search engine". Debian Bug report logs. Retrieved 2 May 2020.

추가 읽기

YaCy at LinuxReviews

외부 링크