80도
80legs | |
사이트 유형 | 웹 크롤링 서비스 |
|---|---|
| 다음에서 사용 가능 | 영어 |
| 소유자 | 데이터피니티, LLC |
| 작성자 | 시온 데이사카르 |
| URL | www |
| 시작됨 | 2009년 9월 |
80ℓ는 이용자가 서비스 플랫폼으로서 소프트웨어를 통해 웹 크롤을 만들어 실행할 수 있는 웹 크롤 서비스다.
역사
80레그는 텍사스 휴스턴에 있는 컴퍼니 크롤링에 의해 만들어졌다.2009년 4월 80레그의 프라이빗 베타를 출시하고, DEMOfall 09 컨퍼런스에서 공개적으로 서비스를 개시했다.공개 당시 80레그는 맞춤형 웹스크롤과 스크래핑 서비스를 제공했다.그 이후로 그것은 가입 계획과 다른 상품들을 추가했다.[1][2]
기술
80˚는 분산형 그리드 컴퓨팅 네트워크 위에 구축된다.[3]이 그리드는 약 5만 대의 개별 컴퓨터로 구성되며 전 세계에 배포되며 대역폭 모니터링 기술을 사용하여 대역폭 상한 초과 현상을 방지한다.[4]
80레그는 분산 서비스 거부 공격의 역할을 하며 로봇에 복종하지 않는다는 이유로 수많은 사이트 소유주들로부터 비난을 받아왔다.txt.[5][6][7][8] 보통의 웹마스터는 80레그의 존재를 알지 못하기 때문에 크롤러에 대한 접속 차단은 이미 너무 늦었을 때, 서버 디도스, 그리고 로그파일의 심층적인 분석 후에 발견되었을 때에만 가능하다.
modsecurity에 대한 일부 규칙 집합(예: Atomicorp의[9] 규칙 집합)은 DDS를 방지하기 위해 80레그부터 웹서버에 대한 모든 액세스를 차단한다.웹나이트도 기본적으로 80레그를 차단한다.분산형 크롤러인 만큼 IP로 크롤러를 차단하는 것은 불가능하다.80레그를 차단하는 가장 좋은 방법은 UserAgent "008"[10]이다.파괴 사이트는 기본적으로 80레그를 차단한다.
참조
- ^ 아마존닷컴 80ft는 웹 크롤러를 자유롭게 한다.
- ^ http://www.readwriteweb.com/archives/bulk_social_data_80legs.php 2010-07-22, Wayback Machine Thoughts From the Wayback Who With the World, Wine
- ^ http://gigaom.com/2009/09/22/80legs-is-where-setihome-meets-google/ 80px는 SETI@home과 구글이 만나는 곳이다.
- ^ http://gigaom.com/2009/05/14/80legs-cares-about-your-bandwidth-cap/ 80ft 대역폭 한계에 대한 관심
- ^ http://www.datamadness.com/2012/01/ddosed-by-80legs/ 웨이백 머신에 2012-01-16을 80˚로 아카이빙
- ^ http://news.ycombinator.com/item?id=1056960 해커뉴스 스레드
- ^ http://www.webmasterworld.com/search_engine_spiders/4457359.htm Webmasterworld 스레드
- ^ https://twitter.com/openstreetmap/status/221188821721681920 OpenStreetMap의 불만 사항
- ^ "Archived copy". Archived from the original on 2013-04-07. Retrieved 2013-02-05.
{{cite web}}: CS1 maint: 타이틀로 보관된 사본(링크) - ^ "Archived copy". Archived from the original on 2013-10-31. Retrieved 2013-11-06.
{{cite web}}: CS1 maint: 타이틀로 보관된 사본(링크)
