일반 크롤

Common Crawl
일반 크롤
업태501(c)(3) 비영리
이용가능기간:영어
본사캘리포니아주 샌프란시스코, 캘리포니아주 로스앤젤레스, 미국
설립자길 엘바즈
주요 인물피터 노비그, 노바 스피백, 칼 말라무드, 커트 볼래커 조이 이토
URLcommoncrawl.org

Common Crawl은 웹을 탐색하고 아카이브와 데이터 세트를 [1][2]대중에게 자유롭게 제공하는 비영리 501(c)(3) 조직입니다.Common Crawl의 웹 아카이브는 2011년 [3]이후 수집된 페타바이트 단위의 데이터로 구성됩니다.일반적으로 매달 [4]크롤을 완료한다.

Common Crawl은 [5]Gil Elbaz에 의해 설립되었습니다.이 비영리 단체의 고문에는 피터 노비그와 조이 [6]이토가 포함되어 있다.그 조직의 기어다니는 사람들은 노 팔로우와 로봇을 존중한다.txt 정책.Common Crowl의 데이터 세트를 처리하기 위한 오픈 소스 코드를 공개적으로 사용할 수 있습니다.

역사

Amazon Web Services는 [7]2012년에 퍼블릭 데이터 세트 프로그램을 통해 Common Crowl의 아카이브를 호스팅하기 시작했습니다.

조직은 그해 [8]7월부터 .arc 파일과 함께 메타데이터 파일과 크롤러의 텍스트 출력을 공개하기 시작했습니다.Common Crowl의 아카이브에는 이전에는 .[8]arc 파일만 포함되어 있었습니다.

2012년 12월, [9]2012년 2월부터 10월까지 실시한 크롤에서 수집한 Common Crowl 검색 엔진 메타데이터 blko에 blko를 기부했습니다.기부된 데이터는 Common Crowl이 스팸, 포르노 및 과도한 [9]SEO의 영향을 피하면서 크롤링을 개선하는 데 도움이 되었습니다.

2013년 Common Crawl은 커스텀 크롤러 [10]대신 Apache Software Foundation의 Nutch 웹크롤러를 사용하기 시작했습니다.Common Crawl은 2013년 11월 [11]크롤을 통해 .arc 파일 사용에서 .warc 파일로 전환했습니다.

일반 크롤의 필터링된 버전이 Open을 훈련하는 데 사용되었습니다.2020년에 [12]발표된 AI의 GPT-3 언어 모델.Common Crowl 데이터를 사용하는 데 있어 한 가지 과제는 문서화된 방대한 양의 웹 데이터에도 불구하고 크롤된 개별 웹 사이트의 문서화가 더 잘 이루어질 수 있다는 것입니다.이로 인해 공통 크롤 데이터를 사용하는 프로젝트에서 문제를 진단하려고 할 때 문제가 발생할 수 있습니다.Timnit Gebru 등이 2020년에 업계 전반의 문서 부족에 대해 제안한 솔루션은 모든 데이터셋에 동기, 구성, 수집 프로세스 및 권장 [13]용도를 문서화하는 데이터시트를 첨부해야 한다는 것입니다.

공통 크롤 데이터 이력

공식 Common Crawl [14]블로그에서 수집한 데이터는 다음과 같습니다.

크롤 날짜 크기(TiB) 수십억 페이지 평.
2021년 4월 320 3.1
2018년 11월 220 2.6
2018년 10월 240 3.0
2018년 9월 220 2.8
2018년 8월 — —
2018년 7월 255 3.25
2018년 6월 235 3.05
2018년 5월 215 2.75
2018년 4월 230 3.1
2018년 3월 250 3.2
2018년 2월 270 3.4
2018년 1월 270 3.4
2017년 12월 240 2.9
2017년 11월 260 3.2
2017년 10월 300 3.65
2017년 9월 250 3.01
2017년 8월 280 3.28
2017년 7월 240 2.89
2017년 6월 260 3.16
2017년 5월 250 2.96
2017년 4월 250 2.94
2017년 3월 250 3.07
2017년 2월 250 3.08
2017년 1월 250 3.14
2016년 12월 — 2.85
2016년 10월 — 3.25
2016년 9월 — 1.72
2016년 8월 — 1.61
2016년 7월 — 1.73
2016년 6월 — 1.23
2016년 5월 — 1.46
2016년 4월 — 1.33
2016년 2월 — 1.73
2015년 11월 151 1.82
2015년 9월 106 1.32
2015년 8월 149 1.84
2015년 7월 145 1.81
2015년 6월 131 1.67
2015년 5월 159 2.05
2015년 4월 168 2.11
2015년 3월 124 1.64
2015년 2월 145 1.9
2015년 1월 139 1.82
2014년 12월 160 2.08
2014년 11월 135 1.95
2014년 10월 254 3.7
2014년 9월 220 2.8
2014년 8월 200 2.8
2014년 7월 266 3.6
2014년 4월 183 2.6
2014년 3월 223 2.8 첫 너치 크롤
2014년 1월 148 2.3 매월 수행된 크롤
2013년 11월 102 2 Warc 파일 형식의 데이터
2012년 7월 — — 호 형식의 데이터 파일 형식
2012년 1월 — — Amazon 웹 서비스의 공용 데이터 집합
2011년 11월 40 5 Amazon에서 최초 제공

Norvig Web Data Science 어워드

Common Crowl은 SUFsara와 협력하여 베네룩스의 [15][16]학생과 연구자가 참가할 수 있는 Norvig Web Data Science Award를 후원하고 있습니다.이 상은 [15]심사위원장을 겸하고 있는 피터 노비그의 이름을 딴 것이다.

레퍼런스

  1. ^ Rosanna Xia (February 5, 2012). "Tech entrepreneur Gil Elbaz made it big in L.A." Los Angeles Times. Retrieved July 31, 2014.
  2. ^ "Gil Elbaz and Common Crawl". NBC News. April 4, 2013. Retrieved July 31, 2014.
  3. ^ "So you're ready to get started". Retrieved 2018-06-02.
  4. ^ Lisa Green (January 8, 2014). "Winter 2013 Crawl Data Now Available". Retrieved June 2, 2018.
  5. ^ "Startups - Gil Elbaz and Nova Spivack of Common Crawl - TWiST #222". This Week In Startups. January 10, 2012.
  6. ^ Tom Simonite (January 23, 2013). "A Free Database of the Entire Web May Spawn the Next Google". MIT Technology Review. Retrieved July 31, 2014.
  7. ^ Jennifer Zaino (March 13, 2012). "Common Crawl To Add New Data In Amazon Web Services Bucket". Semantic Web. Archived from the original on July 1, 2014. Retrieved July 31, 2014.
  8. ^ a b Jennifer Zaino (July 16, 2012). "Common Crawl Corpus Update Makes Web Crawl Data More Efficient, Approachable For Users To Explore". Semantic Web. Archived from the original on August 12, 2014. Retrieved July 31, 2014.
  9. ^ a b Jennifer Zaino (December 18, 2012). "Blekko Data Donation Is A Big Benefit To Common Crawl". Semantic Web. Archived from the original on August 12, 2014. Retrieved July 31, 2014.
  10. ^ Jordan Mendelson (February 20, 2014). "Common Crawl's Move to Nutch". Common Crawl. Retrieved July 31, 2014.
  11. ^ Jordan Mendelson (November 27, 2013). "New Crawl Data Available!". Common Crawl. Retrieved July 31, 2014.
  12. ^ Brown, Tom; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini (2020-06-01). "Language Models are Few-Shot Learners". p. 14. arXiv:2005.14165 [cs.CL]. the majority of our data is derived from raw Common Crawl with only quality-based filtering.
  13. ^ Gebru, Timnit; Morgenstern, Jamie; Vecchione, Briana; Wortman Vaughan, Jennifer; Wallach, Hanna; Daumé III, Hal; Crawford, Kate (March 19, 2020). "Datasheets for Datasets". arXiv:1803.09010 [cs.DB].
  14. ^ "Blog – Common Crawl".
  15. ^ a b Lisa Green (November 15, 2012). "The Norvig Web Data Science Award". Common Crawl. Retrieved July 31, 2014.
  16. ^ "Norvig Web Data Science Award 2014". Dutch Techcentre for Life Sciences. Archived from the original on August 15, 2014. Retrieved July 31, 2014.

외부 링크