평가 포럼 회의 및 실습

Conference and Labs of the Evaluation Forum
평가 포럼 회의 및 실습
CLEF Logo.png
정보 액세스 잠금 해제
약어CLEF
규율정보 검색
발행내역
출판사스프링거 및 CEUR 작업장 절차
역사2000; 22년 전(2000년); 이전에는 2000년부터 2009년까지 교차 언어 평가 포럼으로 알려져 있었다.
빈도연간의
웹사이트www.clef-initiative.eu

평가 포럼(Conference and Labs of the Evaluation Forum) 또는 CLEF는 다국어 정보 접근에 관한 연구를 추진하는 조직이다(현재 유럽 언어에 초점을 맞추고 있다).그것의 구체적인 기능은 정보 검색 시스템을 테스트하기 위한 기본 프레임워크를 유지하고 연구자들이 비교 가능한 표준을 개발하는 데 사용할 수 있는 데이터 저장소를 만드는 것이다.[1]이 기구는 2000년 처음 구성된 워크숍 이후 매년 9월 유럽에서 회의를 연다.1997년부터 1999년까지 미국에서 매년 조직된 유사한 평가 회의인 TREC는 유럽 언어에 대한 교차 언어 IR의 평가를 위한 트랙을 포함했다.이 트랙은 NIST와 수년간 성장한 유럽 자원 봉사 그룹에 의해 공동으로 조정되었다.1999년 말, 일부 참가자들에 의해 유럽으로 활동을 이전하고 독립적으로 설립하기로 결정되었다.그 목적은 커버리지를 더 많은 언어로 확장하고 영어 이외의 언어에 대한 단일 언어 체계 평가를 포함한 더 넓은 범위의 문제에 집중하는 것이었다.수년간 CLEF는 EU의 다양한 자금 지원 프로젝트와 이니셔티브에 의해 지원을 받아왔다.[2]

CLEF 2019는 학회 20주년을 맞아 20년 간의 평가 활동으로 얻은 교훈에 대한 책을[3] 출간하며 기념했다.

CLEF의 구조

2010년 이전에 [4]CLEF는 TREC와 유사한 다수의 평가 실험실 또는 트랙으로 구성된 유럽 디지털 라이브러리 컨퍼런스와 공동 위치한 워크샵으로 조직되었다.2010년에 CLEF는 평가 실험실, 실험실 워크샵, 메인 컨퍼런스 트랙과 함께 자급자족적으로 조직된 컨퍼런스로 자리를 옮겼다.2012년에는 Schloß Dagstuhl에서 매년 조직되었던 구조화된 텍스트 검색 및 액세스에 관한 워크숍인 INSE가 CLEF와 합병하여 평가 연구소 중 하나가 되었다.

각 CLEF 컨퍼런스에 앞서 평가실 참가자들은 일련의 도전 과제를 받는다.업무는 정보 검색 시스템의 다양한 측면을 시험하고 그 개발을 장려하기 위해 고안되었다.연구자 그룹은 이러한 과제를 만족시키기 위한 캠페인을 제안하고 조직하며, 그 결과는 특정 분야에서 예술 상태를 위한 벤치마크로 사용된다.[5][6]

초기에는 CLEF가 주로 상당히 전형적인 정보검색 업무에 집중하였으나, 보다 구체적인 업무로 옮겨갔다.예를 들어 2005년 대화형 이미지 검색 작업은 플리커의[7] 이미지를 사용한 비픽션 텍스트와 컴퓨터 단층 촬영, MRI 및 방사선 이미지를 검색하는 데 초점을 맞춘 2010년 의료 검색 작업으로 수행되었다.[8]2017년 CLEF는 사진이나 동영상에서 생물 종을 식별하는 것, 저작자의 양식적 분석, 건강 관련 정보 접근과 같은 여러 작업을 수용했다.

CLEF 워크샵 및 컨퍼런스 목록

연도 위치 참고 절차 편집자
2000 리스본 구성 작업장 교차 언어 정보 검색 및 평가:IMT-2000 3GPP-언어 간 평가 포럼 워크샵 캐롤 앤 피터스
2001 다름슈타트 교차 언어 정보 검색 시스템 평가:두 번째 워크샵: 언어 평가 포럼(CLEF 2001) 개정 논문 캐롤 앤 피터스와 마틴 브래슬러, 훌리오 곤살로, 마틴 클럭
2002 로마 교차 언어 정보 검색의 발전:세 번째 워크샵: 언어 평가 포럼(CLEF 2002) 개정 논문 캐롤 앤 피터스와 마틴 브래슬러, 훌리오 곤살로, 마틴 클럭
2003 트론하임 다국어 정보접근 시스템의 비교평가:CLEF 2003(Cross-Language Evaluation Forum) 4차 워크샵 선택 논문 수정 캐롤 앤 피터스와 마틴 브래슬러, 훌리오 곤살로, 마틴 클럭
2004 목욕 텍스트, 음성 및 이미지에 대한 다국어 정보 액세스:CLEF 2004(Cross-Language Evaluation Forum) 5차 워크샵 선정 논문 수정 캐롤 앤 피터스와 폴 클로우, 훌리오 곤살로, 가레스 J F 존스, 마틴 클럭, 베르나르도 마그니니니
2005 비엔나 다국어 정보 저장소 액세스: 교차 언어 평가 포럼(CLEF 2005) 6차 워크샵선택한 문서 수정 캐롤 앤 피터스와 프레드 C 게이, 훌리오 곤살로, 가레스 J F 존스, 마틴 클럭, 베르나르도 마그니니와 헤닝 뮐러와 마아텐 드 라이케
2006 알리칸테 다국어 및 다국어 정보 검색의 평가 : 제7회 크로스 언어 평가 포럼(CLEF 2006) 워크샵선택한 문서 수정 Carol Ann Peters and Clough, P.와 Fred C Gey, Jussi Karlgren and Bernardo Magnini, Doug Oard and Maarten de Rike and M Stempfhuber.
2007 부다페스트 다국어 및 다국어 정보 검색의 발전:제8회 크로스—언어 평가 포럼(CLEF 2007) 워크샵.선택한 문서 수정 Carol Ann Peters와 Jijkun, V. and Mandl, T. 그리고 Henning Müler와 Oard, 그리고 Pegnas, A. and Petras, V. and Santos, D.
2008 우르후스 다국어 및 다국어 정보 액세스를 위한 시스템 평가:제9회 크로스—언어 평가 포럼(CLEF 2008) 워크샵.선택한 문서 수정 Carol Ann Peters and Deselerers, T.와 니콜라 페로, 훌리오 곤살로, 가레스 J F Joneso와 Kurimo, M. and Mandl, T. and Peenas, A.
2009 코르푸 다국어 정보 접근 평가 볼륨I 문자 검색 실험 -열 번째 워크샵: 언어 평가 포럼 (CLEF 2009)선택한 문서 수정 Carol Ann Peters and Di Nunzio, G. M.와 Kurimo, M. and Mandl, T.와 Mostepa, D.와 Pennas, A. and Roda, G.
2010 파두아 제1차 회의 다국어 및 다국어 정보 액세스 평가.국제언어평가포럼(CLEF 2010)의 국제회의 개최 절차 마리스텔라 아고스티와 니콜라 페로, 캐롤 앤 피터스와 마아텐 드 리케와 앨런 스미턴
2011 암스테르담 다국어 및 다국어 정보 액세스 평가.제2차 국제언어평가포럼 회의(CLEF 2011)의 진행사항 포너, P, 훌리오 곤살로, 케켈레이넨, J, 랄마스, M., 마아텐 드 리케
2012 로마 정보 액세스 평가.다국어, 다국어 및 시각적 분석.제3차 CLEF 이니셔티브 국제회의 개최 (CLEF 2012) Catarci, T. and Forner, P. and Hiemstra, D. and Pegnas, A. and Santucci, G.
2013 발렌시아 정보 접근성 평가는 다국어, 다국어 및 시각화를 충족한다.제4차 CLEF 이니셔티브 국제회의 개최 (CLEF 2013) 포너, P, 헤닝 뮐러, 파레데스, R, 로소, P, 스타인 B.
2014 셰필드 정보 액세스 평가 - 다국어, 다국어 및 상호 작용.제5차 CLEF 이니셔티브 국제회의 개최 (CLEF 2014) 카눌라스, E.와 루푸, M.와 Cloug, P.와 샌더슨, M.와 홀, M.와 Hanbury, A.와 Toms, E.
2015 툴루즈 다국어, 다국어, 다국어 및 상호작용을 충족하는 실험 IR제6회 CLEF 국제회의 개최 (CLEF 2015) 모테, J.와 사보이, J.와 J.와 자프 캄프스와 피넬-서바그나트, K.와 가레스 J.F 존스와 산주안, E.와 카펠라토, L.와 니콜라 페로.
2016 에보라 다국어, 다국어, 다국어 및 상호작용을 충족하는 실험 IR제7회 CLEF 국제회의 개최 (CLEF 2016) 푸어, N, 퀘레스마, P, 곤칼베스, T, 라르센, B, 발로그, K.와 맥도날드, C.와 카펠라토, L.와 니콜라 페로.
2017 더블린 다국어, 다국어, 다국어 및 상호작용을 충족하는 실험 IR제8회 CLEF 국제회의 개최 (CLEF 2017) 가레스 J F 존스 앤 롤리스, S.와 훌리오 곤살로, 켈리, L.와 로레인 괴류롯, 토마스 만델라와 카펠라토, L.와 니콜라 페로
2018 아비곤네 다국어, 다국어, 다국어 및 상호작용을 충족하는 실험 IR제9회 CLEF 국제회의 개최 (CLEF 2018) 패트리스 벨롯, 시라즈 트라벨시, 조시아네 모테, 피온 머타그, 지안윤 니, 로렌 수리에르, 에릭 산주안, 린다 카펠라토, 니콜라 페로
2019 루가노 다국어, 다국어, 다국어 및 상호작용을 충족하는 실험 IR제10회 CLEF 국제회의 개최 (CLEF 2019) 파비오 크레스타니, 마틴 브라슬러, 자크 사보이, 안드레아스 라우버, 헤닝 뮐러, 다비드 로사다, 건둘라 하인나츠, 린다 카펠라토, 니콜라 페로
2020 테살로니키(Covid-19로 인한 가상) 다국어, 다국어, 다국어 및 상호작용을 충족하는 실험 IR제11차 CLEF 국제회의 개최 (CLEF 2020) 아비 아람파츠, 에반게로스 카눌라스, 테오도라 치크리카, 스테파노스 브로치디스, 히데오호, 크리스티나 리오마, 카스텐 에이크호프, 오렐리 네베올, A, 린다 카펠라토, 니콜라 페로
2021 부쿠레슈티(Covid-19로 인한 가상) 다국어, 다국어, 다국어 및 상호작용을 충족하는 실험 IR제12차 CLEF 국제회의 개최 (CLEF 2021) K. 셀수크 칸단, 보그단 아이오네스쿠, 로레인 괴류롯, 버거 라르센, 헤닝 뮐러, 알렉시스 졸리, 마리아 마이스트로, 플로리나 피로이, 굴리엘모 파기올리, 니콜라 페로

참조

  1. ^ Peters, Carol; Braschler, Martin; Choukri, Khalid; Gonzalo, Julio; Kluck, Michael. The Future of Evaluation for Cross-Language Information Retrieval Systems. Second Workshop of the Cross-Language Evaluation Forum, CLEF 2001. CiteSeerX 10.1.1.109.7647.
  2. ^ 피터스, 캐롤, 마틴 브라슐러."유럽 연구서:교차 언어 시스템 평가:CLEF 캠페인." 정보과학 기술 협회 저널 52.12(2001): 1067-1072.
  3. ^ Ferro, Nicola; Peters, Carol (2019). Information Retrieval Evaluation in a Changing World - Lessons Learned from 20 Years of CLEF. volume 41 of The Information Retrieval Series. Springer International Publishing, Germany. doi:10.1007/978-3-030-22948-1.
  4. ^ 2010년 이전의 CLEF 역사
  5. ^ "Special Issue on CLEF". Information Retrieval. 7 (1–2). 2004. doi:10.1023/B:INRT.0000009472.59294.f6.
  6. ^ 프레드릭 C.Gey, Noriko Kando, Carol Peters의 정보 처리 및 관리 제41권, 제3권, p.415-431권, doi:10.1016/j.ipm.2004.06.006.
  7. ^ Karlgren, Jussi; Gonzalo, Julio; Clough, Paul (2006). iclef 2006 overview: Searching the flickr www photo-sharing repository. Seventh Workshop of the Cross-Language Evaluation Forum CLEF 2006..
  8. ^ Mueller, Henning (20 May 2010). "Medical Retrieval Task". ImageCLEF - Cross-language image retrieval evaluations. Retrieved 27 May 2010.

외부 링크


컴퓨터 회의에 관한 이 기사는 지루하다.위키피디아를 확장하여 도울 수 있다.