Page semi-protected

사용자:ClueBot NG/FAQ

이 페이지에는 ConverseBot NG에 대해 자주 묻는 질문이 포함되어 있습니다. 질문하기 전에 질문이 여기에 나열되어 있지 않은지 확인하십시오.

코어 알고리즘

왜 ConverseBot NG는 이 편집을 반달리즘이나 건설적인 것으로 분류했는가?

단서봇 NG는 주어진 편집이 반달리즘일 확률을 발생시킴으로써 작용한다. 일정 점수 이상의 확률로 편집하는 것은 공공 기물 파손으로 간주된다. 점수의 기원을 정확히 구별하는 것은 종종 어렵다. ConverseBot NG는 편집에서 통계를 검사하고 통계와 출력 사이의 관계를 계산한다. 이러한 관계들이 인간에게 항상 명백한 것은 아니다. 인간은 대개 콘텐츠의 의미를 주로 보는 반면, 실마리봇 NG는 많은 숫자의 집합을 본다. 보통 인간이 그 숫자의 집합만을 보고, 왜 ConverseBot NG가 그렇게 했는지 알아내는 것은 매우 어렵거나 불가능한 일이다.

많은 경우에, 이것은 인간이 쉽게 놓칠 수 있는 정확한 분류로 이어지거나, 인간이 연구를 하는데 시간이 걸릴 수 있는 곳에서 매우 빠르게 되돌아간다. 반대로, 그것은 왜 잘못된 양성이 발생했는지를 판단하기가 매우 어려울 수 있다는 것을 의미하기도 한다. 자세한 내용은 잘못된 긍정을 참조하십시오.

느낌표/흔들림/<의 무게를 줄이거나 늘리는 것은 어떨까?여기에 메트릭 삽입>?

단서봇 NG는 체중을 사용하지 않는다. 최적의 무게를 결정할 뿐만 아니라 보다 복잡한 패턴과 관계를 발견할 수 있는 인공신경망이라는 알고리즘을 사용한다. 수정할 수 있는 정적인 무게는 없다.

나쁜 단어 목록은 어디에 있는가?

나쁜 단어 목록은 없다. 이 봇은 베이시안 분류를 사용하여 정확한 통계 확률을 가진 단어 목록을 자동으로 생성한다.

만약 누군가가 인용문 안에 있는 나쁜 말들을 합법적으로 사용한다면 어떻게 될까?

봇은 인용된 텍스트를 일반 텍스트와 다르게 처리한다. 단순히 텍스트의 범위를 인용하는 것만으로는 편집이 반달리즘이라면 봇을 "바보"하는 데 충분하지 않지만, 건설적인 편집의 경우 인용문 내부의 일부 용인할 수 있는 나쁜 말들이 무시될 수도 있다.

데이터 집합

데이터 집합은 무엇이며 어떻게 사용되는가?

단서봇 NG는 반달리즘을 인식하도록 사전 프로그래밍되지 않았다는 점에서 다른 반달리즘 봇과 다르다. 대신에, 그것은 공공 기물 파손과 건설적인 편집을 매우 많이 검토함으로써 기물 파손으로 간주되는 것을 배운다. 이 매우 큰 편집 세트를 데이터 집합이라고 부른다.

데이터 세트를 자동으로 생성하지 않으시겠습니까?

우리는 자동으로 생성되는 일부 편집을 사용하지만, 두 가지 이유로 이상과는 거리가 멀다. 첫째, 생성된 편집은 어떤 통계를 생성하느냐에 따라 항상 어느 정도 편향된다. 둘째, 생성된 편집은 종종 부정확하며, 데이터 집합의 작은 부정확성으로 인해 정확도가 크게 떨어질 수 있다.

내가 어떻게 도울 수 있을까?

데이터 집합에 대한 편집 내용을 수동으로 검토할 사람들이 필요하다. 도움이 필요하면 여기를 참조하십시오.

편집

왜 ConverseBot NG의 편집은 봇 편집으로 나타나지 않는가?

반반발 봇 편집은 보통 봇 깃발로 태그가 붙지 않는다. 이것은 의도적이며, LevelBot NG에만 특정되지 않는다 – 모든 항반달 봇에 적용된다.

이에 대한 두 가지 이유가 있다.

  • 반반달 봇은 그렇지 않으면(일반적으로 그리고 최종적으로) 인간에 의해 수행될 수 있는 편집의 연속적인 흐름을 하고 있기 때문에, 고정되지 않은 편집은 피드에 나타나는 편집의 양을 증가시키지 않으며, 클러스터링을 증가시키지도 않는다.
  • 항바이벌 봇은 대부분의 다른 봇들처럼 정확하고 정확한 작업을 수행하지 않는다. 그들은 인간처럼 행동하는데, 대부분의 편집은 정확하고 훌륭하지만, 약간의 실수만 가지고 있다. 봇 편집은 인간 편집으로 나타나며, 다른 인간 편집과 마찬가지로 필요할 경우 가능한 실수를 검토할 수 있다.

거짓 긍정

CleverBot NG가 잘못된 긍정을 갖는 이유는?

단서봇 NG는 주어진 편집이 반달리즘일 확률을 발생시킴으로써 작용한다. 일정 점수 이상의 확률로 편집하는 것은 공공 기물 파손으로 간주된다. 문턱이 높을수록 잘못된 긍정도 적지만 공공 기물 파손 편집도 덜 잡힌다. 공공기물 파손을 다량 잡기 위해서는 문턱을 극소수지만 일부 잘못된 긍정도 있는 수준으로 설정해야 한다. 더 많은 정보는 알고리즘과 잘못된 긍정 섹션에서 이용할 수 있다.

왜 이런 잘못된 긍정이 일어났을까?

자세한 내용은 ConverseBot NG가 이 편집을 반달리즘 또는 건설적인 편집으로 분류한 이유를 참조하십시오.

내 생각에 LevelBot NG는 잘못된 긍정이 너무 많은 것 같아. 어떻게 해야 하지?

실마리봇 NG의 거짓 양성 비율은 운영자가 런타임에 설정한다. 현재 설정은 통계 섹션에서 확인할 수 있다. 출발 이후 약 0.5%(200명 중 1명), 0.25%(400명 중 1명), 0.1%(1000명 중 1명)로 뛰어올랐다.

잘못된 양성률에 대해 불평하기 전에 잘못된 양성률에 대한 섹션을 읽고 봇의 작동에서 양성의 역할과 비율 조정에 대한 의미를 완전히 이해했는지 확인하십시오. 또한 설정된 잘못된 양의 백분율이 최대값이며, 후 처리 필터로 인해 실제 비율은 더 낮을 수 있다는 점을 유념하십시오.

잘못된 긍정 비율이 너무 높다는 설득력 있는 이유가 있다고 생각되는 경우, 해당 이유는 이미 대화 페이지에서 다루지 않은 경우(문서 보관 파일을 살펴보십시오 - 이 주제는 이미 여러 차례 긴 시간 동안 논의된 바 있습니다), 해당 대화 페이지에 우려를 게시하고 잘못된 긍정 비율을 제안하십시오. 과거 토론에서 이미 우려했던 부분이 해결됐다면 불합리한 허위 긍정률을 제시하거나 아예 거짓 긍정률을 제시하지 않으면 직급이 철저한 답변을 받지 못할 가능성이 높다.

거짓 양성률은 무엇이며 어떻게 계산되는가?

거짓 양성률은 반달리즘으로 잘못 되돌아간 비반달리즘 편집 비율이다. 잘못된 것은 봇 회전의 비율이 아니다.

많은 사람들이 아마 허위 긍정도 신고하지 않을 텐데, 어떻게 거짓 긍정률이 정확한지 확신할 수 있겠는가?

거짓 양성(FP) 비율 계산에는 보고된 거짓 양성 수가 포함되지 않는다. 평가 데이터 집합으로 알려진 일련의 편집이 사용된다. 이러한 편집은 정확(인간에 의해 검증됨)과 무작위(이것이 중요하다)로 알려져 있다. 그것들은 오프라인에서 봇을 통해 실행되며, 이러한 결과는 FP금리 계산의 기초를 형성한다. 이를 통해 FP 속도가 정확한 최대값이 되도록 한다.

잘못된 긍정을 보고하려면 어떻게 해야 하는가?

이리 가봐.

개발자는 보고된 잘못된 긍정으로 무엇을 하는가?

확인을 위해 검토 인터페이스에 제출하고 데이터 집합에 추가한다. 이는 데이터 집합 편향이 유의하지 않는 한 봇 작동을 개선해야 한다.

우리는 여가 시간에 수동으로 잘못된 긍정을 검토한다. 데이터셋 확장이 아닌 다른 방법으로 예방할 수 있는 잘못된 긍정을 발견하게 되면 코드를 바꾸는 것을 고려한다. 이전 논의에서 아직 다루지 않은 어떤 이유로 인해 발생한 잘못된 긍정이 보인다면, 우리는 보통 그 취지의 의견을 남긴다.

사용자들이 잘못된 긍정 보고를 위해 자유형 응답을 게시할 수 있는 페이지를 사용하는 것은 어떨까?

우리는 이렇게 하곤 했는데, 결과는 혼란스러웠다. 명시적 지침이 없으면 사용자는 잘못된 형식의 응답, 필요한 데이터(해당 편집 링크 등)가 없는 응답 및 관련 없는 의견을 남길 수 있다. 사용자를 안내하는 템플리트와 코멘트를 사용하더라도 손으로 검토하는 데 매우 어렵고 시간이 많이 소요되며 데이터 세트로 가져오기 위해 자동으로 스캔할 수 없는 난장판이 된 결과가 나왔다.

잘못된 긍정 보고 인터페이스 사용 지침이 명확하지 않다고 생각되면 언제든지 수정하고 개선하십시오. 일반적으로 잘못된 긍정 보고 인터페이스의 전체 개념을 싫어한다면, 자유롭게 대화 페이지에서 다른 방법을 제안하십시오. 그러나 먼저 기록 문서를 검토하여 귀하의 아이디어가 아직 논의되지 않았는지 확인하고, 또한 혼란스러운 자유 형식 보고와 봇을 수동으로 분류할 시간이 없다는 것을 명심하십시오. 만약 여러분이 토크 페이지에 글을 올린다면, 실제로 다른 방법을 제안하는 것을 명심하라 – 제안이 없는 불평은 우리가 어떤 것도 개선하는데 도움이 되지 않는다.

개선의 여지가 있다면 잘못된 긍정이 줄어들거나 없어질 때까지 봇을 폐쇄하는 것이 어떨까.

정해진 규칙 대신 데이터세트를 사용하는 LembeBot NG 알고리즘 때문에 항상 개선의 여지가 있을 것이다. 봇이 실행될수록 사람들은 데이터 집합에 기여하고, 그것은 점점 더 많은 것을 배운다. 그러나 학습하고 개선하더라도 잘못된 긍정의 수가 반드시 감소하지는 않을 것이다 – 위의 단원에서 ConverseBot NG가 잘못된 긍정을 갖는 이유를 참조하십시오. 거짓 양성률이 허용 수준 이하인 한 봇은 위키피디아의 자산으로 합법적으로 운영될 수 있으며, 봇을 개선하면 반달리즘 어획률이 높아진다. 게다가, 심지어 인간도 실수를 한다 – 봇은 심지어 인간보다 비례적으로 더 적은 실수를 할 수도 있다. 봇 실수는 종종 더 많은 원시 볼륨이 있기 때문에 더 많이 주목받는다.

피드백

나는 CleverBot NG를 사랑해! 어떻게 하면 고마움을 표시할 수 있을까?

우리는 항상 우리가 일을 잘 한다는 말을 듣는 것에 감사한다. 칭찬 페이지에 찬사를 더하십시오. Barnstars와 다른 상들은 시상 페이지에 올라간다.

불만이 있다. 어디에 등록하면 되지?

다음 기준에 따라 민원을 제기한다.

  1. 봇을 더 좋게 만드는 방법을 제안할 수 있는 방법이 있다면 아래를 참조하십시오.
  2. 봇의 잘못된 긍정률 또는 보고 인터페이스에 문제가 있는 경우 잘못된 긍정을 참조하십시오.
  3. 봇에서 버그를 발견하셨다면(허위 양성 이외) 토크 페이지에 메모를 남겨주시면 저희가 수리를 검토해보도록 하겠다.
  4. 사용자 페이지에 명시된 대로 봇이 예상 매개변수 내에서 작동하지 않고(기계 스스로 재프로그래밍하지 않기 때문에 그럴 가능성은 매우 낮음) 봇이 심각한 문제를 일으키고 있는 경우, 비상 차단을 사용할 수 있다.
  5. 인간의 일을 하는 봇에게 위협을 느낀다면 타임머신을 만들어 몇 십 년의 시간을 거슬러 올라갈 수 있다.
  6. 만약 당신이 봇의 작동에 대해 불만이 있고, 문제를 해결하는 방법에 대해 도움이 되고, 유용하고, 실용적인 제안이 없다면, 우리는 당신의 불평을 듣지 않는 것을 선호한다.

한 가지 제안이 있습니다. 어떻게 알려드려야 할까?

우리는 도움이 되는 제안들을 좋아하며, 그것들은 토크 페이지에 남겨질 수 있다. 글을 올리기 전에, 당신의 제안이 현실적이고, 실용적이며, 일리가 있는지 확인하십시오. 또한 제안이 제출 및/또는 이행되지 않았는지 확인하기 위해 기록 문서를 훑어보십시오.

우리는 특히 도움이 되는 제안들이 봇의 작동을 개선할 수 있는 실질적인 기회를 가지고 있다면 가능한 한 빨리 대응하고 잠재적으로 실행하려고 노력한다.

오리진스

CleverBot NG는 원래의 CleverBot과 어떻게 관련되는가?

이름 말고는 인연은 거의 없다. 사용되는 핵심과 알고리즘은 서로 다른 사람들에 의해 쓰여지고, 완전히 다른 개념을 사용한다. 단서봇과 단서봇 NG가 공유하는 유일한 코드는 위키피디아와의 인터페이스뿐이며, 그마저도 단서봇 NG에 대해 리팩터링되었다.

코비는 원작을 통째로 써 3년간 유지했다. 크리스피(Crashi)는 실보트 NG의 핵심(반달리즘 탐지 알고리즘)을 썼다.크리스피(Crashi)와 코비는 실보넷(CleborNet)이라는 같은 조직의 일부였으며, 두 봇명의 유래다. 코비는 새로운 코어 및 편집율의 대폭적인 증가에 비추어, 주로 LevelBot 인터페이스 코드를 리팩터링하고, 현재 사용되는 데이터셋 수집 스크립트는 물론, Review Interface를 작성해, Lot NG에 썼다.

"NG"는 무엇의 약자인가?

그것은 "다음 세대"를 의미한다.

기타 위키

자체 MediaWiki 설치에서 ConverseBot NG를 실행하는 방법

ConverseBot NG를 설정하는 것은 복잡한 과정이 될 수 있다. 개발팀과 상의해서 지시사항을 듣고 설치하는데 도움을 주셔야 할 겁니다. 개발팀과 대화하려면 IRC 채널에 가입하십시오.

설정하려고 하기 전에 몇 가지를 고려해야 한다. 가장 중요한 것은, ConverseBot NG는 데이터세트를 기반으로 반달리즘이 무엇인지 학습하는데, 효과적이 되려면 종종 매우 커야 한다. 위키피디아에 효과적이 되려면 최소 1만 건 이상의 건설적 편집과 1만 건 반달리즘 편집이 필요하다. 이것은 대부분의 작은 위키들이 생성하기에는 비실용적이다. 위키에서 위키백과에서 생성된 데이터 집합을 사용하는 것은 콘텐츠와 공공 기물 파괴 추세가 충분히 유사할 경우 가능할 수 있다. 위키를 위해 이것을 테스트하기 위해서는 최소한 시험 데이터 세트(예: 약 100개의 건설적 편집과 50개의 공공 기물 파괴 편집)를 만들어야 할 것이다. 더 많은 것이 좋다. 시험 데이터 세트를 사용하여 위키백과 교육 세트를 위키에서 사용할 수 있는지 여부를 평가할 수 있다. Wiki가 매우 크고 전체 교육 세트를 생성하기에 충분한 편집 횟수가 있는 경우, Wiki의 내용과 추세에 맞게 개인화할 수 있으므로 이 방법이 더 바람직하다. 그러나 필요한 데이터셋을 생성하는 것은 당신에게 달려 있다. 무작위적이고 대표적인 표본 추출(즉, 편중되지 않음)이 중요하다. 이와 더불어 시험 데이터 집합은 무작위여야 하며, 이를 통해 임계값을 정확하게 계산하고 유효성을 측정해야 한다. 또한 봇을 실행할 수 있는 리눅스/유닉스 시스템과 다양한 종속성을 컴파일하고 설치할 수 있는 충분한 지식이 필요할 것이다.