텍스트 워터마크 도구로 부정행위를 하는 학생을 잡아내는 OpenAI

OpenAI는 방금 채팅GPT에 과제 작성을 요청하는 학생들을 잠재적으로 잡아낼 수 있는 도구를 개발할 것이라고 발표했습니다. 하지만 이 문제의 복잡성으로 인해 이 도구를 출시할지 여부는 아직 고민 중입니다.

99.9%의 성공률을 자랑하는 AI 탐지 도구

OpenAI가 개발 중인 감지 도구는 사용자가 텍스트를 분석하고 AI가 생성한 글과 글의 유사성을 평가하는 데 도움이 될 것입니다. 하지만 ChatGPT가 새로운 AI 감지 도구를 출시한 것은 이번이 처음이 아닙니다. OpenAI가 만든 이전 모델인 AI 분류기는 낮은 정확도로 인해 2023년 7월 20일에 중단되었습니다. 이제 OpenAI가 개발 중인 완전히 새롭고 개선된 버전의 표절 탐지 도구는 텍스트 워터마킹을 사용하여 AI가 생성한 콘텐츠를 탐지합니다. OpenAI의 워터마킹은 모델이 이전 단어와 구문 다음에 나올 가능성이 가장 높은 단어와 구문을 예측하여 감지 가능한 패턴을 만드는 방법을 조정하는 것으로 설명됩니다. OpenAI는 텍스트 워터마킹 방법의 정확도가 99.0%에 달한다고 주장합니다. 높은 정확도 외에도 이 도구는 의역과 같은 변조에도 강합니다. 그러나 이 도구는 자체 AI 모델에서 생성된 워터마크만 인식할 수 있으므로 다른 언어 모델에서 생성된 텍스트는 인식하지 못합니다.

사용자의 우려와 대안은 무엇인가요?

OpenAI는 이 도구를 만들기는 했지만, 이 도구를 공개하는 것을 주저하고 있다고 발표했습니다. 이는 워터마킹으로 인해 사용자가 채팅GPT를 사용하지 않을 수 있다는 OpenAI의 우려에서 비롯된 것입니다. 이 회사에서 실시한 설문조사에 따르면 사용자의 30%가 워터마킹이 적용되면 소프트웨어 사용 가능성이 낮아질 것이라고 응답한 것이 이를 뒷받침합니다. 이러한 사용자들의 의견을 고려하여 이러한 문제에 대한 다른 잠재적인 해결책을 고려하고 있습니다.

잔소리하는 사용자들의 정서를 고려하여, Facebook은 사용자들 사이에서 논란의 여지가 적은 다른 대안도 시도하고 있습니다. 회사가 모색하고 있는 다른 방법 중 하나는 텍스트에 메타데이터를 삽입하는 것입니다. 하지만 이 방법이 얼마나 잘 작동할지는 아직 알기에는 이르지만, 암호화 서명을 통해 오탐을 제거할 수 있다는 점에서 기대를 모으고 있습니다.

구현은 여전히 큰 물음표로 남아 있습니다.

워터마킹 시스템은 학생들이 AI로 생성된 작문 과제를 제출하는 것을 방지하고자 하는 교육자에게 매우 유용할 수 있다는 것이 입증되었습니다. 그러나 표절 탐지기를 교육자에게 직접 제공할지 아니면 표절 탐지 전문업체와 제휴할지 결정하는 등 도구 배포와 관련된 복잡한 문제도 있습니다. 이는 또한 도구를 구현하고 의도하지 않은 결과 없이 의도한 목적에 부합하는지 확인하는 것과 관련된 복잡성을 강조합니다.