GPT 탐지기, 비원어민 글을 AI로 판단하는 편견

 

챗GPT 같은 생성형 인공지능(AI)의 무분별한 사용이 우려되는 가운데 AI가 쓴 글을 찾아내는 GPT 탐지기 대부분이 비원어민의 글을 AI가 쓴 것으로 판단하는 편견이 있어 사용에 주의해야 한다는 지적이 나왔다.

GPT 탐지기는 AI가 생성한 텍스트를 식별하는 데 사용되는 도구이다. 그러나 GPT 탐지기가 비원어민의 글을 AI가 작성한 것으로 잘못 판단하는 편견이 있다.

미국 스탠퍼드대학교의 제임스 저우 교수팀은 GPT 탐지기 7가지를 사용하여 비원어민 TOEFL 응시자의 에세이 91편과 미국 8학년 학생이 쓴 에세이 88편을 검사했다. 그 결과, GPT 탐지기는 8학년 학생들의 에세이는 5.1%만 AI가 작성한 것으로 잘못 평가한 반면, 비원어민 에세이는 61.3%를 AI가 작성한 것으로 오판했다.

연구팀은 이어 TOEFL 에세이를 챗GPT에 입력한 뒤 '간단한 단어를 복잡한 어휘로 대체하는 등 보다 정교한 언어를 사용해 텍스트를 편집하고, 8학년 학생들의 에세이는 '비원어민이 작성한 것처럼 단순한 단어를 사용해 텍스트를 편집하여 그 결과물을 GPT 탐색기로 다시 검사했다. 그 결과, 챗GPT가 편집한 TOEFL 에세이 중 AI가 작성한 것으로 평가된 것은 11.6%로 줄어든 반면, 챗GPT 편집을 거친 8학년 학생들의 에세이는 56.9%가 AI가 생성한 것이라는 평가를 받았다.

저우 교수는 GPT 탐지기 알고리즘은 얼마나 복잡하고 어려운 단어가 사용됐는지에 따라 난해성 점수를 부여하는 방식으로 작동한다고 설명했다. 일반적인 단어를 사용하면 난해성 점수가 낮아 AI가 생성한 텍스트로 평가될 가능성이 높다는 것이다.

이런 현상은 챗GPT 같은 거대언어모델(LLM) AI는 평균적인 사람의 대화를 더 잘 시뮬레이션하기 위해 난해도가 낮은 텍스트를 생성하도록 훈련받는다는 점이 탐지기 알고리즘에 적용됐기 때문이라고 저우 교수는 설명했다.

저우 교수는 "GPT 탐지기를 사용하면 교육 외 다른 다양한 분야에도 큰 영향을 미칠 수 있다"며 "탐지기에는 여전히 많은 편견이 존재하고 최소한의 프롬프트 설계만으로도 속이기 쉬운 만큼 사용에 매우 신중해야 한다"고 강조했다.