이 글의 정보는 2026년 8월 기준이며, AI 탐지 모델은 계속 업데이트되고 있습니다. 본문에서 인용하는 서로 다른 연구 결과를 2026년 모든 제품의 현재 정확도로 직접 받아들여서는 안 됩니다.

The Verge는 한 칼럼에서 현재의 AI 글쓰기 환경을 새로운 「불신의 시대」라고 표현했습니다. 독자는 눈앞의 글이 AI가 쓴 것인지 의심하는 데 익숙해지고 있고, 인간 창작자는 반대로 자신의 문장이 너무 정돈되어 있거나 문체가 너무 공식적이면 AI처럼 보이지 않을까 걱정하기 시작했습니다. 이제 AI 탐지는 학교에서만 사용하는 기술이 아닙니다. Substack은 7월 Pangram의 AI 텍스트 탐지를 Reader와 iOS App에 통합했고, LinkedIn도 「Seems like AI slop」 신고 옵션을 추가하는 동시에 자체 분류 시스템을 활용해 대량으로 자동 생성되고 개인적인 관점이 부족한 콘텐츠의 노출을 낮추기 시작했습니다. AI 탐지는 교사가 과제를 검사할 때 사용하는 도구에서 점차 일반 사용자가 글을 읽고, 소셜 게시물을 보고, 창작자의 신뢰성을 판단하는 일상 인터페이스로 들어오고 있습니다.

진짜 어려운 문제는 이런 도구에 판단 능력이 전혀 없다는 것이 아니라, 「탐지 결과에 어느 정도의 권한을 부여해도 되는가」에 아직 일관된 답이 없다는 점입니다. Pangram, GPTZero, Turnitin은 모두 상당히 낮은 false positive rate를 공개하고 있고, 최신 도구들의 성능도 실제로 2023년 초기 제품보다 향상됐습니다. 반면 독립 연구, 초기 테스트와 실제 대학 사례는 false positive가 0이 아니라는 사실을 이미 보여 줬고, 텍스트 종류, 언어 배경, 길이와 탐지기별 차이도 상당할 수 있습니다. 어떤 퍼센트가 단순한 독서 참고 정보라면 1%의 오류는 받아들일 수 있을지도 모릅니다. 하지만 같은 퍼센트가 성적, 정학, 출판 계약이나 창작자의 평판에 영향을 준다면 문제의 성격은 완전히 달라집니다.

AI 탐지는 이제 대학을 넘어 Substack과 LinkedIn으로 들어왔다

Substack은 Pangram을 읽기 인터페이스에 직접 넣어 독자가 글과 Notes를 스캔할 수 있게 했다

Substack의 Scan for AI text 기능은 현재 Pangram을 이용해 텍스트를 분석하며, 2026년 7월 21일 이후 게시된 Posts와 Notes에 적용됩니다. 사용자는 Substack Reader 웹 버전과 iOS App에서 글이나 Note의 메뉴를 열어 직접 탐지를 실행할 수 있고, Comments와 Replies도 스캔할 수 있습니다. Android 버전은 아직 준비 중입니다. Pangram은 텍스트 중 어느 정도가 인간이 작성한 것으로 보이는지, 또는 AI-assisted로 판단되는지를 비율로 보여 줍니다. 창작자는 How I make this를 추가해 자신의 제작 방식을 설명할 수 있고, 개별 글에 대해 AI 탐지를 비활성화할 수도 있습니다. 비활성화하면 독자는 해당 콘텐츠를 탐지할 수 없다는 안내를 보게 됩니다.

이 설계는 과거 AI 탐지를 교사나 편집자의 백엔드 도구로 숨겨 두던 방식과 상당히 다릅니다. 이제 일반 독자도 버튼 하나만 누르면 AI 가능성을 나타내는 수치를 볼 수 있고, 이 숫자는 실제 내용을 읽기 전에 판단에 영향을 줄 수 있습니다. Substack 자체는 AI-assisted 콘텐츠가 저품질이거나 기만적이라고 주장하지 않았으며, 탐지 기능을 출시하면서도 금지보다는 투명성에 초점을 맞췄습니다. 문제는 탐지 버튼이 읽기 인터페이스의 일부가 된 순간 창작자가 글을 쓰는 것 외에도 다른 문제를 처리해야 한다는 점입니다. 도구가 틀렸을 때 독자가 그 결과를 어떻게 받아들일 것인가입니다.

LinkedIn의 「Seems like AI slop」은 단순히 AI 사용 여부를 판단하는 기능이 아니다

LinkedIn이 2026년에 추가한 기능은 더 세심하게 구분해야 합니다. LinkedIn은 「AI로 글을 쓰면 규정 위반」이라고 발표하지 않았습니다. 오히려 공식적으로 AI를 문장 수정에 사용할 수 있다고 밝히고 있으며, 실제로 줄이고 싶은 것은 대량 자동 게시되고 외형상 완성도는 높지만 실제 관점이 부족한 AI slop입니다. LinkedIn의 자체 분류 시스템은 게시물에 관점, 배경과 전문 경험이 부족한지를 분석하며, 초기 테스트에서는 이런 generic content를 94% 비율로 식별할 수 있다고 밝혔습니다. 시스템에서 저품질 AI 콘텐츠로 분류되면 주된 영향은 기존 네트워크 밖으로 추천될 가능성이 낮아지는 것입니다.

플랫폼은 별도로 「Seems like AI slop」 옵션도 추가해 사용자가 게시물 메뉴에서 저품질 AI 산출물처럼 보이는 콘텐츠를 신고할 수 있도록 했습니다. 따라서 이 버튼을 단순히 「AI 게시물 신고」라고 표현하는 것은 정확하지 않습니다. LinkedIn이 실제로 줄이려는 것은 실질적인 가치가 부족한 대량 자동화 콘텐츠이며, AI의 도움을 받은 모든 글이 아닙니다. 그렇더라도 소셜 플랫폼이 독자에게 직접 「이건 AI처럼 보인다」는 버튼을 제공하기 시작하면 The Verge가 말한 신뢰 문제가 쉽게 발생합니다. 글이 좋은지 판단하는 일과 작성자가 AI를 썼는지 추측하는 일이 서로 섞이기 시작하기 때문입니다.

AI 탐지기는 실제로 얼마나 정확할까? 답은 도구·데이터와 사용 상황에 따라 달라진다

Turnitin·Pangram과 GPTZero가 공개한 false positive rate는 모두 낮다

현재 회사들이 공개한 숫자만 보면 AI 탐지기가 단순히 무작위로 추측하는 수준은 아닙니다. Turnitin은 오랫동안 분석 조건을 충족하는 완전한 인간 작성 텍스트에서 AI writing detector의 false positive rate가 1% 미만이라고 밝혀 왔습니다. GPTZero 역시 현재 AI／Human 분류의 false positive를 1% 이하로 유지한다고 설명합니다. Pangram이 공개한 수치는 더 낮습니다. 회사는 현재 전체 false positive rate가 약 1／10,000이라고 주장하며, 2026년 7월 공개한 Pangram 4 기술 보고서에서는 자체 테스트 데이터에서 0.0041%의 false positive rate를 기록했다고 밝혔습니다.

이 숫자들이 거짓이라고 단정할 수는 없지만 서로 직접 비교해 순위를 매길 수도 없습니다. 각 회사가 사용하는 테스트 데이터, 분류 임계값, 텍스트 길이와 AI 모델이 모두 다르기 때문입니다. GPTZero 역시 어떤 AI detector도 100% 정확성을 보장할 수 없다고 강조하고 있으며, Turnitin도 AI score 하나만으로 학생에게 불이익을 주는 근거로 사용해서는 안 된다고 안내합니다. 더 합리적인 해석은 2026년의 일부 상용 탐지기가 초기 제품보다 확실히 성숙했지만, 「회사 테스트셋에서 매우 낮은 false positive rate가 나온다」는 사실과 「특정 사람이 실제로 부정행위를 했는지 판정할 수 있다」는 것은 여전히 다른 문제라는 것입니다.

독립 테스트에서는 데이터가 바뀌면 결과도 달라질 수 있다

독립 테스트가 중요한 이유는 탐지기를 개발사가 직접 선택하지 않은 데이터에 적용하기 때문입니다. Bloomberg Businessweek는 ChatGPT 공개 이전인 2022년에 Texas A&M University에 제출된 대학 지원 에세이 500편을 GPTZero와 Copyleaks로 검사한 적이 있습니다. 이 글들은 생성형 AI가 대중화되기 전에 작성됐기 때문에 인간이 쓴 글이라고 상당히 확신할 수 있었지만, 두 도구에서도 약 1%~2%의 false positive가 발생했습니다. 이 결과는 업체가 주장하는 낮은 오류율과 완전히 반대되는 수준은 아니지만, 1%만 되어도 고위험 환경에서는 실제 사람이 잘못 표시될 수 있다는 점을 보여 줍니다.

다른 학술 연구들의 결과는 더 크게 엇갈립니다. 2023년 한 연구는 14개 도구를 한 번에 테스트한 뒤 당시 AI text detectors 전체가 인간과 ChatGPT 글을 안정적으로 구분하기에는 아직 부족하다고 결론 내렸습니다. 반면 2025년 이후의 새로운 연구에서는 탐지기별 성능 격차가 커지고 있으며, 일부 최신 상용 도구가 특정 benchmark에서 정확도를 크게 높였다는 결과도 나타났습니다. 즉 「AI 탐지기는 전부 부정확하다」와 「이제는 증거로 써도 될 정도로 정확하다」는 주장 모두 지나치게 단순합니다. 실제로 봐야 할 것은 어느 버전인지, 어떤 텍스트를 검사하는지, 그리고 한 번 틀렸을 때 결과가 얼마나 큰지입니다.

1% false positive는 낮아 보이지만 학교 규모에 적용하면 이야기가 달라진다

Vanderbilt는 75,000개 과제를 기준으로 약 750건의 잠재적 오탐을 계산했다

Vanderbilt University가 2023년 8월 Turnitin AI detector를 비활성화했을 때 이 문제를 매우 직관적인 계산으로 설명했습니다. 당시 Turnitin이 공개한 false positive rate는 1%였고, Vanderbilt가 2022년 한 해 동안 Turnitin에 제출한 과제는 약 75,000개였습니다. 모든 글에 AI 탐지를 적용한다고 단순 계산하면 약 750개의 인간 작성 과제가 잘못 표시될 가능성이 생깁니다. Vanderbilt는 결국 해당 기능을 중단했는데, 이유에는 false positive뿐 아니라 당시 충분히 투명한 기술 설명이 부족했고, 학교가 AI detection을 유효한 학문적 진실성 도구로 보기 어렵다고 판단한 점도 포함됐습니다.

이것이 Turnitin의 2026년 버전이 반드시 100개 중 1개를 오탐한다는 뜻은 아니며, 2023년 수치를 2026년 버전에 그대로 적용할 수도 없습니다. Vanderbilt의 계산이 보여 주는 핵심은 base rate 문제입니다. 원래 부정행위가 없는 글이 대부분인 대량의 텍스트를 전부 스캔하면 false positive rate가 낮아도 상당수의 실제 사람이 자신이 작성자임을 다시 증명해야 하는 상황이 생길 수 있습니다. 탐지기가 교사에게 「이 글은 한 번 더 확인해 보라」는 신호만 준다면 다른 증거로 보완할 수 있습니다. 하지만 시스템 점수가 바로 부정행위의 증거가 되면 오류의 비용은 전부 표시된 사람에게 넘어갑니다.

영어 비원어민 작성자는 정말 AI 탐지기에 더 자주 오탐될까?

Stanford의 2023년 연구에서 나온 61.22%는 실제 수치지만 2026년 모든 탐지기를 대표하지는 않는다

Stanford 연구팀이 2023년에 발표한 연구는 현재까지 가장 많이 인용되는 사례 중 하나입니다. 연구진은 당시 널리 쓰이던 GPT detectors 7개를 대상으로 TOEFL 비원어민 영어 에세이 91편과 미국 태생 8학년 학생의 영어 글을 테스트했습니다. 그 결과 7개 도구는 평균적으로 TOEFL 글의 61.22%를 AI-generated로 잘못 분류했습니다. 18편은 7개 탐지기 모두에서 오탐됐고, 전체 91편 중 89편은 최소 한 개 탐지기에서 AI로 표시됐습니다. 반면 영어 원어민 학생의 글은 거의 완벽하게 인간 작성으로 식별됐습니다.

연구팀은 일부 탐지 방식이 perplexity, 즉 모델 입장에서 문장이 얼마나 예측 가능한지에 크게 의존하는 것이 원인일 수 있다고 설명했습니다. 영어 비원어민 작성자는 비교적 빈도가 높고 익숙한 어휘를 사용하는 경우가 많으며, 문장 구조 변화도 더 적을 수 있습니다. 이런 글은 통계적으로 더 예측 가능해지는데, 이 특성이 초기 AI 텍스트의 일부 특징과 겹칠 수 있습니다. 그래서 「영어를 단순하게 쓴다」는 것이 AI 사용을 의미하지 않는데도 이런 탐지 방식에서는 AI 점수가 높게 나올 수 있습니다.

하지만 반드시 시간 차이를 함께 봐야 합니다. 이 연구가 테스트한 것은 2023년 당시의 7개 도구이며 2026년 최신 버전이 아닙니다. GPTZero는 이후 ESL 데이터를 대상으로 재훈련한 뒤 TOEFL 에세이의 false positive rate가 약 1.1%까지 내려갔다고 설명하고 있습니다. Pangram도 자체 ESL 테스트 결과를 공개하며 Liang 등의 91개 TOEFL 데이터에서 false positive가 발생하지 않았다고 밝혔습니다. 이는 현재 업체가 자체적으로 공개한 평가 결과이며, 초기 연구에서 드러난 문제에 대해 일부 회사가 직접 개선 작업을 했다는 뜻입니다. 다만 이런 성능은 여전히 독립된 데이터로 지속적으로 검증할 필요가 있습니다.

신경다양성 작성자 문제도 「반드시 AI로 더 자주 판정된다」고 단정할 수는 없다

The Verge는 AI detectors가 neurodivergent writers에게 가질 수 있는 잠재적 편향도 언급했지만, 현재 이 분야의 실증 증거는 비원어민 영어 연구만큼 충분하지 않습니다. 더 적절한 표현은 탐지기가 고정된 문장 구조, 반복적인 구성, 공식적인 문체와 텍스트의 예측 가능성을 AI 신호로 사용한다면 원래 글쓰기 스타일이 더 규칙적인 사람에게도 영향을 줄 가능성이 있다는 것입니다. 일부 신경다양성 사용자가 이런 경우에 해당할 수 있습니다. 이는 주의할 만한 공정성 문제이지만, 「신경다양성 학생은 자주 AI로 오탐된다」고 할 만큼 충분한 유병률 데이터가 이미 축적됐다고 보기는 어렵습니다.

AI 오탐은 실제로 법정까지 갔지만 두 사건을 하나로 섞어서는 안 된다

Yale 사건: GPTZero가 초기 판단에 사용됐지만 학교는 최종 처분이 탐지 점수 때문만은 아니라고 주장했다

Thierry Rignol은 프랑스 국적의 Yale School of Management EMBA 학생입니다. 그는 2024년 한 수업의 기말시험 이후 일부 답변에서 GPTZero상 매우 높은 AI-generated likelihood가 나타났다는 교수의 지적을 받았고, 이후 사건은 Yale Honor Committee로 넘어갔습니다. Rignol은 해당 과목 낙제와 1년 정학 처분을 받았고, 2025년 Yale을 상대로 소송을 제기하면서 AI detection이 비원어민 영어 사용자에게 알려진 편향을 갖고 있다는 주장도 포함했습니다.

하지만 이를 「교수가 GPTZero로 AI 사용을 판정했고 학교가 바로 낙제와 정학을 결정했다」고 쓰면 후속 절차를 빠뜨리게 됩니다. 법원 문서에 따르면 Yale Honor Committee는 최종 판단이 교수가 제출한 GPTZero scans만을 근거로 한 것이 아니며, Rignol이 요구된 원본 문서를 제출하지 않았다는 점, 그의 설명이 위원회에서 신뢰성이 부족하다고 판단된 점, 그리고 답안과 ChatGPT 응답 사이에 높은 유사성이 있었다는 다른 증거도 함께 고려했다고 밝혔습니다. Rignol은 부정행위를 부인하며 절차 전체에 이의를 제기했습니다. 현재까지 공개된 중요한 결정 중 하나는 연방 법원이 2025년 5월 그가 요청한 즉시 복학 preliminary injunction을 기각했다는 것입니다. 따라서 이 사건을 Rignol이 GPTZero 오탐을 입증해 승소한 사례로 쓸 수는 없습니다.

Adelphi 사건: 학생이 승소했고 법원은 학업 부정 기록 삭제를 요구했다

Adelphi University의 Orion Newby 사건은 다른 결론을 보였습니다. Newby는 World Civilizations 1 수업에서 기독교와 이슬람교를 비교하는 글을 제출한 뒤 AI 사용 의혹을 받았습니다. Inside Higher Ed가 법원 기록을 바탕으로 보도한 내용에 따르면 Turnitin의 AI detector는 글 전체를 AI-written으로 표시했고, Newby가 별도로 사용한 두 개의 탐지 도구에서는 인간 작성 결과가 나왔습니다. 학교는 학업 부정 판정을 유지했고, 이후 가족이 법적 조치를 시작했습니다. 2026년 초 뉴욕 법원은 Newby의 손을 들어 주면서 학교의 표절 판정에 유효한 근거가 부족했다고 판단했고, Adelphi에 해당 혐의를 학생 기록에서 삭제하도록 요구했습니다.

이 사건은 중요하지만 「법원이 Turnitin이 부정확하다는 사실을 증명했다」고 단순화해서는 안 됩니다. 법원이 본 것은 탐지기 자체뿐만 아니라 학교가 자체 학업 징계 절차를 제대로 따랐는지, 충분한 이의 제기 기회를 제공했는지, 전체 판단에 합리적인 근거가 있었는지도 포함됩니다. 더 정확한 결론은 AI detector 결과가 고위험 징계 절차에 들어갈 경우 다른 증거와 적법 절차에서 분리된 채 단독으로 사용되어서는 안 된다는 것입니다.

AI 탐지기에 오탐됐을 때는 「AI처럼 안 보이게 글을 고치는 것」보다 작성 과정을 남기는 편이 효과적이다

버전 기록은 다른 AI 탐지기보다 더 강한 증거가 될 수 있다

글, 과제나 원고가 AI 사용 논란에 휘말릴 가능성이 있다면 가장 실용적인 방법은 문단을 쓸 때마다 여러 detector에 넣어 보는 것이 아니라 글이 어떻게 만들어졌는지를 보여 주는 기록을 남기는 것입니다. Google Docs의 Version history, Microsoft Word의 버전 기록, Notion의 Page history, Git commit, 연구 메모, 자료 출처와 초안은 모두 빈 문서에서 최종 결과물까지 글이 어떻게 형성됐는지 보여 줄 수 있습니다. 이런 과정 증거가 detector와 다른 점은 최종 텍스트를 보고 또 다른 모델이 확률을 추정하는 것이 아니라 실제 제작 타임라인을 남긴다는 것입니다.

평소 다른 곳에서 글 전체를 완성한 뒤 공식 문서에 한 번에 붙여 넣는 방식으로 작업한다면 버전 기록에는 한 번의 대규모 추가만 남을 수 있습니다. 학업, 외주, 출판이나 기타 원작성 과정을 증명해야 하는 상황에서는 원본 초안, 수정 기록과 연구 자료를 가능하면 보존해 두는 것이 좋습니다. 그렇다고 억지로 「인간이 쓴 흔적」을 만들기 위해 정상적인 작업 방식을 방해할 필요는 없습니다.

의심을 받았을 때는 먼저 상대가 탐지 결과를 어떤 의미로 사용하고 있는지 확인한다

두 번째로 해야 할 일은 즉시 다른 detector를 찾아 「이 글은 인간이 썼다」는 결과를 보여 주는 것이 아닙니다. 탐지기마다 결과가 충돌한다는 사실 자체가 현재 논쟁의 일부이기 때문입니다. 더 현실적인 접근은 어떤 도구를 사용했는지, 어떤 버전인지, 점수가 얼마인지, 학교나 플랫폼 규정상 AI score 하나만으로 결정을 내릴 수 있는지, 그리고 추가적인 증거가 있는지를 먼저 확인하는 것입니다. Turnitin 자체도 AI writing score가 부정확할 수 있으며 학생에게 불이익을 주는 단독 근거로 사용해서는 안 된다고 경고합니다. GPTZero 역시 어떤 AI detector도 100% 정확할 수 없다고 공개적으로 밝히고 있습니다.

교육 상황이라면 수업에서 원래 어떤 AI 사용 정책을 적용했는지, 학업 진실성 절차와 이의 제기 규정이 무엇인지도 확인할 수 있습니다. 그다음 버전 기록, 초안, 인용 자료와 과거 글쓰기 샘플을 제시하는 편이 좋습니다. 실제로 더 강한 주장은 단순히 「AI를 사용하지 않았다」는 말 한마디가 아니라 검증 가능한 과정 자료의 묶음입니다.

AI 점수를 낮추기 위해 일부러 글을 못 쓰게 만들 필요는 없다

The Verge가 묘사한 「인간이 AI처럼 보이지 않으려고 애쓰기 시작했다」는 현상은 현재의 AI 탐지 문화가 만든 가장 이상한 부작용 중 하나입니다. 일부 AI detector는 지나치게 규칙적인 문장 구조, 공식적인 문체, 반복되는 구성이나 낮은 perplexity를 신호로 사용합니다. 그래서 창작자는 글이 너무 정돈되어 있으면 문제가 될까 걱정하고, 심지어 불필요한 오타를 넣거나 원래 자연스러운 문장을 일부러 바꿔 AI score를 낮추려 하기도 합니다.

이런 방법은 안정적인 효과가 없고, 탐지기를 새로운 글쓰기 기준으로 만들어 버릴 위험도 있습니다. AI 모델과 detector는 계속 업데이트되므로 오늘 점수를 낮춰 주는 방법이 다음 버전에서는 효과가 없을 수 있습니다. 반면 글에는 탐지기에 맞추기 위해 넣은 이상한 수정이 영구적으로 남습니다. 창작자에게 더 합리적인 방식은 자신의 글쓰기 스타일과 제작 기록을 유지하는 것이지, 분류기를 기준으로 글을 쓰는 것이 아닙니다.

AI 탐지의 진짜 문제는 AI를 잡아낼 수 있느냐가 아니라 하나의 점수가 얼마나 많은 것을 결정할 수 있느냐에 있다

2026년의 AI detector를 2023년 초기 도구의 성능만으로 전부 평가해서는 안 됩니다. Pangram 4, GPTZero 같은 최신 시스템이 공개한 테스트 결과를 보면 기술이 실제로 계속 향상되고 있고, 일부 benchmark에서는 false positive가 매우 낮은 수준까지 내려갔습니다. 동시에 Stanford의 비원어민 영어 연구, Bloomberg의 pre-ChatGPT 인간 작성 글 테스트와 실제 법정까지 간 학생 사건들은 「낮은 false positive」가 「절대 틀리지 않는다」는 뜻이 아니라는 사실을 충분히 보여 줍니다.

Substack과 LinkedIn이 이런 판단 기능을 일반적인 읽기 인터페이스로 가져오면서 문제는 한 단계 더 복잡해졌습니다. 과거에는 detector가 틀려도 교사와 학생 정도만 결과를 알았을 수 있지만, 이제는 아무 독자나 버튼 하나를 눌러 특정 작품에 먼저 「AI처럼 보인다」는 인상을 붙일 수 있습니다. 탐지 도구는 하나의 신호로 활용할 수 있습니다. 하지만 그 신호가 평판, 성적이나 취업 기회에 영향을 주기 시작한다면 원본 문서, 버전 기록, 인간의 판단과 명확한 이의 제기 절차가 함께 필요합니다. 현재 어떤 회사도 자신의 도구가 100% 정확하다고 보장하지 않는 상황에서는 영원히 틀리지 않는 detector를 찾는 것보다 이런 절차를 마련하는 편이 훨씬 현실적입니다.

자주 묻는 질문 FAQ

SUPPORT FENGNIII

喜歡這篇文章嗎？

如果這篇內容對你有幫助，可以透過小額贊助支持本站持續整理更多日文、韓文、旅行與數位工具內容。

小額支持本站

付款將由藍新金流安全處理