AI 가 쓴 글, 학생이 아닌지 어떻게 알려? 15 가지 체크리스트와 교직 현장의 현실

방학이 끝나고 다시 학기에 접어들었습니다. 여러분은 학생들이 AI 생성형 도구를 이용해 과제를 작성하는 모습에 대해 어떻게 생각하시나요? 단순히 번역된 뉴스가 아닙니다. 이는 현재 전세계 교육 현장에서 겪고 있는 뜨거운 감자의 문제입니다. AI 가 작성한 글은 과거에 비해 훨씬 더 검출하기 어렵다는 것이 핵심 메시지와 같습니다.

많은 분들이 AI 감지 소프트웨어에만 의존합니다. 하지만 문제는 이 프로그램들이 표면적인 신호만 봅니다. 단어 빈도, 문장 길이 변동, 통계적 패턴 등이 대표적이죠. 반면 AI 가 작성한 글의 질적 수준은 훨씬 더 깊습니다. 이는 대부분 감지 알고리즘으로는 파악하기 어렵지만, 글을 읽는 독자에게는 즉각적으로 드러납니다. 여기서 중요한 건, 단순히 도구에만 의존하면 안 된다는 점입니다. 감지 도구들은 종종 실패하는 경우가 많기 때문입니다.

지금의 AI 는 업무 효율을 높여주는 최강의 단축키 역할을 톡톡히 하고 있습니다. 어디에나 그런 현상이 뚜렷하게 보입니다. 물론 Grocery 리스트나 브레인스토밍 등 간단한 작업에서는 ChatGPT 같은 도구가 유용하기는 합니다. 하지만 문제는 AI 가 작성한 쓰레기 같은 글을 생성해내는 데에서도 발생합니다. 교수를 관점으로 보면, 매일 inbox 에 들어오는 AI 도구를 보는 것은 당연한 수순이죠. 하지만 AI 의 글쓰기는 감지하기 더 쉬워지고 있습니다. 이는 AI 감지기 때문이 아니라, 글이 너무 예측 가능해서 그렇기 때문입니다.

가장 큰 레드 플래그는 제가 명명한 ‘위키피디아 보이스’입니다. 문법적으론 완벽하지만 영혼을 전혀 담지 않았습니다. 무거운 추상적 단어를 남발하며 프롬프트를 그대로 되돌려주는 식이죠. 평소 단편을 쓰던 학생이 막연하게도 ‘타프스트리’나 ‘델브’란 단어를 쓰기 시작하면 의심해 봅니다. 클리셰를 좋아하는 AI 는 매 단락을 깔끔한 요약문으로 묶기 좋아합니다. ‘In conclusion’으로 시작하는 식이죠. 이걸 깊은위트라고 보면 됩니다. 한번에 딱 맞아 보이지만, 인간적인 결점을 찾으려 하다 보면 전체가 무너져요.

AI 가 작성한 걸 분별하는 일반적인 방법은 몇 가지 있습니다. 우선 과제 프롬프트에 언급 된 핵심 키워드가 반복적으로 사용되는 경우입니다. 부정확한 사실 정보가 포함된 경우죠. AI 챗봇이 환상 (Hallucination) 을 내뿜는 경우가 많아요. 문장이 자연스럽지 않은지 확인하고, 설명이 통찰이 없이 일반적이거나 반복적인지도 체크해야 합니다. 분위기가 학생 평소 스타일과 거리가 멀다면 의심할 가치가 있습니다.

예를 들어 학생이 과제 질문을 그냥 복사해서 넣으면 됩니다. 챗봇이 제공한 답변은 과제 질문 그대로에 대한 이해를 보여주는 에세이가 아니라, 해당 단어를 정의하려는 옛날식 SEO 주도된 콘텐츠처럼 읽힙니다. 프롬프트의 핵심 단어가 몇 번이나 반복되었는지 숫자가 가장 큰 경고 신호입니다. 보통 학생은 그렇게 안 쓰니까요.

그런데 교사들이 AI 도구를 이용해 학생의 AI 사용 행태를 잡을 수 있을까요? 저는 교직원들에게 더 스마트하게 AI 를 탐지하는 법을 제안했습니다. 먼저 이해하세요. 현재 시장에서 과제를 스캔하고 평가 기준을 분석해 바로바로 작성된 문서를 제공하는 도구가 있습니다. GPTZero 나 Smodin 같은 것이죠. 이런 기능들을 알아두는 게 첫 번째 단계입니다.

두 번째는 도둑놈처럼 사는 것입니다. 학기 시작 전 모든 과제를 복사해서 ChatGPT 에 넣어보세요. 자신의 과제를 기반으로 제공하는 결과물을 미리 경험하면 AI 적 작성물을 구별하기 좋습니다. 특수하게 설계된 도구를 사용해도 됩니다. 세 번째는 실물 샘플 확보입니다. 학기 시작 시 단순하고 재미있는 개인 창작물을 제출하게 하세요. 어린 시절 가장 사랑한 장난감에 대해 200 단어를 쓰거나 가장 즐거웠던 순간 이야기 등을요.

학생의 실제 문체 샘플이 있으면 나중에 AI 가 작성한 작업과 비교하기 좋습니다. 네 번째는 재작성 요청입니다. 학생이 AI 로 부정했을 때, 제출한 작업을 AI 에게 다시 달라고 요구하세요. 대부분 AI 는 자신의 작업을 가장 게으른 방식으로 재작성합니다. 동의어를 찾아서 재료 요소는 그대로 둡니다. 예시를 보면 알 수 있습니다. AI 는 문장을 바꾸지만 글의 영혼은 빼버립니다.

인간이 쓴 CNET 바이오를 예시로 들어보세요. 문장을 변경하거나 명확성을 위해 추가하면 됩니다. AI 를 쓴 걸 알 수 있는 중요한 부분은 합리적인 증거를 확보하는 것입니다. 학생과 학교 administration 에게 보여줘야 합니다. 출제 시 의구심을 유지하는 태도가 필수입니다. 도구 이해와 사용 능력은 증거를 훨씬 더 강력하게 만듭니다. 새로운 AI 프론티어에서 행운을 빕니다.

이 글은 CNET의 기사를 바탕으로 작성되었습니다.