수능 서·논술형 답안, AI가 채점해도 될까?
수능 서·논술형 답안을 AI가 채점하는 방안을 두고 효율성과 공정성, 채점 신뢰성 사이 논쟁이 커지고 있다.
배경
찬성 vs 반대
👍 찬성: 서·논술형 AI 채점 도입해야 하는 이유
-
1. 채점 일관성과 공정성을 오히려 높인다
인간 채점자 간 서술형 답안 평가 편차는 국내외 연구에서 반복적으로 확인된 문제다. 한국교육과정평가원이 2022년 발표한 서술형 채점 신뢰도 연구에 따르면 동일 답안에 대한 채점자 간 점수 편차가 10점 만점 기준 최대 1.8점까지 벌어졌으며, 채점자의 피로도와 채점 순서에 따라서도 점수가 달라지는 현상이 관찰됐다. AI 채점 시스템은 사전에 설정된 채점 기준(rubric)을 모든 답안에 동일하게 적용하기 때문에 채점자의 컨디션이나 선입견에 따른 편차를 구조적으로 줄일 수 있다. 실제 ETS의 e-rater는 인간 채점자와의 점수 일치도가 90% 이상으로 보고돼, 대규모 표준화 시험에서 신뢰할 수 있는 보조 채점 도구로 자리잡았다.
출처: 한국교육과정평가원 서술형 채점 신뢰도 연구 2022 -
2. 50만 응시생 규모의 물리적 채점 한계를 해결한다
2026학년도 수능 응시생은 약 50만 명에 달하며, 이들 전원의 국어·수학 서술형 답안을 인간 채점자가 단기간에 검토하려면 수만 명의 채점 인력과 수 주의 채점 기간이 필요하다. 현재 논술 전형을 시행하는 대학들도 채점 인력 확보와 채점장 운영에 매 입시마다 상당한 비용과 행정력을 투입하고 있는데, 이를 전국 단위 수능으로 확대할 경우 인력난과 채점 지연으로 성적 발표 일정 자체가 흔들릴 수 있다. AI를 1차 채점에 활용하면 처리 속도를 획기적으로 높이면서 인간 채점자는 이의신청이 제기된 답안이나 AI가 판단을 유보한 애매한 답안에 집중할 수 있어, 제한된 인력으로도 채점 품질을 유지할 수 있다는 것이 도입론자들의 핵심 논거다.
출처: 교육부 2028 대입제도 개편안 2024 -
3. 해외에서 이미 검증된 기술이다
미국 ETS는 SAT와 GRE 등 대규모 표준화 시험의 에세이 영역에 자동 채점 엔진 e-rater를 20년 가까이 운영해왔으며, College Board가 공개한 검증 자료에 따르면 e-rater와 인간 채점자 간 점수 일치율은 지속적으로 90%대를 유지하고 있다. OECD도 2023년 보고서에서 회원국 다수가 표준화 평가의 서술형 채점에 AI 보조 도구 도입을 검토 중이라고 밝혔다. 국내에서도 KICE가 2023년부터 국가수준 학업성취도평가의 서술형 문항을 대상으로 AI 채점 시범 연구를 진행해 왔고, 초기 결과에서 인간 채점자와 유사한 수준의 정확도를 보였다고 발표한 바 있어, 기술적 기반은 이미 상당 부분 마련돼 있다는 평가다.
출처: OECD Education Policy Outlook 2023
👎 반대: AI 채점 도입은 시기상조인 이유
-
1. AI 채점은 설명가능성이 부족해 이의신청에 대응하기 어렵다
수능은 단 1점 차이로 대학 합격과 불합격이 갈리는 초고위험 시험이며, 매년 수천 건의 이의신청이 제기된다. 그런데 대규모 언어모델 기반 채점 시스템은 특정 문장에 왜 그 점수를 부여했는지를 사람이 이해할 수 있는 방식으로 완전히 설명하기 어려운 블랙박스 구조라는 한계가 있다. 참여연대와 교육 관련 시민단체들은 2023년 공동 성명에서 채점 근거를 투명하게 공개하지 못하는 평가 방식은 행정절차법상 처분의 근거를 밝혀야 하는 대입 전형의 원칙에 위배될 소지가 있다고 지적했다. 채점 결과에 불복한 학생과 학부모가 소송을 제기할 경우, 교육당국이 AI의 판단 근거를 법정에서 충분히 소명하지 못하면 대규모 행정 혼란으로 이어질 수 있다는 우려가 크다.
출처: 참여연대 교육 관련 시민단체 공동성명 2023 -
2. 정형화된 답안을 선호해 창의적·비판적 사고를 오히려 위축시킨다
미국에서는 이미 AI 에세이 채점 시스템의 허점을 이용해, 내용의 논리성과 무관하게 특정 어휘와 문장 구조를 반복하기만 해도 높은 점수를 받을 수 있다는 연구 결과가 여러 차례 보고됐다. MIT 산하 연구팀이 2019년 발표한 연구에서는 문법적으로는 정교하지만 내용상 무의미한 에세이가 AI 채점 시스템에서 높은 점수를 받은 사례가 확인됐다. 학생들이 이런 채점 방식에 맞춰 정형화된 답안 작성 전략을 학습하게 되면, 서·논술형 도입의 본래 취지인 창의적 사고력과 비판적 글쓰기 능력 평가라는 목표 자체가 훼손될 수 있다는 것이 교육 전문가들의 우려다.
출처: MIT Media Lab AI 에세이 채점 연구 2019 -
3. 사회적 합의와 법적 근거가 아직 마련되지 않았다
AI 채점을 국가 단위 초고위험 시험에 전면 도입한 선례는 세계적으로도 거의 없으며, 미국 SAT와 GRE의 e-rater 역시 인간 채점자와 병행하는 보조 도구로만 활용될 뿐 단독 채점에는 쓰이지 않는다. 한국교육과정평가원조차 2023년 시범 연구를 국가수준 학업성취도평가라는 비교적 낮은 위험도의 시험에 한정해 진행하고 있을 뿐, 대입 당락을 좌우하는 수능으로의 확대 적용에는 신중한 입장을 유지하고 있다. 교육부가 2024년 발표한 2028 대입제도 개편안에서도 논술형 수능 도입 자체를 장기 검토 과제로 남겨뒀을 뿐 AI 채점에 대한 구체적 법적·제도적 근거는 마련하지 못한 상태여서, 성급한 도입은 절차적 정당성 논란을 부를 수 있다.
출처: 한국교육과정평가원 AI 채점 시범연구 2023
교차 반론
반대 측은 AI 채점의 블랙박스 구조를 문제 삼지만, 이는 AI를 단독 채점자로 쓸 때의 우려이지 인간 채점을 보조하는 하이브리드 구조에는 적용되지 않는다. ETS의 e-rater 역시 인간 채점자와 점수가 일정 폭 이상 벌어지면 자동으로 재검토 절차에 회부되도록 설계돼 있으며, 최종 판단과 이의신청 대응은 여전히 인간 채점위원회가 맡는다. 한국교육과정평가원의 2023년 시범 연구도 AI 점수를 참고자료로만 활용하고 최종 확정은 인간이 하는 이중 검증 체계로 설계됐으므로, 설명가능성 문제는 채점 프로세스 설계로 상당 부분 해소할 수 있다.
찬성 측이 인용한 e-rater의 90%대 인간 채점자 일치율은 정형화된 형식의 영어 에세이에 최적화된 수치로, 한국어 서술형 답안, 특히 수학 풀이 과정이나 사회 과목의 논증형 답안처럼 형식이 자유로운 문항에 그대로 적용하기는 어렵다. 앞서 언급한 MIT 산하 연구의 결과처럼 AI는 논리적 타당성보다 표면적 문장 패턴에 의존해 채점하는 경향이 있어, 오히려 정형화되지 않은 창의적 답안일수록 인간 채점자와의 점수 편차가 더 벌어질 위험이 크다. 채점자 간 편차를 줄이겠다는 목표가 다른 형태의 편향을 새로 만들어낼 수 있다는 뜻이다.
제도가 완전히 준비된 뒤에만 도입해야 한다는 논리대로면 어떤 새로운 평가 방식도 영원히 도입될 수 없다. 한국교육과정평가원이 이미 국가수준 학업성취도평가에서 시범 연구를 축적하고 있는 만큼, 수능에도 처음부터 전면 도입이 아니라 논술 전형 일부나 저위험 모의평가에서 단계적으로 검증한 뒤 확대하는 방식이 가능하다. 미국 역시 SAT 에세이 영역에서 수년간 병행 운영을 거쳐 신뢰도를 쌓은 뒤 자동 채점 비중을 늘려온 만큼, 사회적 합의는 도입의 전제조건이 아니라 단계적 시범 운영을 통해 함께 만들어가는 과정으로 봐야 한다.
핵심 쟁점
결국 핵심 쟁점은 AI 채점의 효율성과 일관성이, 대입이라는 초고위험 평가에 요구되는 설명책임을 대신할 수 있는가다.
관련 토론
초중고 교과서 한자병기, 도입해야 할까?
국어·사회 교과서에 한자를 병기하자는 방안을 둘러싸고 학습효율과 한글전용 원칙이 충돌하고 있다
학생인권조례, 폐지해야 할까?
일부 지자체가 학생인권조례 폐지를 추진하면서 학생 권리와 교권 사이의 오래된 논쟁이 다시 불붙고 있다.
수능, 서·논술형으로 전환해야 할까?
객관식 위주 수능을 서·논술형으로 바꾸자는 논의, 사고력 평가와 채점 공정성 사이 논쟁이 뜨겁다
당신의 생각은?
리액션
공유
뉴스레터
매일 아침, 오늘의 논쟁을 받아보세요.