서·논술형 답안지 더미 앞에서
서·논술형 평가가 끝나면 교사의 책상에는 답안지가 수북이 쌓인다. 같은 채점 기준으로 수십 장을 읽으며 채점하다 보면, 앞에서 준 점수와 뒤에서 준 점수가 정말 같은 잣대였는지 스스로도 확신하기 어려운 순간이 올 수도 있다. 평가의 다양성을 통하여 제대로 된 학습 결과 평가를 위하여 서·논술형 평가를 늘리자는 목소리가 커지고 있다. 하지만 먼저 걱정하는 것도 바로 이러한 채점의 일관성 문제와 채점 부담이다.

그래서 AI라는 기술의 획기적 발전에 힘입어 AI 자동채점에 거는 기대가 있는 것으로 보인다. 자동채점에는 여러 방식이 이루어져 왔다. 규칙 기반 채점 방식, 채점 자질(scoring feature) 기반 채점 방식에서 거대언어모델(large language model, LLM)을 활용한 방식 등 다양하게 발전하였다.

생성형 AI를 활용한 프롬프트 기반 채점에서는 보다 정확한 채점을 위하여 문항과 채점 기준을 거대언어모델에 학습시키고, 학생 답안을 채점한다. 이러한 거대언어모델은 텍스트를 토큰이라는 처리 단위로 변환하고, 입력된 문맥을 바탕으로 다음에 이어질 토큰을 예측하며 응답을 생성한다. 채점에 활용할 때에는 이 응답에 평가 요소별 점수와 설명이 포함되도록 지시한다. 이 과정에는 인공지능 모델이 사전에 학습한 언어적 패턴과 지식, 현재 입력된 문항과 채점 기준이 함께 작용한다.

채점 기준이나 수준별 예시 답안을 외부에 저장하고, 채점할 문항과 관련된 자료를 검색하여 입력에 추가할 수도 있다. 검색 증강 생성(retrieval augmented generation, RAG)은 이처럼 모델이 응답을 생성할 때 참조할 정보를 검색하여 보완하는 방식이다. 다만 자료를 제공하였다는 사실만으로 채점의 정확성이 확보되는 것은 아니다. 검색된 자료가 적절한지, 생성된 점수가 채점 기준에 부합하는지는 실제 답안과 인간의 채점 결과를 비교하여 확인해야 한다. 결국 AI를 활용한 채점 결과는 종합적 학습 맥락을 이해하는 교사가 최종 검토해야 한다.

국내외 AI 활용 채점 방식 도입과 관련 연구
AI를 활용한 채점은 더 이상 먼 미래의 이야기가 아니다. 교육부는 2029년까지 서·논술형 평가의 단계적 확대와 내신평가 운영을 지원하기 위해 AI 평가 지원 시스템을 갖추겠다고 밝혔다. 서울시교육청이 만든 AI 자동채점 지원 도구는 다른 교육청들과 공동 운영 협약을 맺으며 쓰임이 넓어지고 있고, 경기도교육청은 AI 서·논술형 평가 연구학교를 운영하고 있다.

국내외의 여러 도입 사례에서는 자동채점과 인간의 판단을 함께 활용하고 있다. 국가교육위원회는 수능에 서·논술형이 들어오더라도 채점의 중심은 사람이고 AI는 보조라는 기조를 밝혔다. 해외도 다르지 않다. 미국의 일부 대학원 입학시험과 영어 시험은 자동채점 엔진을 사람의 채점과 함께 쓰고, 싱가포르에서는 국가 학습 플랫폼에서 AI가 제안한 점수와 피드백을 교사가 검토할 수 있게 하였다.

AI 자동채점 연구에서는 다양한 교과와 답안을 대상으로 채점 방법과 결과를 검토하고 있다. 학생의 풀이 과정을 고려하여 채점 절차를 구성하거나, AI가 부여한 점수의 일관성과 평가하려는 역량의 관계를 살펴보는 연구가 그 예이다. 최근엔 학생이 글로 작성한 답안에 이어 그림으로 표현한 생각까지 평가하려는 연구로도 확장되고 있다.

국내의 한 수학교육 연구(신병철 외, 2024)에서는 수학 서술형 문항 3개에 대한 학생 204명의 답안을 교사와 GPT가 각각 채점하였다. 연구진은 AI가 학생의 답안을 풀이 전략별로 먼저 분류한 다음, 각 유형에 맞는 채점 지시를 적용하도록 하였다. 이러한 절차를 거친 AI의 점수는 교사의 점수와 높은 상관을 보였다.

AI 자동채점의 일관성을 살펴본 국내 연구도 있다. 함은혜 외(2024)는 초등학생의 과학탐구활동보고서 322개를 GPT 기반 AI 자동채점 시스템과 인간 전문가가 평가하도록 하였다. 분석 결과, AI 자동채점 시스템은 인간보다 채점의 일관성이 높은 경향을 보였지만, 점수를 더 후하게 부여하기도 하였다. 이 연구는 학교 현장에서 AI 채점을 활용할 때 무엇을 확인해야 하는지 생각하게 한다. 점수가 일관되게 산출되는지와 함께, 그 점수가 학생의 해당 역량을 적절하게 반영하는지도 살펴야 한다.

흥미로운 점은 자동채점의 대상도 확장되고 있다는 사실이다. 미국 중학생이 과학 현상을 설명하기 위해 그린 모형 그림 900개를 GPT로 평가한 연구(Lee와 Zhai, 2026)에서는, 채점 기준과 예시 등을 제공하고 그림에 나타난 이해 수준을 세 단계로 평가하도록 하였다. 초등교사의 입장에서 학생이 그림이나 도식으로 표현한 생각까지 AI를 활용한 평가의 대상으로 다루었다는 점에 주목할 만하다.

AI 자동채점과 함께 성장하는 교사
AI에게 답안을 맡기기에 앞서 교사는 먼저 문항과 채점 기준을 살피게 될 것이다. 실제 교사끼리도 답안을 함께 읽으며 채점자 간 채점 일관성과 정확성을 위하여 조율하고, 구체적 상황에 대하여 정리하게 된다. 그렇다면 AI를 활용한 채점에서도 교사는 AI가 문항의 의도와 학습자 맥락을 이해하기 위한 채점 기준 등을 구체적으로 정리할 필요가 있을 것이다.

예를 들어 과학 시간에 ‘뚜껑을 덮지 않은 그릇의 물이 시간이 지나면서 줄어드는 까닭’을 설명하는 문항을 만든다고 하자. 이때 평가하려는 것이 증발에 대한 이해라면, 답안에 ‘증발’이라는 낱말이 있는지만 확인해서는 충분하지 않다. 그 용어를 쓰지 않았더라도 물이 수증기로 변하여 공기 중으로 퍼진다고 설명했다면 개념을 이해한 것으로 볼 수 있다. 반대로 용어는 썼지만 설명이 잘못된 답안도 있을 수 있다. 이러한 답안에 각각 어느 정도의 점수를 줄 것인지가 채점 기준에 담겨야 한다.

예시 답안을 준비하는 과정은 이러한 기준을 점검하는 데 도움이 된다. 잘 쓴 답안뿐 아니라 핵심 내용의 일부만 담은 답안, 예상과 다른 말로 정확하게 설명한 답안도 함께 놓고 살펴볼 필요가 있다. 동료 교사와 이 답안들의 점수를 비교하다 보면 ‘이 정도 설명이면 충분한가’, ‘이 표현도 같은 뜻으로 인정할 수 있는가’와 같은 질문이 생기고 협의하게 된다. 그 질문에 답하는 과정에서 채점 기준이 구체화되고, 학습 맥락을 반영하게 된다.

결국 AI 채점을 준비하는 과정이 교사 자신의 교수 활동까지 돌아보는 기회가 될 수 있다고 생각한다. 무엇을 가르쳤고, 학생의 답안에서 어떤 배움의 증거를 찾으려 하는지 다시 확인하게 되기 때문이다. 문항과 기준을 구체적으로 정리했다고 해서 AI 채점의 정확성이 무조건적으로 보장되는 것은 아닐 것이다. 다만 이렇게 정리한 기준이 있어야 AI가 채점 보조자로서 내놓은 점수를 교사가 검토할 때 무엇이 적절하고 무엇을 수정해야 하는지 설명할 수 있다.

AI 채점 결과를 어떻게 활용할 것인가
AI를 활용하여 서·논술형 평가 채점을 진행해 보면, 채점 시간을 아낄 수 있고 놓치기 쉬운 오타까지 잡아주며, 대량의 평가지 채점을 하며 채점 일관성을 상대적으로 유지할 수 있다는 점을 장점으로 평가할 수 있다. 다만 문항과 채점 기준을 충분히 준비했더라도, AI가 이를 실제 답안에 적절하게 적용했는지는 별도로 확인해야 한다.

교사는 점수와 채점 근거를 함께 살피고, 학생이 수업에서 배운 내용과 문항의 요구에 비추어 판단해야 한다. 따라서 AI를 서술형 평가에 활용하더라도 교사가 주평가자의 역할을 맡아야 한다. AI에는 초벌 채점과 피드백 초안 작성을 하는 채점 보조자의 역할을 담당하고, 수업에서 다룬 내용과 문항의 평가 목적, 평소 학생의 학습 맥락을 이해하고 있는 교사가 그 결과를 학생 답안과 대조하여 최종 판단해야 할 것이다.

그런데 이렇게 AI를 채점 보조자로 활용하면서 발생하는 문제는 없을까? 가령 AI가 먼저 내놓은 점수를 본 교사의 최종 평가는 결국 AI의 채점 결과에 종속될 우려는 없을지 고려할 필요가 있을 것이다. AI가 낸 채점 결과를 지나치게 믿게 되는 결과를 초래할 수도 있기 때문이다.

결국 AI를 서·논술형 문항 채점에 활용하는 교사 개인의 노력에 맡겨두는 것을 넘어 교사 등 교육 전문가가 함께 합의한 AI 활용 평가 가이드라인이 필요하다. 이 가이드라인에는 적어도 AI를 쓸 수 있는 문항과 쓰지 않을 문항을 구분하는 기준이 들어가면 어떨까? 기준이 분명한 문항은 AI의 초벌 채점을 적극적으로 활용하고, 학생의 경험과 생각이 중요한 문항은 교사의 직접 채점 또는 AI의 채점 결과를 참고로만 삼는 식으로 말이다. 또한 다른 여러 기준도 교육 전문가들의 합의안을 토대로 구성하여 일선 학교 현장 교사들이 이를 참고하여 AI를 활용하여 채점할 수 있도록 지원하는 것이다.

맺으며
서·논술형 평가는 학생이 무엇을 알고 있으며, 그것을 어떻게 설명하는지 확인하는 데 유용한 평가 방식이다. 하지만 여러 가지 현장 한계와 제약들로 인하여 실제 평가가 내실 있게 이루어지기에는 많은 어려움이 존재한다. 
AI에게는 보조채점자로서 반복되는 초벌 채점과 피드백 초안을 맡길 수 있다. 교사는 학습 맥락을 파악하고, 채점 기준에 따라 최종 평가를 하게 된다. 마치 비행을 함께 수행하지만, 비행 관련 매뉴얼 등을 살피며 각종 정보를 제공하기도 하는 부조종사(copilot)와 이를 종합하여 최종 판단을 하는 기장(captain)과의 관계와 유사하다.

결국 이러한 교사와 AI 간 역할 분담을 통하여, 다양한 평가 방식을 현장에 정착시키기 위한 방안으로 AI를 적절하고 타당하게 활용한다면, 학생의 학업성취 수준을 보다 명확히 판단하고 이를 근거로 한 교육이 가능할 수 있다. 이를 위해서는 AI 활용 평가 가이드라인 합의 등 제도적 뒷받침 또한 이루어질 필요가 있다.