서·논술형 평가에 인공지능(AI) 자동채점을 도입하더라도 최종 판단은 교사가 맡고 AI는 이를 보조하는 방향으로 활용해야 한다는 제언이 나왔다. 채점 효율성과 일관성을 높일 수 있지만 편향과 오류, 교사의 AI 의존 가능성까지 고려해 교육적 책임을 우선해야 한다는 것이다.

한국교육과정평가원은 11일 서울 프레지던트호텔에서 ‘서·논술형 평가 AI 자동채점이 나아갈 길을 모색하다’를 주제로 세미나를 열고 자동채점 기술과 학습용 데이터 구축, 제도적 안전장치와 교사 전문성의 역할을 논의했다. 세미나는 ‘기술의 발전을 넘어 교육적 책임으로’를 부제로 6개 발표와 종합토론으로 진행됐다.

김승주 평가원 연구위원은 대규모언어모델(LLM)이 확산된 상황에서도 전통적 머신러닝과 채점자질 기반 자동채점이 의미가 있다고 봤다. 생성형 AI는 다양한 답안을 해석할 수 있지만 판단 근거와 점수 산출 과정을 명확하게 설명하기 어렵다는 한계가 있다는 것이다. 김 연구위원은 LLM을 검증할 독립적인 장치와 함께 점수 산출 근거를 구조화할 수 있는 방식이 필요하다고 제안했다.

학교 현장에서는 교사의 개입을 전제로 한 자동채점 방식이 제시됐다. 신중휘 평가원 연구위원은 단위학교의 경우 평가 문항과 기준이 수시로 달라 대량의 학습 데이터를 전제로 한 기존 방식을 적용하기 어렵다고 분석했다. 이에 AI가 확신하지 못하는 답안을 교사가 직접 채점하고 이를 다시 학습시키는 ‘Human-In-The-Loop’ 방식을 제안했다. 그는 자동채점에서도 “교사의 전문적 판단과 개입이 필요하다”는 점을 강조했다.

생성형 AI의 자동채점과 피드백 가능성을 분석한 이정훈 평가원 연구위원은 LLM을 활용한 서·논술형 채점에서 일정 수준의 가능성을 확인했다. 다만 동일한 답안도 프롬프트와 평가 기준 구성에 따라 결과가 달라질 수 있어 안정성과 신뢰성을 확보하는 장치가 필요하다고 밝혔다.

AI 학습용 데이터의 품질도 주요 과제로 꼽혔다. 최숙기 한국교원대 교수는 국어 논술형 답안 5040편을 활용한 데이터 구축 사례를 소개했다. 현직 교사 50명이 25개 팀으로 나뉘어 채점에 참여했으며 채점자 간 차이가 발생하면 판단 근거를 확인해 최종 점수를 조정했다. 최 교수는 AI 학습용 ‘골드 스탠다드’가 단순히 오류 없는 정답 데이터가 아니라 “채점 기준을 정교화하고 반복적인 검토와 합의 과정을 기록한 데이터”가 돼야 한다고 강조했다.

정수진 평가원 연구위원은 서·논술형 평가 데이터를 AI 모델 학습에만 활용하지 않고 채점 기준과 교육과정, 문항 정보 등을 외부 지식으로 제공하는 검색증강생성(RAG) 방식으로 발전시킬 필요가 있다고 제안했다. 이를 위해 데이터 명세와 품질관리 절차 등 국가 차원의 데이터 인프라도 필요하다고 봤다.

자동채점이 교사의 전문적 판단에 미칠 영향에 대한 경계도 나왔다. 박종임 평가원 연구위원은 AI가 먼저 제시한 점수에 이후 판단이 끌리는 ‘앵커링 효과’와 자동화된 결과를 과도하게 신뢰하는 ‘자동화 편향’을 지적했다. 자동채점을 반복적으로 사용할 경우 교사가 스스로 채점 기준을 해석하고 판단하는 전문성이 약화될 가능성도 제기했다. 자료집에는 AI 점수를 먼저 본 뒤 교사가 자신의 판단을 수정하거나 AI가 제시한 오류를 전문가가 놓치는 관련 연구 사례도 제시됐다.

이에 박 연구위원은 인간 판단 중심, 설명 가능성 확보, 편향 점검, 로그 기록과 모니터링 등을 자동채점 활용 원칙으로 제안했다. 특히 “AI는 점수를 ‘결정’하는 주체가 아니라, 교사의 판단을 지원하는 보조 체계로 위치해야 한다”고 밝혔다.

박 연구위원은 “최종 판단의 몫은 언제나 교사에게 있다”며 “AI는 교사의 판단을 보조하고 강화하는 방향으로 작동해야 한다”고 강조했다. 이어 평가 목적과 상황에 맞는 자동채점 활용 원칙을 마련하고 교육과 AI를 함께 이해하는 교사 전문성 개발과 교사-AI 협력 채점 연수, 고영향 AI 관련 검증체계를 갖춰야 한다고 제안했다.