서·논술형 평가 확대에 따른 교사의 채점 부담을 줄이고 학생별 피드백을 지원하기 위해 전문가가 직접 채점하고 피드백한 대규모 인공지능(AI) 학습용 데이터가 구축됐다. AI가 교사의 평가를 대체하기보다 전문가의 판단을 학습하고 이를 평가에 활용할 수 있는 기반을 마련했다는 점이 주목된다.

한국교육과정평가원(KICE)은 16일 ‘학생 맞춤형 평가를 위한 인공지능 모델 학습용 데이터 구축 방안 연구(Ⅱ)’ 결과를 공개했다. 연구는 서·논술형 평가가 확대되는 상황에서 학생 답안을 공정하고 일관되게 평가하고 교사의 채점 부담을 줄일 수 있는 AI 평가 모델 개발을 지원하기 위해 추진됐다.

핵심은 AI가 학습할 수 있는 평가 데이터를 교과별로 체계화한 것이다. 연구진은 교육과정을 토대로 평가 문항을 제작하고 학생 답안을 수집한 뒤 전문가의 채점 결과와 피드백을 결합했다. 단순히 학생 답안을 대량으로 확보하는 방식이 아니라 실제 평가 판단이 포함된 데이터를 구축하는 데 초점을 맞췄다.

규모도 상당하다. 국어는 학생 답안 5040건을 채점하고 이 가운데 1500건에 대한 피드백 데이터를 만들었다. 수학·사회·과학은 각각 답안 8160건을 채점하고 교과별로 2448건의 피드백을 구축했다. 전체적으로 학생 답안 및 채점 데이터 2만9520건, 피드백 데이터 8844건이다.

특히 채점 데이터의 질을 높이는 데 전문가를 활용했다. 전문가들은 워크숍과 체계적인 훈련 프로그램을 거쳐 학생 답안을 채점하고 피드백을 작성했다. 연구진은 이를 AI 평가 모델의 학습과 성능 향상에 활용하고 향후 AI 기반 채점·피드백 체계를 마련하는 기초자료로 활용할 계획이다.

구축한 데이터를 실제 AI 평가 모델에 적용하는 작업도 진행됐다. 학생 답안과 전문가의 채점·피드백 데이터를 모델에 학습시켜 채점 성능을 확인하고 실제 평가 환경에서 활용할 수 있는 방안을 검토했다. 특히 국어·수학·사회·과학 등 교과별 특성과 평가 상황을 고려해 AI 모델을 적용했다.

눈에 띄는 부분은 AI와 전문가의 채점을 결합하는 혼합형 평가 모델이다. 연구진은 AI에 평가를 전적으로 맡기는 방식이 아니라 AI와 전문가 채점을 함께 활용하는 방안을 적용해 AI 기반 평가의 활용 가능성을 살폈다. 이는 AI 학습용 데이터 구축에서 모델 학습과 실제 활용 방안까지 하나의 연구 체계로 연결했다는 의미가 있다.

이번 연구가 현장에 적용될 경우 서·논술형 평가에서 교사의 반복적인 채점 부담을 덜고 학생별 피드백을 지원하는 기반으로 활용될 수 있을 것으로 평가원은 기대했다. 다만 이번 연구는 AI 평가 모델의 학습용 데이터 구축과 시범 적용에 초점을 맞춘 것으로, 보도자료에는 학교 현장 적용 시기나 구체적인 운영방식은 제시되지 않았다. 연구 결과 역시 AI가 교사의 평가 판단을 대체한다기보다 향후 평가 모델을 고도화하기 위한 기반 구축에 무게가 실렸다.

정수진 연구책임자는 “이번 연구는 AI 기반 자동채점 모델 개발을 위해 학생 답안뿐만 아니라 전문가의 채점과 피드백을 함께 구축해 고품질의 학습용 데이터를 확보했다는 점에서 의미가 있다”며 “앞으로도 학습용 데이터를 지속적으로 구축하고 품질을 고도화해 더욱 신뢰할 수 있는 AI 기반 평가 환경과 학생 맞춤형 평가 체계 구축을 지원할 수 있도록 노력하겠다”고 밝혔다.