서·논술형 평가는 학교 현장에서 오랫동안 활용돼 왔지만, 최근에는 그 적용 범위를 넓히려는 정책적 움직임이 본격화되고 있다. 전남광주통합특별시교육청은 2027년부터 초등학교 5·6학년과 중학교 1학년을 시작으로 서·논술형 평가 100% 전환을 추진하고 있으며(장아름, 2026a), 이를 위해 교원·학부모·시민단체를 대상으로 공청회를 여는 등 의견 수렴에도 들어갔다(장아름, 2026b).

그러나 서·논술형 평가는 품이 많이 들고 말도 많은 평가 방식이다. 채점 기준의 일관성을 확보하기 어렵고, 교사의 업무 부담이 크며, 학생·학부모의 민원에 대한 우려도 끊이지 않는다. 이러한 어려움을 덜어줄 대안으로 주목받는 것이 AI를 활용한 자동채점이다. 한국교육과정평가원은 2026년 이슈페이퍼 ‘AI 자동채점은 교육개혁의 기회인가, 위협인가’에서 대규모 서·논술형 평가에 자동채점을 적용할 가능성과 한계를 함께 검토하였다.

그리고 AI가 교사를 대체하는 수단이 아니라 교사의 전문적 판단을 지원하는 도구로 활용해야 한다고 강조하였다(김동영 외, 2026). 경기도교육청 역시 하이러닝의 AI 서·논술형 평가 시스템을 통해, 교사가 설계한 평가 기준에 따른 자동채점과 학생별 피드백을 지원하고 있다. 서·논술형 평가의 확대와 함께, AI가 교사의 평가를 어디까지 도울 수 있는가가 중요한 물음으로 떠오른 것이다.

서·논술형 평가에서 교사는 학생이 답안을 직접 구성하는 과정을 들여다볼 수 있다. 학생이 어떤 근거를 고르는지, 생각을 어떻게 연결하는지, 자신의 지식과 경험을 어떻게 활용하는지가 답안에 드러나기 때문이다. 학생에게는 자신만의 관점과 문제해결 과정을 보여줄 기회가 되며, 서·논술형 평가의 가치는 바로 여기에 있다. 그러나 평가의 형식을 서·논술형으로 바꾼다고 해서 학생의 다양한 사고를 저절로 평가할 수 있는 것은 아니다. 중요한 것은 학생에게 무엇을 서술하게 하고 그 답안에서 무엇을 평가할 것인가이다.

이 글에서는 필자의 교실 경험과 연구를 바탕으로 두 가지를 살펴보고자 한다. 하나는 AI가 학생의 다양한 경험과 사고가 담긴 답안을 얼마나 적절하게 평가할 수 있는가이고, 다른 하나는 AI가 생성한 피드백이 실제로 학생의 답안 개선에 도움이 되는가이다. 

‘꼴뚜기’가 ‘어린 왕자’가 될 때
필자는 2024년부터 초등학교 교실에서 대규모 언어모델(LLM, Large Language Model)을 활용한 서·논술형 평가의 채점과 피드백을 적용하며 연구해 왔다. 처음에는 교사의 채점 부담을 줄이면서 학생 개개인에게 더 풍부한 피드백을 줄 수 있으리라 기대했다. 그러나 실제 학생 답안을 AI로 채점하고 피드백을 생성해 보니 미처 예상하지 못한 장면들을 마주하게 되었다.

2024년 연구에서는 초등학교 5학년 학생들의 국어과 서술형 평가 답안을 AI로 채점하였다(강신조 외, 2025). 사용한 모델은 GPT-4(2024. 5. 13 버전)에 검색 증강 생성(RAG, Retrieval-Augmented Generation)을 적용한 것이다(이하 채점용 GPT). 단순히 답안을 입력하고 채점을 요청한 것이 아니라 문항별 평가 기준과 예시 답안 등을 별도로 저장해 두고 채점 과정에서 이를 참조하도록 구성하였다.

흥미로운 사례는 문학작품을 하나 골라 좋아하는 까닭을 쓰는 독서감상문 문항에서 나타났다. 한 학생은 <꼴뚜기>(진형민 글, 조미자 그림, 2013)를 읽고 “전 꼴뚜기를 좋아합니다”라고 썼다. 그리고 작품 속에서 꼴뚜기가 음식 이름이 아니라 별명으로 쓰이는 점 등이 재미있다고 설명했다. 교사는 이 답안에 4점 만점을 주었지만, 채점용 GPT는 0점을 주었다.

연구진은 답안과 채점 결과를 검토한 뒤 교사는 5학년 권장도서인 <꼴뚜기>를 알고 있었지만, 채점용 GPT는 이를 문학작품으로 인식하지 못한 것으로 해석하였다. 반대 방향의 오류도 있었다. 다른 학생은 신사임당의 <포도도>를 좋아하는 이유를 썼다. 교사는 이것이 그림 <묵포도도>를 가리킨다고 보고 문학작품을 골라야 한다는 문항의 요구에 맞지 않아 0점을 주었다. 반면 채점용 GPT는 4점 만점을 주었다. 그림을 문학작품으로 잘못 받아들인 것이다. 적절한 답안을 알아보지 못한 오류와 요구에 맞지 않는 답안을 적절하다고 받아들이는 오류가 함께 나타났다. 

물론 2024년의 사례가 최신 LLM에서도 똑같이 나타난다고 단정할 수는 없다. 그러나 이 사례가 보여주는 것은 평가 기준과 관련 지식을 AI에 제공하더라도 학생이 자신의 경험에서 가져온 작품과 표현까지 AI가 올바르게 이해한다는 보장이 없다는 점이다. 서·논술형 답안에는 교사도 미처 예상하지 못한 학생만의 경험이 얼마든지 등장할 수 있다. 이런 답안을 제대로 평가하려면 정해진 루브릭을 적용하는 것을 넘어 학생이 답안에 담아낸 경험과 맥락까지 읽어 낼 수 있어야 한다.

그렇다면 AI가 자신의 답안을 채점한다는 사실을 학생이 알고 있다면 어떨까? 학생은 자신에게 의미 있는 <꼴뚜기>보다 AI도 잘 알고 있을 <어린 왕자>를 고르는 편이 유리하다고 판단할 수도 있다. 이런 일이 반복되면 학생들은 자신의 경험과 생각을 자유롭게 드러내기보다 AI가 이해하고 인정해 줄 만한 소재와 표현을 먼저 고려하게 될지도 모른다. 학생의 다양한 경험과 창의적인 사고를 평가하려고 도입한 서·논술형 평가가 오히려 AI가 이해하기 좋은 답안을 유도할 수 있는 것이다. 그렇게 되면 평가를 위해 AI를 활용하는 것이 아니라 평가가 AI에 종속되는 셈이다. ‘꼴뚜기’가 ‘어린 왕자’가 되는 것이다.

친절하지만 충분하지 않은 피드백
첫 번째 연구가 AI의 채점 능력을 살펴본 것이었다면, 2025년에 수행한 후속 연구(현재 학술지 심사 중)에서는 피드백으로 관심을 옮겼다. 서·논술형 평가의 교육적 가치는 답안에 점수를 매기는 데서 그치지 않는다. 학생이 직접 쓴 답안을 보면 어떤 근거를 활용했는지, 생각을 어떻게 전개했는지, 무엇이 부족한지를 구체적으로 파악할 수 있다. 이를 바탕으로 피드백을 주어 학생이 자신의 답안을 다시 검토하고 고쳐 쓰도록 돕는 것은 현행 교육과정이 강조하는 과정 중심 평가의 취지와도 맞닿아 있다.

문제는 여기에 교사의 상당한 시간과 노력이 든다는 것이다. 교사는 학생 한 명 한 명의 답안을 세심하게 읽고 평가 기준에 비추어 강점과 부족한 점을 찾아내야 한다. 그런 다음 실제 개선으로 이어질 수 있는 구체적인 피드백을 작성해야 한다. 수업 준비와 각종 학교 업무를 병행하면서 모든 학생에게 이런 피드백을 충분히 주기란 현실적으로 쉽지 않다. LLM이 이 부담을 덜어줄 수 있을까? 나아가 LLM이 생성한 피드백은 숙련된 교사의 피드백만큼 학생의 답안을 개선하는 데 효과적일까? 두 번째 연구는 이 물음에서 시작되었다.

이 연구에서는 초등학교 5학년 학생들을 세 집단으로 구분하였다. 교사가 직접 피드백을 제공하는 집단, AI가 생성한 피드백을 제공하는 집단, AI가 생성한 피드백 초안을 교사가 검토하고 수정하여 제공하는 HITL(Human-in-the-Loop) 집단이다. 학생들은 같은 글쓰기 과제를 수행한 뒤 각 집단에 해당하는 피드백을 받았고 이를 바탕으로 답안을 고쳐 다시 제출하였다. 이후 피드백 전후의 점수 변화와 학습 만족도를 비교하였다.

결과는 흥미로웠다. 점수 향상 폭은 교사 피드백 집단에서 가장 컸다. 사전 점수를 통제한 비교에서도 교사 집단이 AI 집단과 HITL 집단보다 유의하게 높은 성취를 보였다. HITL 집단과 AI 집단 사이의 차이는 통계적으로 유의하지 않았다. 학습 만족도에서는 다른 양상이 나타났다. 집단 간 유의한 차이는 없었지만, 평균만 놓고 보면 AI 피드백 집단의 만족도가 가장 높았다. 답안 개선에 가장 효과적이었던 피드백과 학생들이 가장 만족한 피드백이 서로 달랐던 것이다.

이 결과는 학생이 좋아하는 피드백이 곧 답안 개선에 효과적인 피드백은 아닐 수 있다는 물음으로 이어졌다. 필자는 이 현상을 해석하는 하나의 관점으로 AI의 ‘아첨(sycophancy)’에 주목하였다. ChatGPT가 등장한 초기에는 존재하지 않는 사실을 그럴듯하게 지어내는 ‘환각(hallucination)’이 대표적인 문제로 꼽혔다. 이른바 ‘세종대왕 맥북 던짐 사건’이 그 황당한 예다. 그러나 교육 현장에서 마주한 문제는 잘못된 정보만이 아니었다. 사실과 다른 말을 하지 않더라도 학생이 자신의 답안을 실제보다 긍정적으로 받아들이게 만드는 피드백은 교육적으로 충분하지 않다.

아첨이란 AI가 사용자의 의견이나 기대에 지나치게 동조하는 경향을 말한다. 이러한 경향은 사람이 더 선호하는 답변을 학습하도록 하는 RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화학습) 방식에서 비롯될 수 있다. ChatGPT를 쓰다가 두 답변 중 더 마음에 드는 것을 고르라는 화면을 본 적이 있다면 바로 그런 선택이 이 학습에 쓰인다. 그리고 사람은 대체로 듣기 좋은 답변을 고르기 마련이다.

실제로 피드백을 분석해 보니 학생의 글에 부족한 점이 남아 있는데도 칭찬과 격려가 앞서는 사례가 나타났다. 정작 무엇을 어떻게 고쳐야 하는지에 대한 안내는 부족했다. 예를 들어 대화체와 서술문을 함께 써야 하는 과제에서 한 학생이 대화체만 썼지만, AI는 표현을 더 따뜻하게 바꿔보라고 권했을 뿐 서술문이 빠졌다는 핵심 문제는 짚어주지 못했다. 그렇다면 AI가 너무 친절한 것이 문제였을까? 그렇지 않다. 친절한 말은 많았지만 그 안에 무엇을 고쳐야 하는지가 없었던 것이 문제였다. 학생에게 필요한 것은 막연한 칭찬이나 격려가 아니라 자신의 글에서 무엇이 부족한지 이해하고 어떻게 고칠지 스스로 생각하도록 돕는 피드백이다. 

이 점에서 HITL 집단의 결과도 다시 볼 필요가 있다. 교사가 AI 초안을 검토하고 수정했는데도 AI 단독 피드백과 유의한 차이가 없었다. 이는 AI가 먼저 써 놓은 친절한 초안이 교사의 검토를 그 틀 안에 머물게 했을 가능성을 보여준다. 교사가 AI 피드백을 ‘검토’한다는 것만으로는 충분하지 않을 수 있는 것이다.

자유로운 사고와 촘촘한 루브릭
앞서 말했듯 서·논술형 평가를 확대하려는 이유는 학생에게 정해진 답을 고르게 하는 대신 자신의 지식과 경험, 논리와 관점, 창의적인 사고를 자유롭게 드러낼 기회를 주기 위해서이다. 그러나 이를 학급이나 학교를 넘어 시도와 국가 수준의 대규모 평가로 확대하는 순간 정반대 방향의 요구가 커진다. 모든 학생에게 공정해야 하며 학교·지역·채점자가 달라도 같은 답안에는 같은 점수가 나와야 한다.

채점 결과에는 누구나 납득할 만한 근거를 제시할 수 있어야 한다. 이를 위해 루브릭은 더 촘촘해지고 인정할 수 있는 근거와 답안의 범위는 더 구체화되며 대표 답안과 다양한 채점 사례도 마련되어야 한다. AI가 채점을 맡는다면 이 기준을 일관되게 적용하는 일은 더욱 중요해진다.

문제는 채점의 일관성과 안정성을 높이는 과정에서 원래 평가하려던 학생의 다양한 사고가 미리 정해진 기준과 수량화할 수 있는 요소로 줄어들 수 있다는 점이다. 결국 학생들에게 이렇게 말하는 셈이다. “자유롭게 생각하고 자유롭게 써. 하지만 우리가 정해 놓은 루브릭에 맞아야 점수로 인정해 줄 수 있어.” 자유롭고 창의적인 사고를 평가하겠다며 시작한 서·논술형 평가가 정작 안정적으로 채점할 수 있는 범위 안에서만 그 자유를 허용하는 역설이 생기는 것이다.

‘꼴뚜기’가 ‘꼴뚜기’로 남으려면
앞서 언급한 세 장면을 겹쳐 놓으면 처음의 질문으로 돌아가게 된다. 서·논술형 평가로 바꾸면 학생의 고차원적 사고를 평가할 수 있는가? AI가 ‘꼴뚜기’를 알아보지 못하면 학생은 ‘어린 왕자’를 쓰게 된다. AI의 친절한 피드백은 학생이 무엇을 고쳐야 하는지 알려주지 못한다. 대규모 평가의 촘촘한 루브릭은 자유로운 사고를 채점 가능한 범위 안으로 밀어 넣는다. 형식은 서·논술형이지만 실제로 평가되는 것은 정해진 답에 가까운 사고일 수 있다. 서·논술형이라는 형식이 곧 고차원적 사고의 평가를 보장하지는 않는 것이다. 따라서 시도나 국가 수준에서 서·논술형 평가를 대규모로 확대하기에 앞서 따져 보아야 할 것이 있다. 우리가 측정하려는 사고는 무엇인지, 그리고 AI 채점과 표준화된 루브릭 속에서도 그 사고가 살아남을 수 있는지이다.

그렇다고 AI를 평가에서 배제하자는 것은 아니다. 중요한 것은 AI가 인간 채점자를 얼마나 완벽하게 대체하느냐가 아니다. 어떤 판단을 AI에 맡기고 어떤 답안을 교사가 직접 읽으며 교사가 AI의 결과를 어떻게 검토할 것인지 그 역할과 경계를 설계하는 일이다. 교실에는 언제나 ‘어린 왕자’ 대신 ‘꼴뚜기’를 고르는 학생이 있다. 그 답안을 오답으로 처리하지 않고 끝까지 읽어 낼 수 있을 때 AI는 평가를 대체하는 기계가 아니라 평가를 돕는 코파일럿(Copilo)t이 될 수 있을 것이다.