논술 시험을 통해 우리는 높은 수준의 사고력을 갖춘 사람을 선발하고자 한다. 그런데 실제로 이 관문을 통해 높은 수준의 사고력을 가진 학생을 골라내고 있는가.

대학에서 논술 출제를 하고 채점을 하다보면 이런 질문에 대해 긍정적인 대답을 하기가 어렵다. 채점량에 비해 채점 시간이 절대적으로 부족하기도 하고, 예산 부족 등의 현실적인 문제가 있기도 하고, 학문 영역을 고려하여 채점자들을 안배해야 하거나 채점자들 간의 ‘합의’ 도출의 어려움 등의 운영상의 문제도 있다.

논술 채점의 공정성을 높이기 위해 몇 가지 장치를 사용하기는 하지만, 채점자 간 신뢰도가 예상보다 높지 않고, 어느 묶음에 있는 답안의 점수가 상대적으로 높아지는 경우도 자주 있다. 논술 채점을 하는 사람들조차 채점의 공정성을 의심하게 된다면, 대학 입학시험과 같은 민감한 상황에서 논술이 하나의 잣대로 구실하기 어렵게 된다.

공정성을 높이기 위해 우선 채점자를 제대로 선임해야 하고 이들에 대한 ‘훈련’도 필요하다. 학문 영역 간 안배를 할 것이 아니라 채점을 제대로 할 수 있는 사람을 선임하고 한 팀을 구성할 때 역할 분담을 하는 것이 좋다. 그리고 채점 기준에 대해 채점자들이 충분히 ‘합의’하기 위한 과정이 필요하다. 그리고 전체 평가의 1/10 정도만 일단 평가를 해 보게 한 후 여기에 대해 서로 의견을 나눈 다음 다시 한 번 합의하는 과정이 필요하다.

둘째, 평가(채점) 기준이 명확해야 한다. 흔히 이해력, 표현력, 사고력 등으로 나누기도 하고, 이를 다시 세분화하여 표현력을 내용면, 조직면, 표현면 등으로 나누기도 한다. 문제는 각 하위 기준별로 어느 정도의 답안이 특정 점수에 해당하는지를 알기가 쉽지 않다는 점이다. 같은 기준을 적용해도 같은 시험지에 대한 채점자들 간에 점수 차이가 많이 나는 것을 흔히 볼 수 있다. 이 점을 줄이려면 각 하위 기준별로 각 채점 기준에 해당하는 답안의 특징을 만들어 두고, 실제 학생 답안 중에서 그 기준에 해당하는 답안을 설정하는 것이 좋다.

셋째, 채점 방식에서 총체적 채점보다는 분석적 채점을 권장한다. 총체적 채점(holistic scoring)은 주요 평가 요소를 고려하면서 전체적인 인상을 평가하는 것을 말하고, 분석적 채점은 몇몇 하위 영역별로 점수를 매기고 이를 합산하는 방식이다. 채점자 입장에서는 총체적 채점을 원하지만 좀 번거롭더라도 분석적 채점을 하는 것이 좋고, 총체적 채점을 하더라도 분석적 채점을 바탕으로 하도록 하는 것이 좋다.

넷째, 공정성을 높이기 위한 몇몇 최소한의 안전장치를 마련해 둔다. 예를 들어 한 답안지에 대해 평가자들 간에 일정 정도 점수 간격이 커지면 그 답안지는 별도의 팀에게 맡기는 것도 필요하다. 그리고 흔히 5명 정도를 한 팀으로 구성하여 최고 점수와 최하 점수를 제하는 방식을 취하지만, 이 경우에도 팀 내에서의 채점자들 간의 신뢰도를 살펴보고 팀 간 신뢰도도 채점 내내 살펴야 한다. 중간 중간에 멈추고 채점자들 간의 신뢰도가 어느 정도인지를 살펴본 후에 다음 답안지에 대해 채점을 하게 하는 것이 좋다.