Ⅰ. 들어가는 말
일반적으로 평가 도구는 다양한 평가 문항을 포함하고 있는 시험지의 형태로 나타나며, 시험지의 생명을 결정하는 것은 그 속에 담겨 있는 문항들이다. 문항 하나하나가 제대로 잘 제작되어 측정하고자 하는 것을 충실히 재고 있을 때, 그 시험지는 평가 도구로서 제 구실을 할 수 있다. 따라서 좋은 문항을 만들기 위한 노력이 뒤따라야 한다.

평가 문항에는 객관식과 주관식이라 불리는 두 가지의 유형이 있으며, 각각 선택형과 서술형 문항이라고도 부르기도 한다. 선택형 문항은 질문 또는 지문과 함께 여러 개의 답지를 제시해 놓고 그 중에서 적합한 답지를 선택하도록 하는 문항 형식을 말하며, 서술형 문항은 질문 또는 지문을 제시하여 응답자로 하여금 답을 생각해서 쓰도록 하는 형식의 문항이다.

문항 제작 시 가장 유의할 점으로는 문항에 중요한 학습 내용을 포함하여야 한다는 사실이다. 교과 내용이 제한되어 있고 많은 문항들이 출제되다 보면, 지엽적이고 하찮은 내용을 묻는 문항을 제작하는 경우가 있다. 중요한 교과 내용의 인지 여부를 평가하여야만 교육 목표 성취 수준을 파악할 수 있다는 점에서 이와 같은 문항은 재고돼야 한다.

Ⅱ. 선택형 문항의 제작
선택형 문항은 ‘문두와 지문(자료 포함) 및 답지’로 구성하는 것이 일반적이며, 수능 문항도 대부분 이와 같은 형식을 취하고 있다(수학탐구 영역 일부 제외). 여기서는 문두, 지문, 답지의 순으로 선택형 문항 제작 시 유의할 점에 대해 얘기하고자한다.

1. 문두 제작 시 유의 사항
(1) 묻고자 하는 질문의 내용이 단순 명쾌하게 구조화돼야 한다. 서술형 문항의 경우, 질문의 내용을 수험생 자신이 나름대로 해석하고 나름대로의 논리를 전개할 수 있으며, 채점자는 이를 감안하여 점수를 부여할 수 있다. 그러나 선다형 문항의 경우, 질문이 모호하면 답을 알고 있는 수험생이라도 오답을 고를 수 있고 이렇게 되면 정답 시비가 일어날 수도 있다. 질문이 무엇을 묻는지를 명확히 해야 한다.

(2) 일반적으로 선택형 문항의 문두는 불완전한 문장 형식을 취한다. ‘~로 알맞은 것은?’, ‘~로 가장 적절한 것은?’ 등의 그 예이다. 그런데 문항을 분석하다보면, ‘~고르시오’라는 형식을 취한 것이 발견되기도 하는데(영어 듣기 평가의 경우는 예외), 가능하면 불완전한 문장 형식을 취하는 것이 바람직할 것이다.

(3) 일반적으로 문두가 부정형인 경우, 부정어가 들어가 있는 부분에 밑줄을 그어 학생들에게 주의를 기울이도록 하고 있다. 그런데 문항을 분석하다보면 ‘~바르지 못한 것은?’ 또는 ‘~바르지 못한 것은?으로 쓰여 있는 경우가 있었는데, ‘~바르지 못한 것은?’으로 통일시키는 것이 좋겠다.

(4) <보기>가 들어가 있는 문항의 경우 문두에 ‘~고른 것은?’이라고 문두를 작성하는 것이 일반적이다. 그런데 문항을 분석하다보면 <보기>가 “주어져 있지 않은 문항에도 ‘~고르면?’이라는 문두가 사용되는 경우가 있었다. 또한 <보기>가 들어가 있는 문항의 문두가 매우 다양하게 나오고 있었는데, ‘고른 것은?’, ‘고르면?’, ‘모두 고른 것은?’, ‘있는 대로 고른 것은?’, ‘모두 찾으면?’ 등이 그것이다. 수학능력시험문항의 경우 답지의 개수가 같을 경우에는 ‘~<보기>에서 고른 것은?’, 답지의 개수가 다를 경우에는 ‘~만을 <보기>에서 있는 대로 고른 것은?’의 형식을 취하고 있다.

2. 지문 제작 시 유의 사항
(1) 지문이나 답지 등의 문장은 가능한 한 정확한 단어로 서술하여야 하며, 불필요하게 어려운 단어나 복잡한 구문을 사용하지 말아야 한다. 지나치게 복잡하거나 어려운 단어로 구성되어 있으면, 평가하고자 하는 교과 내용을 측정하기보다는 언어 능력을 측정할 가능성이 크기 때문이다. 이는 표에도 그대로 적용된다.

(2) 윤리적으로 문제가 되는 내용은 가급적 피해야 한다. 평가도 교육의 연장이라는 관점에 비추어 비도덕적․비윤리적 문제는 제작되지 말아야 한다. 특히 사회 현상을 다루는 사회 교과의 경우, 지문이 반사회적 내용이나 비윤리적 내용인 경우 그에 따른 질문은 좋은 문항이라 보기 힘들다.

(3) 보기 제작시의 유의 사항은 다음과 같다.
•<보기> 박스 안의 기호는 ㄱ, ㄴ, ㄷ, ㄹ 등으로 표기한다.(외국어의 경우 a,b,c,d 사용 가능) 일부 출제문항을 보면 <보기> 박스 안의 기호가 (가), (나), (다), (라) 등으로 되어 있는 경우가 있었다. (가), (나) 등은 지문 속에 있는 여러 문단을 구분하여 나타내거나, 제시된 자료(글 자료, 지도 자료, 사진 자료) 등을 구분할 때 사용하는 것이 일반적이다.
•원칙적으로 <보기> 안에 ㄱ, ㄴ, ㄷ, ㄹ 등으로 표기하는 것은 ‘<보기> 박스에서 답지를 고를 때로 한정된다. 답지를 고르지 않은 문항의 경우에는 문두에 ‘다음’을 사용하고 박스 속의 각 사항 앞에 기호를 ‘◦’로 표기한다.(박스 속에 내용을 단순히 열거하는 경우)

3. 답지 제작 시 유의 사항
(1) 문항을 분석하다보면 <보기>의 ㄱ, ㄴ, ㄷ, ㄹ을 조합하여 만든 답지 구성이 매우 다양하게 나타나고 있다. 하나로 구성된 답지를 앞에, 2개로 구성된 답지를 그 다음에, 세 개로 구성된 답지를 나중에 배열하는 것이 일반적이다. 그리고 답지의 수가 같을 경우에는 국어사전의 배열을 따른다. 참고로 수능에서는 모든 답지를 2개씩의 조합으로 구성할 경우에는 ‘ㄱ, ㄹ’로 구성된 답지는 만들지 않으며, 2개와 3개씩의 조합으로 구성할 경우에는 답지에 나온 기호의 수를 3번씩 나오도록 하여 동일하게 만들고 있다.

(2) 문항을 분석하다보면 답지가 길이 순으로 배열되지 않은 문항들이 발견되었는데, 같은 지면에서 어떤 문항들은 길이 순으로 배열되어 있었으나 또 다른 문항들은 길이 순으로 배열되어 있지 않는 경우도 있었다. 물론 답지에 기승전결 혹은 시대사적 근거가 있다면 논리적 근거에 따르는 것이 바람직할 것이나, 그렇지 않다면 답지의 길이가 짧은 것을 앞부분에, 답지의 길이가 긴 것을 뒷부분에 배열하는 것이 좋다.

(3) 하나의 시험지는 쉬운 문항에서 어려운 문항에 이르기까지 다양한 문항으로 구성되는 것이 바람직하다. 그러나 지나치게 문항이 쉽다거나 어려우면 변별력이 떨어지며, 고등 정신 기능이 아닌 단순 기억에 의존하는 문항의 경우에는 문항의 타당도가 떨어진다.

(4) 답지들 중 특이한 형태로 서술될 경우 이는 정답이나 틀린 답이 될 수 있는 가능성을 제시하게 될지 모른다. 또한 문두나 지문에 있는 내용을 그대로 답지에 사용하지 말아야 한다. 이는 수험생이 자연스럽게 정답으로 선택할 가능성이 높기 때문이다.

(5) 그럴 듯하고 매력적인 틀린 답지를 만들어야 한다. 선다형 문항 제작에서 가장 중요한 주의 사항 중 하나이다. 개념, 정의, 사실 등에 확실한 지식을 갖고 있지 않은 수험생은 매력적인 오답지에 의하여 혼동을 하게 된다. 그러므로 선다형 문항에 대한 평가는 답지들의 매력성에 의존한다 하여도 과언이 아니다.

(6) 답지에 공통적으로 반복하여 나타나는 단어는 가능하면 질문에 서술하여, 수험생이 답지들을 읽을 때 소요되는 시간과 지겨움을 줄여야 한다. 답지에서 공통적으로 반복되는 단어, 문장을 제거하기 용이하지 않을 때는 서술 형태를 변화시킬 수 있다.

(7) 문두나 지문에 있는 내용을 그대로 답지에 사용하지 말아야 한다. 이는 수험생이 자연스럽게 정답 또는 오답으로 선택할 가능성이 높기 때문이다. 이외에도 선택형 문항을 제작함에 있어 유의사항으로는 ‘답지 상호 간에 서로 간섭해서는 안 된다.’, ‘가능하면 답지는 짧게 하도록 한다.’, ‘정답의 번호가 특정 번호에 치우치지 않게 한다.’ 등이 지적된다.

Ⅲ. 서술형 문항의 제작

1. 서술형 문항의 유형
가. 반응의 허용 정도에 따른 분류
응답 자유형과 응답 제한형이 있다. 응답 자유형은 응답의 내용범위와 서술양식에 큰 제한이 가해지지 않고 답안의 길이에 대한 제한도 명시되어 있지 않는 것으로, 답안의 최대 길이가 학생 개개인의 능력수준과 시험시간에 의해서만 간접적으로 제한을 받는 문항 형태이다. 응답 제한형은 학생들의 반응 허용 정도가 상당히 제한된 것으로, 반응의 내용과 형식을 구체적으로 지시하여 제한된 방향으로 답을 구성하도록 요구하는 문항 형태이다.

나. 자료 제시 여부에 따른 분류
단독 과제형과 자료 제시형이 있다. 단독 과제형은 자료나 정보를 제시하지 않고 특 정 질문에 응답하도록 하는 문항 형태이다. 자료 제시형은 문항 속에 학생이 읽을 자료를 제시해 주고 그것을 바탕으로 해서 응답하도록 하는 문항 형태이다. 보통 “응답 제한형”과 밀접히 관련되어 있다.

2. 서술형 문항의 제작시 유의 사항
(1) 단순 암기 위주의 지식보다는 고등정신능력을 측정하도록 한다. 선택형으로 측정할 수 있는 정신기능은 구태여 서술형을 사용하여 측정할 필요가 없다. 서술형 문항의 장점은 다른 문항형식에서는 측정하기 어려운 사고력, 추리력, 종합력, 비판력, 분석력, 응용력, 표현력, 창의력과 같은 정신기능을 비교적 쉽게 측정할 수 있다는 데 있기 때문이다. 이러한 장점을 최대한 살릴 수 있도록 문항을 제작해야 한다.

(2) 구체적인 학습 결과를 측정할 수 있도록 질문을 구조화시키고 제한성을 갖도록 한다. 서술형 문항이 흔히 가지는 약점 중의 하나는 너무 모호하고 일반적이라는 점이다. 문항이 애매모호하면 학생은 어떻게 응답해야 할지 혼란을 빚게 된다. 또한 학생의 반응이 너무 다양해져 채점 과정에서 어려움을 겪을 가능성도 커진다. 그러므로 문항이 요구하는 영역을 규정하고, 제한하며, 이것을 잘 구조화시킬 필요가 있다. 반응의 자유도를 허용하되 답의 표현은 ｢이곳으로｣라는 방향을 지시해 주는 문항이 되어야 한다.

(3) 문두의 말미는 구체적인 형태로 제시되는 것이 좋다. 많은 서술형 문항의 경우, 문두의 말미는 ‘서술하라’. 또는 ‘간략하게 쓰시오.’라고 구성되어 있다. 그러나 어느 때는 문두의 말미를 ‘비교 분석하라’, ‘이유를 설명하라’ 등 보다 구체성을 띨 필요가 있다.

(4) 응답 요소의 종류를 나열하도록 할 경우에는 가지 수를 한정해야 한다. 서술형 문항에서 흔히 볼 수 있는 것으로, ‘○가지 이상 제시하시오’라고 묻고 채점 기준에서 지정된 ○가지 이상을 제시하면 ‘상’ 혹은 ‘최고점’을 주는 경우가 많다. 그러나 이 경우 문제가 발생할 위험이 많기 때문에 요소를 나열하도록 할 경우에는 ‘○가지(만) 제시하시오’라고 한정하고, 채점 과정에서는 지시한 ○가지까지만 채점하고 뒤에 나열되는 요소에 대해서는 채점을 하지 않아야 함을 원칙으로 해야 한다.(이를 위해 문두 말미에 ‘4가지 ○+1이상 제시하였으면, 앞의 것 ○개만으로 평가함’을 제시하기도 함)

(5) 여러 문항 중에서 선택해서 쓰도록 하지 않는다. 흔히 서술형 평가에서 보는 현상으로, 3개 혹은 5개 정도의 문항을 주고 ｢택1｣ ｢택2｣ 등의 옵션을 주어 학생이 자유로이 선택해서 쓰게 하는 경우가 있다. 이러한 문항의 경우, 학생의 부담을 덜어준다는 입장에서는 긍정적으로 보일지 모르나 여러 가지 문제를 초래한다. 첫째, 3개 문항이 서로 이질적인 내용일 경우 시험의 타당도가 떨어지게 된다. 각기 다른 문항을 선택해서 답을 했을 경우 그에 대한 채점 점수는 학생들의 서로 다른 능력을 재고 있기 때문이다. 둘째, 채점의 노력과 시간이 배가된다. 셋째, 이와 같은 문항에 익숙해진 학생들은 넓은 교과 내용 중 본인이 원하는 내용만을 공부하고 부분 학습 습관과 같은 요행심을 키울 가능성이 있다.

(6) 서술형 문항의 경우 답의 길이는 약 20-100자 정도로 하는 것이 일반적이다. 문항에서 요구하는 답안의 길이를 중심으로 볼 때, 50자를 경계로 하여 비교적 짧은 분량의 문항과 비교적 긴 분량의 문항으로 나눌 수 있다. 평가 문항의 성격에 따라 필요한 경우 목적, 분량, 시간 등을 제한하여 명시할 수 있다.

(7) 서술형 문항의 문두는 완전한 문장 형식을 취한다. 서술형 문항의 문두는 ‘~쓰시오.’, ‘구하시오.’, ‘설명하시오’ 등의 완전한 문장 형식을 취하는 것이 일반적이다. 서술형 문항을 분석하다보면, ‘~제도는?’, ‘구하면?’ 등과 같은 문두가 발견되는데, 불완전한 문장이 아닌 완전한 문장으로 서술하는 것이 좋다. 이외에도 서술형 문항을 제작할 때 유의할 사항으로는 ‘문항을 배열할 때 쉬운 문항에서 어려운 문항으로 배열한다.’, ‘각 문항에 응답할 수 있도록 적절한 응답 시간을 배려한다.’ 등이 지적된다.

3. 서술형 평가 문항 채점 시 유의점
선택형 평가와는 달리, 서술형평가의 성공 여부는 문항 자체의 질뿐만 아니라 채점의 질에 의해서도 결정된다. 아무리 좋은 문항이라 해도 채점이 제대로 이루어지지 않는다면, 그 결과는 신뢰성이 떨어져 활용될 수 없게 된다. 따라서 서술형 평가에서는 능력 있는 문항 제작자와 함께 우수한 채점자, 그리고 합리적인 채점 과정이 더욱 요구된다. 다음은 채점을 할 때의 유의 사항들이다.

-채점 기준을 사전에 명료히 해야 한다.
-학생(답안지) 단위가 아닌 문항 단위로 채점이 이루어져야 한다.
-답안지를 일차적으로 한번 읽고 난 뒤, 구체적으로 채점한다.
-채점은 충분한 휴식을 취해가며 맑은 기분으로 차분하게 이루어져야 한다.
-답안지에 있는 학생의 성명과 번호를 가리고 채점해야 한다.