영어 평가 문항 개발의 실제(한국영어교과교육학회 총서 4)

책속으로 추가

제1장. 평가의 기본 개념과 원리

1.1 들어가며

일반인에게 "평가"라는 말은 으레 "시험"이란 말을 떠올리게 한다. 어떤 이들은 대학을 졸업하면서 "이제 내 인생에 더 이상의 시험은 없다."라고 외치며 평가에서 비로소 자유롭게 된 자신에 대해 축복하는 장면을 연출하기도 한다. 그런데 안타깝게도 평가는 시험과 온전히 등치되는 개념은 아니어서 우리의 삶은 사실상 평가의 연속이다. 예컨대, 직장에서 이뤄지는 각종 평가는 물론이요, 가정 내에서는 부모로서, 자식으로서, 또 배우자로서 끊임없이 이뤄지는 평가를 감내해야 한다. 평가란 무엇일까?
평가의 사전적 정의는 평가 대상의 가치나 수준을 평하는 행위를 이른다. 시험이란 말이 그에 근접한 의미의 어휘로서 자리 잡고 있는 것은 분명하지만, 그보다는 "측정(measurement)"이란 말이 평가의 개념에 보다 가깝다. 측정의 개념은 일정한 양을 기준으로 같은 종류의 다른 양의 크기를 재는 행위로 정의된다.
평가의 사전적 정의를 적용하면, 우리가 본서에서 주목하여 살피고자 하는 "영어 능력 평가"는 영어 능력의 가치나 수준을 평하는 행위로 이해된다. 그리고 측정의 개념을 도입하자면, 영어 능력의 크기를 재는 행위가 되는데, 이때 같은 종류(즉, 영어 능력)의 기준이 필요하다. 다시 말해 영어 능력 기준을 토대로 영어 능력을 재는 행위가 영어 능력 측정이다.
정확한 평가나 측정은 생각보다 복잡하고 어렵다. 어떤 사람의 키가 170cm라 하였을 때, 이에 대한 평가는 평가 맥락에 따라 달라지기 마련이다. 그 사람이 남자인가 여자인가에 따라 달라지고, 초등학생인가 대학생인가에 따라 평가가 달라진다. 키에 대한 정확한 측정 역시 어렵긴 매한가지이다. 아침에 재는 키가 저녁에 재는 키보다 더 클 것이다. 자세에 따라서, 근육의 경직도에 따라서도 잴 때마다 키가 다르게 측정되곤 한다. 즉, 키 자체가 상황 맥락에 따라 변화하는 것이다. 그런데 이에 더해 우리를 더욱 난처하게 하는 것은 동일한 시간대에, 동일한 자세와 근육 경직도 수준에서 측정을 할 수 있다손 치더라도 어떻게 측정을 하느냐에 따라서 그 결과 값이 달라진다는 사실이다. 벽에 기대에 서서 키를 재느냐, 누워서 키를 재느냐, 다른 사람과 등을 맞대고 키를 재느냐, 줄자와 같은 도구를 활용하여 키를 재느냐에 따라 키의 값이 다르게 측정되는 것이다.
키는 우리가 평가하고자 하는 대상이다. 비교적 명확해 보이는 평가 대상인 키마저도 정확한 평가가 어렵다는 말을 새겨들을 필요가 있다. 우리가 본격적으로 논의하고자 하는 영어 능력 평가는 생각보다 훨씬 더 어려운 개념이어서 그를 위해서는 많은 고민과 철저한 준비가 있어야 할 것이다. 키 자체가 변화를 겪는 것 이상으로 영어 능력 평가는 평가 맥락에 따라 더 큰 부침을 겪게 될 것이 자명하다. 키를 측정하는 방법에 따라서도 그 결과가 달라질 수 있다는 사실 역시 영어 능력 평가 작업에 그대로 적용된다. 어떠한 방식을 통해 영어 능력을 측정하느냐에 따라서 그 결과가 다르게 나타날 것이 분명하다. 이제 평가에 대해서, 보다 구체적으로는 영어 능력 평가에 대해서 본격적으로 살펴보자.

1.2 평가의 종류
일반인에게 평가의 결과는 흔히 "줄 세우기"로 이해된다. 평가 결과를 토대로 순위가 매겨지며, 저 앞쪽의 1등부터 저 아래쪽의 순위까지 하나의 선상에 쭉 나열된다. 앞쪽에 서면 기분이 우쭐해지고, 저 뒤쪽에 서게 되면 낙담하여 어깨가 쳐진다. 다른 평가 대상자와의 비교가 이뤄지기 때문이다. 그런데 이것이 평가의 전부는 아니다. 줄 세우기로 이해되는 평가는 상대 평가(norm-referenced test; 또는 "규준 지향 평가")에서 적용되는 내용인데, 평가에는 상대 평가만이 있는 것은 아니어서, 절대 평가(criterion-referenced test; 또는 "준거 지향 평가")의 경우에는 다른 평가 대상자와의 상대적인 비교를 목적으로 평가가 이뤄지지 않는다. 그보다는 학습자가 애초에 설정한 학습 목표에 얼마만큼 도달하였는지가 평가의 중요한 근거가 된다.
상대 평가는 〈그림 1-1〉에 예시된 바와 같은 정규 분포(normal distribution)라는 개념과 관련된다. 정규 분포란 인간과 자연 세상에서 일어나는 일에 대해 충분한 사례가 반복적으로 축적되었을 때 만날 수 있는 분포를 말한다. 어느 교정에 30 그루의 나무가 있다고 했을 때, 그것들의 크기를 측정하여 분포를 조사한다고 해보자. 그런 경우 대부분의 나무는 평균값에 위치하게 되며, 분포의 양쪽 끝으로 갈수록 사례의 수가 체계적으로 줄어들게 된다. 평가에서도 마찬가지이다. 학생들의 점수가 충분히 축적되면, 평균값에 가장 많은 수의 학생들이 위치하게 되고, 양 극단으로 갈수록 학생의 수가 점차 줄어들게 된다. 정규 분포의 개념에 기반을 두는 상대 평가에서는 특정 학생의 실제 점수가 어떠한가보다는 그 점수가 다른 학생의 점수에 비추어 어느 정도인가, 그리고 그것이 평균에서 얼마나 떨어져 위치하게 되는 것인가에 더욱 큰 의미가 부여된다.

절대 평가는 평가 대상자가 주어진 과업의 목표를 어느 정도 달성하였는가에 초점을 둔다. 달성해야 하는 목표가 100이라 하였을 때, 그중 실제로 얼마를 달성하였는지에 대해 평가가 이뤄지는 것이다. 따라서 다른 학생과의 상대적인 점수의 비교 혹은 평균 점수로부터 특정 점수가 위치하는 거리가 아니라 실제 얻은 점수 그 자체에 더욱 큰 의미가 부여된다.
절대 평가의 경우, 학습 이전과 이후의 점수 분포가 〈그림 1-2〉에 예시된 바와 같이 왜곡 분포 형태로 나타나기 마련이다. 〈그림 1-2〉에서 왼쪽의 분포가 학습 이전의 경우라면, 학습 후에는 오른쪽과 같은 분포가 나타나는 것이 바람직하다. "줄 세우기"가 목적인 상대 평가에서는 학생들이 구체적 평가 내용에 대한 이해가 결여되어 있는 것이 일반적이다. 반면에 절대 평가에서는 학생들이 무엇을 평가받게 되는지에 대해 사전에 인지를 하게 되므로, 학습이 온전히 이루어진 경우에는 만점을 받는 것이 지극히 당연하다. 한편, 〈그림 1-2〉에서 왼쪽의 분포를 정적 왜곡 분포(positively-skewed distribution), 오른쪽의 분포를 부적 왜곡 분포(negatively-skewed distribution)라 이른다. 꼬리의 방향을 보면 그 이름에 대한 이해가 쉽다.

평가의 종류를 말할 때 이상과 같이 상대 평가와 절대 평가로 양분하기도 하거니와, 또 다른 측면에서는 다음의 네 가지 종류로 평가를 구분하기도 한다.

가. 능숙도 평가(proficiency test): 특정 학습자의 전반적인 능력을 파악하여 다른 학습자들의 수준과 비교하기 위한 평가. TOEFL, TOEIC, TEPS 등의 표준화 평가가 이에 해당함
나. 배치 평가(placement test): 학습자의 수준을 파악하여 동질한 능력 수준의 집단을 구성하고자 실시하는 평가
다. 진단 평가(diagnostic test): 교수 목표에 비추어 학습자가 이미 알고 있는 영역과 미흡한 영역을 파악하여 그에 대한 정보를 제공하고자 하는 평가
라. 성취도 평가(achievement test): 목표 대비 학습한 정도를 측정하기 위한 평가

앞서 기술한 상대 평가와 절대 평가의 특성을 이해한다면, 능숙도 평가와 배치 평가는 상대 평가적인 속성을, 진단 평가와 성취도 평가는 절대 평가적인 속성을 가지게 됨을 쉽게 이해할 수 있다. 한편, 앞으로의 논의는 절대 평가보다는 상대 평가의 관점에서 이뤄질 것이다. 상대 평가가 우리나라 교육 환경에서 더 많은 쓰임새를 가지고 더욱 널리 적용되고 있는 탓이다.

1.3 신뢰도와 타당도
흔히 신뢰도(reliability)와 타당도(validity), 그리고 실용도(practicality)를 평가의 3요소라 말한다(Harris, 1969). 여기에서는 순서를 좀 뒤집어 실용도의 개념을 먼저 살펴보자.
실용도는 다시 (1) 구성과 시행에 있어서의 용이성, (2) 채점에 있어서의 용이성, (3) 해석과 적용에 있어서의 용이성의 세 가지 측면에서 이해될 수 있다. 실용도가 높은 평가는 세 가지 측면에서의 용이성이 높은 평가를 의미하는 것이다. 그런데 이 세 가지 측면에서의 용이성을 두루 확보하는 일이 결코 쉽지가 않다. 특히 구성과 시행에 있어서의 용이성과 채점에 있어서의 용이성은 상호 간 긴장 관계를 형성한다. 대개의 경우 문항의 구성과 시행이 용이한 경우 그 결과에 대한 채점이 어렵기 때문이다. 예컨대, 읽기 평가에서 요약하기와 같은 개방형 문항은 다지 선다형 문항에 비해 문항의 구성 및 시행이 매우 용이하다. 그런데 채점 과정에서는 그 상황이 역전되어 요약하기 문항에 대한 채점이 다지 선다형 문항에 대한 채점보다 훨씬 더 복잡하고 어렵기 마련인 것이다.
해석과 적용에 있어서의 용이성은 평가의 목적에 비추어 따져볼 수 있다. 예를 들어 상대 평가의 경우 앞서 살펴본 바대로 그 목적이 학생들의 점수를 상호 비교하고 또 특정 점수가 평균 점수로부터 어느 정도
떨어져 있는가를 살펴보는 것에 있음을 고려할 때, 그러한 목적에 마땅
히 부합하는 평가가 해석과 적용에 있어서의 용이성이 높은 평가가 된
다. 예컨대 학생들의 점수가 정규 분포를 이루기를 기대하는 상황에서
그들의 실제 점수의 분포가 정적 왜곡 분포 혹은 부적 왜곡 분포를 이
루게 되었다면, 그때 적용된 평가는 해석과 적용에 있어서의 용이성 측
면에서 높은 점수를 주기 어렵다.
실용도에 대한 논의는 이쯤에서 거두고, 이어서 평가와 관련하여 필수적인 고려 사항으로 널리 논의되곤 하는 신뢰도와 타당도에 대해 보다 자세히 살펴보도록 하자. 좋은 평가를 가늠할 때 두 가지의 조건만 따져보라면 단연코 해당 평가의 신뢰도와 타당도를 물어야 할 일이다.

▣ 서문 /
제1장 평가의 기본 개념과 원리___ 이상기
제2장 듣기 평가___ 이영주
제3장 말하기 평가___ 황은경
제4장 읽기 평가___ 이정원
제5장 쓰기 평가__ 배주경
제6장 어휘 평가___ 김정옥
제7장 문법 평가___ 이송은
제8장 수행 평가___ 이동주

▣ 찾아보기 / 307

이상기 - 서울대학교 영어교육과 학사/석사
- 미국 Univ. of Hawai at Manoa 응용언어학 박사
- (현) 한국교원대학교 영어교육과 교수