교육평가

검사관과 교육관

1. 선발적 교육관 : 인간행동의 변화에 관심없고, 현재의 개인차 변별에 관심
2. 발달적 교육관 : 인간행동의 변화와 그 변인에 관심, 누구나 일정 수준에 도달가능, 따라서 학습결손 등의 발견과 해결에 관심
3. 인본주의 교육관 : 교육을 통한 전인적이고 통합적·자율적 신장, 자아실현에 관심

교육평가의 종류

교수·학습 진행에 의한 교육평가

1. 진단평가

학습이 시작되기 전에 학생이 소유하고 있는 특성을 체계적으로 관찰, 측정하여 진단하는 평가로서 지적 출발행동, 정의적 출발행동을 분석한다. → Caroll 적성, Bruner 학습경향성, Glaser 출발점행동

→ 따라서 진단평가는 다양한 학습자의 특성에 따라 / 적절한 수업전략을 투입하여 / 학습효과를 극대화하는 데 도움을 준다. → Cronbach 적성처치 상호작용 모형

2. 형성평가

교수·학습이 진행되는 도중에 학생에게 송환효과(feedback)를 주고 교육과정 및 수업방법을 개선시키기 위한 평가를 말한다.

형성평가의 목적은 학습이 유동적으로 이루어지는 과정에서 교수·학습을 개선하는 데 있으므로 형성평가는 (1) 학습의 개별화를 추구하고 (2) 송환효과의 역할을 하여야 하고 (3) 학습곤란을 진단하여야 하고 (4) 학습동기를 유발하는 역할을 하여야 한다.

준거지향평가를 지향하여 최저성취기준 수준으로 교사중심으로 검사를 제작하는 것이 일반적이다.

3. 총합평가

활용 : 성취수준의 도달 여부를 판정하여 서열 부여, 자격증 부여의 역할, 집단 간 비교, 학생들에게 송환작용, 프로그램 시행 여부 결정, 책무성 부여

수행평가

용어의 정의

• 수행평가(performance assessment) : 습득한 지식, 기능이나 기술을 실제 생활이나 인위적 평가상황에서 얼마나 잘 수행하는지 혹은 어떻게 수행할 것인지를 서술, 관찰, 면접 등의 방법을 통하여 종합적으로 판단하는 평가방법으로서 지식이나 기능에 의한 정답 여부나 산출물에만 관심이 있는 것이 아니라 수행과정과 그 결과를 총체적으로 평가한다.
• 참평가(authentic assessment) : 학습자들의 지식과 기술을 실제적인 맥락에서 적용하도록 요구하는 평가.
• 포트폴리오 : 작업결과나 작품 혹은 어떤 수행의 결과를 모아 놓은 자료집이나 서류철을 보고 평가하는 방법으로 자료집에 넣을 작업결과를 학생이 스스로 선택하는 방법.

수행평가의 특징과 장점

• 고정되어 있는 선택으로 반응하는 것이 아니라 개방형의 과제에 대하여 학생들이 반응을 구성하거나 활동을 수행한다. (정답을 구성하게 하는 평가) → 다양한 사고능력을 함양시킨다. → 맞거나 틀리는 이분법적 평가가 아니라 어떠한 답도 수용할 수 있으므로 학생들을 격려하여 학습동기와 흥미를 증진시킨다.
• 학생들에게 문제를 제기하고 해결하며, 분석하고, 연구하는 등의 다양한 활동을 허용한다. 학생들의 이러한 활동은 판단력, 문제해결력, 고등사고능력, 의사소통과 같은 복합적인 기술을 포함한다. (전인적 평가, 고등사고능력의 측정) → 인지적·정의적·심동적 특성을 모두 평가할 수 있는 총체적 접근이다.
• 학생 개인 뿐 아니라 학생집단에 의해 수행하도록 설계되기도 한다. (개인과 집단평가) → 협동학습을 유도하여 전인교육 도모한다.
• 표준화 검사에 비해 수행평가는 학생과 교사 모두에게 과제에 대한 선택을 허용한다. 수행평가에서는 교사와 학생은 함께 과제를 만들 수도 있고, 과제수행에 대한 평가의 준거도 논의할 수 있다. (학생과 교사의 자율성 신장)
• 점수화 규칙은 학생들의 수행과정이나 검사결과에 대한 판단에 기초한다. 수행평가에서는 점수 부여 기준이나 준거를 개발하고 채점자를 훈련하는 일이 중요하다. (복합적인 채점준거 활용 및 평가기준의 공유)
• 결과와 과정을 모두 중시한다 → 특징이자 장점
• 수업과 평가의 통합, 실제 상황에서의 수행능력평가, 학생의 개별학습 촉진…

자기평가와 동료평가 활용

• 자기평가 : 평가하고자 하는 특성목록과 평가기준에 따라 학생 스스로 평가, 학생 스스로 생각하고 반성할 기회 제공
• 동료평가 : 동료 학생들의 태도와 자세 등에 대해 잘한 점, 배울만한 점, 개선할 점을 평가하도록 한다.

수행평가의 단점

1. 수행평가도구의 개발이 어렵다. (고려할 내용이 많다)
2. 채점기준 설정이 용이하지 않다. (어느 수행에 몇 점을 주어야 하나?)
3. 채점자내신뢰도와 채점자간신뢰도 확보에 어려움이 있다. (채점의 일관성이 더 어렵다)
4. 시간이 많이 소요된다. (검사개발, 시행, 채점까지..)
5. 비용이 많이 소모된다. (전통적 평가 대비)
6. 점수결과 활용에 어려움이 있다. 학생과 학부모가 평가결과를 인정하지 않을 경우 다양한 문제가 야기된다.

→ 효율적인 수행평가를 위해서는 이러한 단점을 보완해야 한다.

포트폴리오 평가

• 특징과 장점 (1) 학습자들은 종합적인 인지능력을 활용하여 자신들의 학습을 반성하고, 스스로 학습을 구안하며, 다양한 학습의 형태를 활용할 수 있게 되므로 평가를 수업의 과정으로서 인식할 뿐 아니라, 수업의 과제와 학교 밖에서의 그들의 생활을 관련시키게 된다.
• (2) 학습자들은 한 학기 혹은 한 해 동안 모아온 작품집에서 작품을 선별하여 평가자에게 제출하기 때문에 포트폴리오에서는 학습자의 자기반성과 평가의 과정이 포함된다. 다시 말해서, 가장 장기간의 평가시간을 필요로 하며, 학습자들의 자기평가를 중요한 판단으로 사용한다는 점에서 다른 수행평가 방법들과 구별된다.
• (3) 수행과정이나 그 결과에 대한 평가뿐 아니라, 학습자들의 발달과정까지 평가할 수 있다.
• (4) 학습자들에게 자기평가의 기회를 제공하며, 교사와 학부모에게도 학생들의 학습의 진보와 강약점에 대한 정보를 제공하여 학생들의 성취에 대한 의사소통을 하는 데 용이하다.
• (5) 개별화된 수업목표에 쉽게 적응할 수 있다. 학생들은 스스로 자신의 작품집을 준비하고 교사들은 이러한 작품집을 개별적으로 검토하기 때문에 학생 개개인의 구체적인 수업목표가 설정될 수 있다.

참조준거에 의한 평가

1. 규준참조평가

• 개인이 얻은 점수나 측정치를 비교집단의 규준에 비추어 상대적인 서열에 의하여 판단하는 평가를 말한다.
• 장점은 개인의 상대적인 위치를 파악하여 우열을 가리기가 쉽고 경쟁을 통한 학습동기를 유발할 수 있다.
• 단점 (1) 무엇을 얼마만큼 아느냐에 중점을 두지 않기 떄문에 무엇을 가르치고 배워야 하는가에 대한 시사와 기준이 모호하다.
• (2) 개인 또는 집단의 성취를 기초로 한 상대적 서열을 중시하기 때문에 교수·학습이론에 부적절하다. 학습목표의 달성 정도에 따라 강화가 주어지는 것이 아니라 집단의 수준에 따라서 평가결과가 좌우되므로 학습행동을 체계적으로 강화해 주지 못한다.
• (3) 경쟁심의 조장으로 경쟁을 교육의 당연한 윤리로 생각하게 하여 협동심을 상실하게 할 수 있다.
• (4) 다른 사람보다 1점이라도 높은 점수를 얻기 위한 경쟁이 강조되기 때문에 충분한 시간 동안 지적 탐구를 통해 문제를 해결하기보다는 암기위주의 교육을 조장할 우려가 있다.
• (5) 이해력, 분석력, 창조력, 탐구정신이 결여된다.
• (6) 서열주의식 사고가 팽배해진다.
• (7) 정신건강에 좋지 않은 영향을 주며 지나친 검사불안, 이기심, 명예 등으로 인해 정의적 행동 특성에 부정적 영향을 미친다.

2. 준거참조평가

• 준거에 비추어 학습자들이 무엇을 얼마만큼 알고 있느냐에 관심을 두는 평가다.
• 장점 (1) 무엇을 알고 무엇을 모르는가 하는 직접적인 정보를 제공한다.
• (2) 제공된 정보를 기초로 교육목표와 교육과정을 개선할 수 있다.
• (3) 학습효과를 증진시킨다.
• (4) 탐구정신과 협동정신을 함양한다.
• (5) 지적인 계급, 서열의식보다는 지적인 성취를 유발한다.
• (6) 정신건강에 좋다.
• – 단점 (1) 준거 설정이 임의적일 수 있다.
• (2) 경쟁을 통한 학습 외적 동기유발이 부족하다.

※ 성취평가제 : 국가 수준의 교육과정에 근거하여 개발된 교과목별 성취 기준에 대한 학생의 도달 정도에 비추어 학생의 성취 수준을 평가한다.

• 장점 (1) 내용과 과정에 대한 심층적 분석으로 교수·학습 개선 용이
• (2) 협동학습 분위기 조성
• (3) 탐구정신 발휘와 지적 성취유발 통한 창의·인성 위한 수업방식 활성화

3. 능력참조평가

• 학생이 지니고 있는 능력에 비추어 얼마나 최선을 다하였느냐(maximum performance)에 초점을 두는 평가방법이다.
• 장점은 노력에 따라 평가하여 높거나 낮은 능력의 학생에게도 학습동기를 유발할 수 있다.
• 단점은 학생이 지니고 있는 능력에 대한 정확한 정보가 없는 경우 적용이 어렵다.

4. 성장참조평가

• 교육과정을 통하여 얼마나 성장하였느냐에 관심을 두는 평가다. 즉 사전능력수준과 관찰 시점에 측정된 능력수준 간의 차이에 관심을 둔다.
• 장점은 학업 증진의 기회를 부여하고, 개인화를 강조한다.
• 단점은 사전 측정치와 현재 측정치의 신뢰도 문제가 제기되며, 따라서 행정적 기능이 강조되는 검사의 경우 공정성 문제가 제기될 수 있다.

교육평가의 모형

목표중심평가(object-oriented evaluation approach) / Tyler

* Tyler의 평가모형 : Tyler는 평가에 대해 프로그램의 목표가 실제 어느 정도 달성되었는지를 결정하는 과정으로 정의하였다.

* 장점

• 논리적이고 합리적이며 명확한 절차를 제시함으로써 어떤 상황에도 쉽게 적용할 수 있다.
• 교육목표를 구체적으로 제시할 것을 강조함으로써 명확한 평가기준에 의해 평가를 실시할 수 있다.
• 계열성 있는 절차는 교육과정과 평가 간의 논리적 일관성을 유지할 수 있도록 해 준다.
• 목표의 중요성을 강조함으로써 프로그램 개발자나 교사로 하여금 평가결과를 통해 자신의 교육활동에 대한 책무성을 가지도록 자극한다.

* 단점

• 목표를 미리 설정할 것을 강조함으로써 수업 중에 생겨나는 부수적·확산적 목표의 중요성을 간과하게 된다. 따라서 목표로 설정되지 않은 교육의 부수적인 결과에 대해서는 평가하기가 어렵다.
• 겉으로 평가할 수 있는 행동만을 강조함으로써 행동 용어로 진술하기 어려운 교육목표에 대한 평가가 어렵다. 따라서 잠재적 교육과정, 학생들의 내면적 인지구조의 변화, 가치와 태도 및 감정의 변화를 파악하는 데 한계가 있다.
• 목표에 근거를 평가를 강조함으로써 수업이 평가에 종속되는 경향이 있다.
• 결과에 대한 평가만을 강조하여 교육의 효과와 학생의 성취를 직접적으로 연결시킴으로써 가르치고 배우는 과정 자체에 대한 평가를 간과할 수 있다.
• 기술적 합리성만을 강조함으로써 교육 실제의 복합적이고 복잡한 측면을 평가하기가 어렵다.

@ 운영중심평가(management-oriented ealuation approach) / Stufflebeam

* Stufflebeam의 CIPP 평가모형 : Stufflebeam은 평가를 의사결정을 위한 유용한 정보를 기술하고 획득하고 제공하는 과정으로 정의한다. 그는 조직 내에서 이루어지는 의사결정의 유형을 계획 결정, 구조화 결정, 실행 결정, 재순환 결정으로 구분하고 각 단계의 의사결정을 도와주기 위해 다음의 네 가지 평가 유형을 제시하였다.

• 계획(planning) 단계의 의사결정을 위한 상황평가(Context evaluation) : 프로그램에서 다룰 요구들을 결정하기 위한 것으로 프로그램의 목표를 설정하는 데 도움을 준다.
• 구조화(structuring) 단계의 의사결정을 위한 투입평가(Input evaluation) : 요구를 충족시키기 위해 사용 가능한 자원, 고려할 수 있는 대안적 전략, 최상의 잠재력을 가진 계획을 결정하기 위한 단계로서 프로그램 절차를 설계하는 데 도움을 준다.
• 실행(implementing) 단계의 의사결정을 위한 과정평가(Process evaluation) : 계획의 원활한 진행 여부, 실행상의 장애요인, 개선의 필요성 등을 파악하기 위한 평가단계다. 이 과정에서 프로그램 절차상의 결점을 확인할 수 있으며, 이를 통해 절차들이 조정되고 정련된다.
• 재순환(recycling) 단계의 의사결정을 위한 산출평가(Product evaluation) : 획득결과, 요구충족 정도, 필요한 후속조치들을 파악하기 위한 평가단계로서 프로그램의 목표달성 정도를 판단하는 데 중요하다.

* 장점 (2가지)

• 지속적인 평가를 통하여 피드백을 제공하고 의사결정을 위한 유용한 정보를 제공함으로써 프로그램의 개선에 직접적으로 기여할 수 있다.
• 프로그램 진행과정의 어느 단계에서도 필요에 따라 평가를 시행할 수 있다. 따라서 프로그램의 시행과 변화에 따른 모든 요소를 평가할 수 있다.

* 단점 (2가지)

• 평가자와 의사결정자의 역할이 구분됨으로써 평가자는 의사결정자의 관심과 요구에 적합한 정보만을 제공하게 되고, 의사결정자는 평가자가 제공하는 정보의 수준과 범위 내에서만 판단을 하게 되는 상호 구속적인 관계를 갖게 된다. 따라서 평가의 중요한 측면이면서도 의사결정자의 관심이 아닌 경우 평가에서 제외되는 경우가 발생한다.
• 의사결정자에게 가치판단을 위임함으로써 평가자의 역할이 경시될 수 있다. 평가자의 정보제공을 위한 기능만을 강조하므로 평가자라기보다는 방법론자의 역할만을 제한적으로 수행할 수 있다.
• 완벽하게 실천하기에는 경비가 많이 들고 너무 복잡하다.
• 의사결정 과정이 명확하지 않고 그 방법이 정의되지 않았다.

@ 소비자중심평가(consumer-oriented evaluation approach) / Scriven

* Scriven의 평가모형

Scriven은 평가를 사물의 가치나 장점을 체계적으로 판단하는 일이라고 정의하고, 교육 프로그램을 평가하는 데 있어서 단지 목적달성 여부만을 판단하는 것이 아니라 그 목적달성이 소비자의 복지향상에 기여하는지를 판단해야 한다고 주장하였다. 또한 교육 프로그램의 목적에 관계없이 소비자의 요구를 기준으로 실제적인 가치를 판단해야 한다고 보았다.

Scriven은 교육 프로그램의 선택이나 존속 여부를 진단해 줄 수 있는 평가준거로서 교육목표의 달성여부, 예상되는 결과, 의도되지 않은 부수적인 효과, 교육관계자들에게 미치는 긍정적·부정적 효과, 실용성, 도덕적인 고려, 비용의 7가지를 제시하였다.

→ 내적 준거(계획 측면 즉 목표진술, 내용선정과 조직 등)뿐만 아니라 외적 준거(실행 측면 즉 실제 운영상황, 프로그램의 효과)에도 관심을 두었다. 즉, 의도된 효과뿐 아니라 의도되지 않은 부수 효과도 중시했다. 따라서 Tyler 모형의 약점을 보완한다.

→ 최종 결과의 확인(총괄평가)보다는 프로그램의 개선에 관심을 두는 평가(형성평가)를 강조했다.

→ 비교평가(프로그램의 가치를 다른 프로그램과 비교)와 비비교평가(프로그램 자체의 속성 즉 가치, 장단점, 효과 등에 의한 평가)를 구별했다.

* 장점

• 정보나 시간이 부족한 교육자들로 하여금 교육 프로그램을 포함한 관련 상품에 대한 평가결과를 구체적이고 신속하게 제공해줄 수 있다는 장점이 있다.
• 교육 프로그램의 선택에 있어서 중요시 해야 할 준거가 무엇인지에 대한 구체적인 지침을 제공한다.
• 기존의 목표중심평가에서 벗어나 교육의 과정 중에 발생하는 잠재적인 결과가 가져다주는 가치까지도 판단할 수 있다.

* 단점

• 교육 프로그램의 사전 심의 및 평가를 위해 소요된 시간과 비용이 교육상품의 가격을 높이게 되어 결국에는 소비자의 부담이 증가되는 결과를 초래할 수 있다.
• 엄격한 평가준거를 강조하게 되면 프로그램의 개발 및 시행에 있어서 창의성을 제약할 수 있으며, 표준화된 준거는 학교나 지역 고유의 독창성을 제대로 반영하지 못한다는 제한점이 있다.
• 소비자의 입장만을 고려한 나머지 교사나 교육과정 개발자들의 의욕이 저하될 수 있다.
• 각기 다른 준거를 통해 다른 판단을 내릴 수 있고, 그 판단의 타당성을 검증할 방법이 없다.

검사도구의 양호도

타당도

검사도구가 측정하고자 하는 것을 얼마나 측정하였는가를 의미한다.

1. 내용타당도 : 검사내용에 기초한 근거

검사내용 전문가에 의하여 검사가 측정하고자 하는 속성을 제대로 측정하였는지를 주관적으로 판단한다. 교수·학습과정에서 설정하였던 교육목표의 성취 여부를 묻는 학업성취도검사의 타당성 검증을 위해서도 내용타당도가 많이 쓰인다.

그래서 내용타당도를 교과타당도와 교수타당도로 구분하는 경우도 있다. 교과타당도(curriculum validity)란 검사가 교육과정에 있는 내용을 얼마나 잘 포함하고 있느냐 하는 문제이고, 교수타당도(instructional validity)란 교수·학습 중에 가르치고 배운 내용이 얼마나 포함되었느냐를 말한다.

종전에는 내용타당도라는 용어와 유사하게 안면타당도(face validity)란 용어를 사용하기도 하였다. 안면타당도는 검사도구의 문항들이 검사제작자나 피험자에게 친숙한 정도를 말한다. 이는 문항들이 피험자들과 얼마만큼 친숙도를 형성하고 있는가와 일반적 관계를 지니고 있느냐의 문제로서, 어떤 특성을 측정할 때 자주 접해 본 문항들이 있으면 안면타당도가 있다고 한다. 이 같은 개념은 학문적으로 과학성을 상실하므로 안면타당도란 용어를 사용하지 않는다.

내용타당도 검증은 문항들이 검사제작 전 작성한 이원분류표에 의하여 제작되었는지를 확인하는 방법을 사용한다. → 향상을 위해서는, 이원목적분류표의 작성이 필수적이다.

2. 구인타당도 : 내적 구조에 기초한 근거

조작적으로 정의되지 않은 인간의 심리적 특성이나 성질을 심리적 구인으로 분석하여 조작적 정의를 부여한 후, 검사점수가 조작적 정의에서 규명한 심리적 구인들을 제대로 측정하였는가를 검증하는 방법이다.

예를 들어 창의력을 측정할 때 창의력은 민감성, 이해성, 도전성, 개방성, 자발성, 그리고 자신감의 구인으로 구성되어 있다는 조작적 정의에 근거하여 검사를 제작, 실시한 뒤 그 검사도구가 이 같은 구인들을 측정하고 있다고 판단되면 그 검사는 구인타당도를 지니고 있다고 한다.

장점으로 내적 구조에 기초한 근거는 응답자료에 의하여 계량적 방법에 의하여 검증되므로 객관적이라 할 수 있다.

단점으로 요인분석을 실시할 경우 변수 혹은 문항들 간의 보다 안정적인 상관계수를 얻기 위해서는 많은 연구대상이 필요하다는 것이다.

3. 다른 변수에 기초한 근거

1) 검사-준거 관련성 : 준거타당도

얼마나 정확하게 다른 준거, 즉 고려되는 내용과 준거 수행을 예측하는가에 관심을 둔다.

* 예측타당도 : 준거와 관련된 예측근거

준거타당도의 하나로서 검사에서 얻은 점수와 준거로서 미래의 어떤 행위와의 관계로 추정되는 타당도다.

장점으로는 검사도구가 미래의 행위를 예언하여 주기 때문에 예측근거가 높으면 선발, 채용, 배치 등의 목적을 위하여 검사를 사용할 수 있다. 예를 들어 약사고시, 의사고시 등의 검사에서는 예측근거가 중요시되어야 하며 높은 예측근거를 지녀야 한다.

* 공인타당도

검사점수와 준거로 기존에 타당성을 입증받고 있는 검사를 통해 얻은 점수와의 관계에 의하여 검증하는 타당도다.

예를 들어, 교사제작검사를 개발하였는데 그 공인근거를 검증하기 위해 표준화된 검사를 실시하고 그 점수간의 상관계수를 추정하는 방식이다.

장점으로는 공인근거는 계량화되어 타당도에 대한 객관적인 정보를 제공할 수 있으며 타당도의 정보를 나타낼 수 있다.

단점으로는 기존에 타당성을 입증받고 있는 검사가 없을 경우 공인근거를 추정할 수 없고, 또한 기존에 타당성을 입증받은 검사가 있을지라도 그 검사와의 관계에 의하여 공인근거가 검증되므로 기존에 타당성을 입증받은 검사에 의존한다.

신뢰도

피험자들에게 동일한 검사를 반복 실시하였을 때 측정의 일치성을 의미한다. 신뢰도에는 검사도구의 안정성을 측정하는 재검사신뢰도, 두 검사 간의 유사성을 측정하는 동형검사신뢰도, 그리고 진점수 분산의 비율 개념에 의한 내적일관성신뢰도(반분검사신뢰도, 문항내적일관성신뢰도)가 있다.

1. 재검사신뢰도

동일한 검사를 동일한 피험자 집단에 일정 시간 간격을 두고 두 번 실시하여 얻은 두 검사점수의 상관계수에 의하여 신뢰도를 추정하는 방법이다.

2. 동형검사신뢰도

검사도구의 신뢰도를 검증하기 위하여 두 개의 동형검사를 제작한 뒤, 동일 피험자 집단에게 검사를 실시한다. 이때 얻은 두 검사점수의 상관계수로 신뢰도를 추정한다.

3. 내적일관성신뢰도

• 반분검사신뢰도 : 한 번 실시한 검사를 두 부분으로 나누어 두 부분 검사점수의 상관계수를 산출한다.
• 문항내적일관성신뢰도 : 검사를 두 부분으로 나누는 것이 아니라 문항 하나하나를 하나의 검사로 간주하여 문항들 간의 유사성 혹은 측정의 일치성을 추정한다. Cronbach 방법이 대표적이다.

※ 신뢰도에 영향을 주는 요인

문항 수가 많을 때, 문항의 난이도가 적절할 때, 문항변별도가 높을 때, 측정내용이 좁은 범위의 내용일 때(문항 간 동질성 유지에 용이), 검사시간이 충분할 때 신뢰도가 높다.

4. 채점자내, 채점자간 신뢰도 (객관도)

객관도란 평정자의 주관적인 편견을 얼마나 배제하였느냐의 문제다. 그러므로 객관도란 한 채점자가 다른 채점자와 얼마나 유사하게 평가하였느냐(채점자간 신뢰도)의 문제와 한 채점자가 많은 측정대상에 대하여 일관성있게 측정하였느냐(채점자내 신뢰도)의 문제로 구분할 수 있다. 이때 채점자간 신뢰도는 채점자내 신뢰도가 전제되어야 한다.

* 서답형 문항 채점의 신뢰성을 높이기 위한 방법

• 답안지를 일차적으로 한 번 읽고 난 뒤, 구체적으로 채점기준에 의하여 채점하여야 한다. 피험자에 따라서 서술하는 방법이 다르므로 응답의 내용이 다른 순서에 의해 기술될 수 있기 때문이다.
• 후광효과(halo effect)를 없애기 위하여 피험자의 성명과 수험번호를 가리고 채점을 하여야 한다.
• 문항 간의 채점 시행효과를 없애기 위하여, 피험자의 답안지별로 채점하지 말고, 문항별로 채점하여야 한다.
• 두 명 이상의 채점자를 필요로 한다. 이는 주관성을 배제하고 채점의 객관성을 유지하기 위해서다.

# 표준화 검사

표준화 검사란 모집단을 대표하는 피험자를 표집하여 동일한 지시와 절차에 의하여 검사를 시행한 후 객관적 채점방법에 의하여 규준이 만들어진 검사다. 검사문항, 실시방법, 채점방법, 해석방법이 표준화되어 있다.

* 표준화 검사 선택 시 유의사항

• 측정하고자 하는 내용에 부합하는 검사를 선택한다.
• 검사하고자 하는 집단의 특성에 맞는 검사를 선택한다.
• 검사 소요시간, 검사결과의 활용을 고려한다.
• 문화적으로, 인종과 성별에 따른 차별기능 문항이 있는지 확인한다.
• 타당도와 신뢰도를 확인한다.
• 규준이 최근 규준인지 확인한다.

문항분석

1. 고전검사이론

1. 문항난이도 : 답을 맞힌 피험자의 비율(통과율)
2. 문항변별도 : 문항이 피험자를 변별하는 정도, 능력에 따라
3. 문항추측도 : 추측에 의하여 문항의 답을 맞힌 비율, 문항이 매우 어려우면 추측도가 난이도보다 높은 모순이 나타날 수 있음.
4. 문항교정난이도 : 난이도-추측도
5. 오답지매력도 : 답지들이 그럴듯하고 매력적일 때 오답지를 선택할 확률

2. 문항반응이론

문항반응이론은 고전이론처럼 총점에 의하여 문항을 분석하고 피험자의 능력을 추정하는 것이 아니라 문항 하나하나에 근거하여분석하는 이론이다.

일차원성 가정(검사 측정하는 내용은 하나의 특성)과 지역독립성 가정(한 문항에 한 응답이 다른 문항의 응답에 영향을 주지 않는다)는 두가지 전제에 기초한다.

* 장점

• (1) 피험자 집단의 특성에 관계없이 문항마다 고유한 하나의 문항특성곡선을 가져, 문항특성의 불변성을 유지한다.
• (2) 검사의 난이도에 관계없이 일관성있게 피험자의 능력을 추정한다.