직업훈련 5주차: 훈련성취도 평가

직업능력개발 훈련 평가도구 개발: 훈련성취도 평가

• 직업능력개발 훈련 평가도구 개발에 대한 5주차 교재 6장 내용 요약본입니다.
• 다루는 내용은 훈련성취도 평가입니다.

훈련성취도 평가 개요

• 훈련생의 지식, 기술, 태도 향상 정도를 확인합니다.
• 훈련 전, 진행 중, 실행 후에 학습내용 이해도와 훈련목표 달성 정도를 평가합니다.
• 평가문항은 훈련목표에서 도출되므로 훈련목표를 명확히 진술해야 합니다.
• 성취도 평가는 학습 정도를 측정하는 학습 평가입니다.
• 평가는 다음과 같은 질문에 답하는 방식으로 이루어집니다:
  • 어떤 지식을 학습했는가?
  • 어떤 기능(기술)이 개발 또는 향상되었는가?
  • 어떤 태도가 변화되었는가?
• 평가 영역은 평가 목표 및 내용에 따라 다음과 같이 나눌 수 있습니다:
  • 인지적 영역 (Knowing)
  • 정의적 영역 (Feeling)
  • 심동적 영역 (Doing)
• 평가 유형 및 방법은 학습된 목표 및 내용(지식, 기술, 태도)에 따라 결정됩니다.
• 평가 도구는 훈련목표 유형에 따라 지식, 기술, 태도 세 영역으로 나누어 개발됩니다.
• 수집된 평가자료 분석을 위해 채점, 문항분석, 신뢰도/타당도 분석, 기술통계분석 등을 사용합니다.
• 직업능력개발 훈련에서 훈련성취도 평가는 NCS기반 역량평가와 유사한 의미를 가집니다.
• 직업능력개발 훈련 과정이 NCS기반으로만 개발 및 운영되지 않으므로 훈련 성과 파악을 위해 비NCS과정을 포함한 모든 과정에서 훈련성취도 평가를 실시해야 합니다.
• 훈련 성취도 평가는 훈련만족도, 훈련전이도, 훈련성과 평가와 연계되어 있지만 학습 내용의 업무 현장 활용을 보장하지는 않으므로 훈련 목표 달성이 훈련전이도를 보장하는 것은 아닙니다.
• 훈련전이도 및 훈련성과를 높이기 위한 전제조건은 훈련성취도가 높아야 합니다.
• 가장 좋은 훈련성취도 측정 방법은 훈련 전후의 지식, 기술, 태도 변화 정도를 비교하는 것입니다.
• 훈련성취도 평가는 훈련 시작 전에 명시된 훈련목표와 연계하여 실시해야 합니다.
• 평가는 사전에 계획된 훈련목표의 구체적인 진술(NCS의 경우 능력단위 요소 또는 수행준거)과 연계하여 준비 및 실행되어야 합니다.
• 훈련 목표 달성 여부, 참가자 수료 여부 결정을 돕습니다.
• 훈련 설계 개선에 활용될 수 있습니다.
• 훈련 대상 선정 기준을 개선합니다.
• 학습성취도 평가 난이도를 조절합니다.

훈련성취도 평가 설계

• 훈련 참가자를 대상으로 사전/사후 검사를 실시합니다.
• 훈련 실시 전 사전검사를 하고 종료 후 사후검사를 실시하여 결과를 비교합니다.
• 사전/사후 검사 결과 비교를 통해 참가자의 변화가 훈련에 의한 것인지 판단합니다.
• 사전검사 경험이 사후검사 결과에 영향을 미칠 수 있음을 주의해야 합니다(사전검사의 학습효과).
• 훈련 외적인 요인(조직 자체, 작업환경 변화)에 의해 사후검사가 영향을 받을 수 있습니다.
• 사후검사만을 실시 할 수도 있습니다.
• 훈련 직후 훈련목표 달성 정도 파악이 가능합니다.
• 훈련생의 직접적인 향상 정도를 측정하는 데는 한계가 있습니다.

훈련성취도 평가도구 개발

• 목표진술의 ABCD 요소를 활용합니다.
  • Audience/Actor (훈련생): 훈련생을 주체로 진술합니다.
  • Behavior (구체적 행동): 훈련 결과로 기대되는 성취 행동을 인지적/정서적/심동적 용어로 표현합니다.
  • Condition (조건): 훈련생의 성취 행동이 발생하는 상황, 조건, 환경을 제시합니다.
  • Degree (행동기준/준거): 성취 행동의 달성 여부를 판단할 수 있는 기준.
• 평가 영역 및 목표는 다음으로 구성됩니다.
  • 교육목표분류학 (Taxonomy of Educational Objectives)
  • 인지적 목표(Cognitive Objectives): 지식이나 사고과정을 교육훈련 성과로 진술, 사실/개념/절차/원리 이해 및 적용 정도를 다룹니다.
  • 정의적 목표(Affective Objectives): 감정, 태도, 정서, 가치에 관련된 교육훈련 목표지만 가르치거나 측정하기 어렵습니다.
  • 심동적 목표(Psychomotor Objectives): 신체동작 또는 기능 관련된 교육훈련 목표, 운동기능 및 특정 업무 수행능력입니다.
• Bloom (1956)의 인지적 영역의 훈련목표 분류는 다음과 같습니다.
  • 지식: 정보 인식.
  • 이해: 정보 의미 파악.
  • 적용: 이해한 정보를 새로운 상황에서 사용.
  • 분석: 정보를 구성 요소로 분해하고 관계 파악.
  • 종합: 요소들을 결합하여 새로운 결과물 생성.
  • 평가: 가치 판단.
• Simpson (1972) 심동적 영역의 훈련목표 분류:
  • 지각: 감각을 통한 대상 인식.
  • 태세: 행동 또는 경험 준비.
  • 유도 반응: 외현적 동작 수행• 기계화: 숙련된 동작 수행.
  • 복합 외현 반응: 복잡한 동작을 정확하고 신속하게 수행
  • 적응: 동작 또는 기능 수정.
  • 창안: 새로운 동작 또는 기능 개발을 말합니다.
• Krathwohl (1964)의 정의적 영역 분류는 다음과 같습니다.
  • 수용: 주의 기울이기.
  • 반응: 자발적 참여 및 만족감 얻기.
  • 가치화: 가치 부여 및 일관된 반응 보이기.
  • 조직화: 가치 간의 관계 파악 및 체계 형성.
  • 인격화: 가치관이 내면화되어 행동 예측 가능합니다.
• 훈련성취도 평가 도구 개발 절차는 다음과 같습니다:
• 문항 개발 → 문항별 점수 배정 → 모범 답안 작성 → 문제지 편집 → 문제지 검토 → 문제지 인쇄
• 훈련 목표/내용에 따라 평가 유형을 선택합니다.
  • 인지적 영역: 학습 내용의 재인/회상, 지식/기술 적용, 분석/종합/평가 등의 고차원적 사고 능력 평가
  • 정의적 영역: 특정 상황/사례에 대한 태도 평가
  • 심동적 영역: 직무수행 능력 평가
• 선택한 평가 유형에 따라 평가 도구를 선택합니다.
  • 일반 평가: 전통적 접근(지필 시험), 객관적/효율적 평가, 시간 절약
  • 수행 평가: 실제/유사 상황 적용 능력 평가, 자료/도구 제공 필요 요소가 있습니다.
• 선택형 문항과 서답형 문항에 대해 차이점을 비교합니다.
  • 선택형: 지식, 이해, 적용, 분석 측정, 문항 반응 특징으로 정확한 지식, 선택 반응 평가.
  • 서답형: 종합, 평가,문항이 요구하는 지식, 회상 및 구성 반응 평가
• 문항 형식 결정 시 훈련 목표 달성 여부를 가장 잘 측정할 수 있는 형식을 사용합니다. 만약 선택형/논술형 문항 모두 측정이 가능하다면, 대표성과 효율성이 높은 선택형을 사용하는 것이 좋습니다.
• 문항 수는 평가 목적, 출제범위, 평가시간, 문항 형식, 수준, 훈련생의 문제 해결 습관 및 속도 등을 감안하여 결정합니다.

훈련성취도 평가도구 문항 개발

• 선택형: 진위형, 연결형, 선다형
• 서답형: 단답형, 완성형, 논술형
• 진위형(True-False Item): 진술문 제시 후 진위 판단
• 장점: 문항 제작 용이, 객관성 높음, 단시간에 많은 내용 측정 가능성이 있습니다.
• 단점: 추측으로 정답 가능, 단순 지식 측정에 치중될 수 있다는 단점이 있습니다.
• 개발 시 주의사항: 하나의 질문에 하나의 내용만 포함, 간단명료한 단문 사용, 부정문/이중부정문 지양, 교재의 문장 그대로 사용 지양 요합니다
• 연결형 (Matching Form Item): 제시된 문제와 답을 연결
• 장점: 채점 용이, 기초 지식 측정에 적합합니다.
• 단점: 문항 제작 경험 부족 시 제작에 많은 시간이 소요 될 수 있습니다.
• 출제시: 문제군 문제 수보다 답지군 답지 수를 더 많이 제시해야 합니다
• 선다형(Multiple Choice Form): 여러 답지 중 정답 선택
  • 장점: 다양한 학습 내용 측정 가능, 고등정신능력 측정 가능성이 있습니다.
  • 단점: 그럴듯한 오답 제작이 어렵고 제작 시간이 오래 걸릴 수 있습니다.
  • 출제 시: 질문을 선택지보다 길게 작성, 사소한 질문 지양해야 합니다.
• 단답형 (Short-Answer Form Item): 단어나 구절로 답하는 형태
  • 순수 단답형: 문제에 대해 간단한 문장, 단어, 기호 등으로 직접 답
• 복수 단답형: 여러 개의 단답 요구할 수도 있습니다.
  • 장점: 문항 제작 용이, 추측으로 정답을 맞힐 가능성 배제와 논술형보다 채점이 객관적이라는 장점이 있습니다.
  • 단점: 단순 지식/개념 측정에 치중, 채점의 객관성 확보가 어렵다는 단점이 있습니다.
• 완성형 (Completion Form Item): 내용 중 빈칸에 적합한 단어/기호 기입하는 형태
  • 장점: 추측으로 정답을 맞힐 수 없고 검사의 타당도와 신뢰도가 높은 편입니다.
  • 단점: 단순 지식, 개념, 사실을 측정할 가능성이 있습니다.
• 논술형 (Essay type item): 아는 지식이나 생각을 직접 작성하는 방식
  • 서술형: 주어진 질문에 대해 자신의 지식이나 생각을 직접 작성하게 합니다.
  • 논술형: 자신의 견해나 주장을 논리적으로 제시합니다.
  • 서술형은 논술형에 비해 서술 분량이 적고, 논술형은 서술형에 비해 자신의 생각이나 주장을 논리적으로 작성함을 강조합니다.
• 문항 출제 방식은 다음과 같습니다.
  • 특정 상황을 제시하고 특정 영역 내용을 쓰게 하는 단독 과제형
  • 사실적 자료를 제시하고 비평 또는 결론을 이끌어내도록 하는 자료 제시형이 있습니다.

훈련성취도 평가도구 문제 검토

• 문제지가 완성되면 인쇄하기 전에 체크리스트에 따라 최종 이상 유무를 점검합니다.
• 체크리스트를 활용하여 점검합니다.
  • 평가 문항의 내용과 형식이 평가 목표에 일치하는가?
  • 평가 문항에 사용된 용어가 학습자 수준에 적합한가?
  • 평가 문항이 간결하고 명확하게 작성되었는가?
  • 지나치게 세부적이거나 특수한 지식을 묻는 문항은 없는가?
  • 지나치게 어렵거나 쉬운 문항은 없는가?
  • 정답의 단서가 되거나, 공통적으로 존재하는 요소로 인해 오해를 유발하는 문항은 없는가?
  • 문항의 맞춤법과 띄어쓰기가 정확한가?
  • 평가 소요시간은 적절한가?
  • 판독이 어려운 문자는 없는가?
  • 문제지가 2장 이상일 경우 페이지가 정확하게 인쇄되었는가?

훈련성취도 평가결과 분석

• 문항반응이론 (Item Response Theory)을 활용하여 분석합니다.
• 검사를 구성하는 문항 하나하나에 초점을 두고 각 문항마다의 고유한 문항특성곡선에 의하여 피험자의 잠재적 특성 혹은 능력과 문항의 특성을 추정하는 검사 이론입니다 (성태제, 2004).
• 평가 문항의 분석은 '문항반응이론'에 근거하여 이루어집니다
• 문항 개발 시 검사 집단에 따라 문항난이도 및 변별도가 변할 수 있으므로 주의가 필요합니다.
• 문항 난이도와 변별도는 다음을 의미합니다.
  • 문항 난이도: 각 문항별로 전체 응답자 중 정답을 맞힌 비율, 값이 높을수록 쉬운 문항입니다.
  • 문항 변별도: 각 문항과 총점 간의 상관계수 값, 값이 높을수록 좋은 문항입니다.

문항반응이론의 특징

• 불변의 문항특성을 전제로 합니다. 총점에 의하여 문항을 분석하지 않고, 각 문항마다 고유한 불변의 문항특성이 있다고 전제합니다.
• 문항 하나하나에 근거하여 분석합니다.
• 집단의 특성과 관계없이 안정된 문항 난이도와 변별도를 분석합니다.
• 양질의 문항을 모아 문제은행을 구축하고 컴퓨터화 검사에도 이용합니다.