직업능력개발 훈련 평가 5주차 6장

직업능력개발 훈련 평가도구 개발: 훈련성취도 평가 (5주차_교재 제6장)

• 이 자료는 한국기술교육대학교에서 개발한 직업능력개발 훈련 평가 도구에 관한 교재이며 5주차, 6장 교재임

목차

• 훈련성취도 평가의 개요
• 훈련성취도 평가도구 개발
• 훈련성취도 평가 결과 분석

학습목표

• 훈련 목표 영역에 맞는 훈련 목표를 설명할 수 있음
• 훈련성취도 평가도구를 설계할 수 있음
• 훈련성취도 평가 유형에 따라 평가도구를 개발할 수 있음
• 훈련성취도 평가 결과를 분석할 수 있음

평가 수준별 평가영역 및 평가지표

• 훈련 수준은 1~5단계로 나뉘며, 각 단계별로 평가 영역과 평가지표가 다름
• 1수준: 훈련만족도는 훈련 만족도 및 훈련의 활용 의도와 가치를 평가
  • 평가 지표: 관련성, 중요성, 유용성, 적절성, 활용 의도 및 가치
  • 평가 이해 관계자: 훈련 참가자, 훈련 담당자, 강사
• 2수준: 훈련성취도는 훈련 내용의 성취도 및 활용 능력을 평가
  • 평가 지표: 지식, 기술, 태도, 취업률, 취업유지율
  • 평가 이해 관계자: 훈련 참가자, 직속 상사, 강사, 부서 관리자
• 3수준: 훈련성과는 훈련 결과로 얻은 훈련기관 및 훈련생 성과를 평가
  • 평가 지표: 훈련 이수율, 중도 탈락률, 자격 취득율, 활용 범위
  • 평가 이해 관계자: 훈련 참가자, 훈련 담당자, 강사, 인사 담당자
• 4수준: 훈련전이도는 훈련 결과의 현업 활용 여부 및 촉진/장애 요인을 평가
  • 평가 지표: 과업 완수, 활용 빈도, 완수 행동, 활용 성공 정도, 활용 장애/촉진 요인
  • 평가 이해 관계자: 직속 상사, 현업 부서 관리자, 훈련 담당자
• 5수준: 사업성과는 훈련의 생산성, 매출액, 품질, 고객만족도 등 조직 기여도를 평가
  • 평가 지표: 생산성, 매출액, 품질, 시간, 효율성, 고객 만족도, 종업원 참여
  • 평가 이해 관계자: 직속 상사, 관리자, 현업 부서 임원

훈련성취도 평가의 개요

• 훈련생의 지식, 기술, 태도 등의 향상 정도를 확인하는 평가
• 훈련 실시 전, 진행 중, 실행 후 학습내용 이해도 및 훈련목표 달성 정도를 평가
• 평가 문항은 훈련목표에서 도출되므로, 훈련목표를 명확하게 제시해야 함
• 성취도 평가는 학습의 정도를 측정하는 학습 평가임
  • 어떤 지식(knowledge)을 학습하였는가?
  • 어떤 기능(기술, skills)이 개발 또는 향상되었는가?
  • 어떤 태도(attitude)가 변화되었는가?

훈련성취도 평가 유형

• 성취도 평가는 훈련목표 및 내용에 따라 인지적, 정의적, 심동적 영역으로 구분 가능
• 평가 유형 및 방법은 학습된 목표 및 내용(지식, 기술, 태도)에 따라 결정
• 평가 도구는 훈련목표 유형에 따라 지식, 기술, 태도의 세 가지 영역으로 개발될 수 있음
• 수집된 평가자료 분석을 위해 채점, 문항분석, 신뢰도 및 타당도 분석, 기술통계분석 활용

직업능력개발 훈련에서의 훈련성취도 평가

• NCS(국가직무능력표준) 기반 역량평가와 유사한 의미
• NCS 기반 외 훈련 과정에서도 훈련 성과 파악을 위해 훈련성취도 평가 실시

훈련성취도 평가의 특징

• 훈련만족도, 훈련전이도 평가와 연계되지만, 훈련목표 달성이 훈련전이도를 보장하지는 않음
• 훈련전이도 및 훈련성과 향상을 위해 우선 훈련성취도가 높아야 함
• 훈련 전후 지식, 기술, 태도 변화 정도를 비교하는 것이 효과적
• 훈련 시작 전 명시된 훈련목표와 연계하여 실시, 사전에 계획된 훈련목표의 구체적인 진술과 연계

훈련성취도 평가의 목적 및 평가 결과 활용

• 평가 목적은 훈련 목표 달성 여부 확인, 훈련 설계 개선, 훈련 대상 선정 기준 개선
• 평가결과 활용은 훈련 성패 판단, 수료 여부 결정, 훈련 과정 설계 시 반영, 훈련 대상 선정에 활용됨

훈련성취도 평가 설계

• 훈련 참가자를 대상으로 사전검사 및 사후검사 실시
  • 훈련 실시 전후 검사 결과를 비교하여 변화가 훈련에 의한 것인지 판단
  • 사전검사 경험이 사후검사 결과에 영향을 미칠 수 있다는 점을 고려 (사전검사의 학습 효과)
  • 훈련 외적 요인도 사후검사에 영향을 줄 수 있음 (조직 자체, 작업 환경 변화 등)
• 훈련 직후 훈련목표 달성 정도를 파악하기 위해 사후검사만 실시할 수도 있음 (직접적 향상 정도 측정에는 한계)

훈련목표 진술 시 고려사항 (ABCD)

• Audience/Actor (훈련생): 훈련생을 주체로 진술
• Behavior (구체적 행동): 기대되는 성취행동을 인지/정서/심동적 용어로 표현
• Condition (조건): 훈련생의 성취행동이 발생하는 상황, 조건, 환경 제시
• Degree (행동기준/준거): 성취행동이 도달해야 할 기준, 달성 여부 판단 기준

훈련성취도 평가 영역 및 목표

• 교육목표분류학(taxonomy of educational objectives)에 따라 교육목표 영역을 인지적, 정의적, 심동적 영역으로 구분
• 인지적 목표: 지식이나 사고과정을 교육훈련 성과로 진술, 사실, 개념, 절차, 원리 이해 및 적용 정도를 다룸
• 정의적 목표: 감정, 태도, 정서, 가치에 관련된 교육훈련목표 (측정하기 어려워 무시되는 경우가 있음)
• 심동적 목표: 신체 동작 및 기능에 관련된 교육훈련 목표, 운동기능 및 특정 업무 수행능력과 관련

인지적 영역의 훈련목표 분류 (Bloom, 1956)

• 지식: 이미 배운 내용(사실, 개념, 원리, 방법, 유형, 구조, 이론 등)을 그대로 기억하는 능력
• 이해: 학습내용의 의미를 파악하는 능력, 단순히 자료를 기억하는 수준을 넘어 자료를 번역, 해석, 추론하는 능력
• 적용: 학습내용(개념, 규칙, 원리, 이론, 기술, 방법 등)을 새로운 장면에서 활용하는 능력
• 분석: 자료의 구조 및 구성요소의 상호관계를 이해하기 위하여 자료를 구성요소로 분할하는 능력
• 종합: 구성요소를 결합하여 비교적 새롭고 독창적인 형태, 원리, 관계, 구조 등을 만들어 내는 능력
• 평가: 특정한 목적과 준거를 기준으로 자료(아이디어, 작품, 해결책, 방법 등)의 가치를 판단하는 능력

심동적 영역의 훈련목표 분류 (Simpson, 1972)

• 지각: 감각기관을 통하여 대상과 대상의 특징을 인식하는 능력
• 태세: 특정 행동이나 경험을 하기 위한 정신적, 신체적, 정서적 자세를 나타내는 능력
• 인도된 반응: 타인의 지도 또는 조력을 받아 외현적 동작을 수행하는 능력
• 기계화: 어떤 동작을 습관화시켜 상당한 자 신감을 갖고 숙련되게 수행하는 능력
• 복합외현반응: 비교적 복잡한 동작을 최소한의 노 력으로 신속하고 유연하고 정확하 게 수행하는 능력
• 적응: 주어진 상황과 문제요건에 맞추어 동작이나 기능을 수정하는 능력
• 창안: 특정 상황이나 요건에 적합한 새로 운 동작이나 기능을 개발하는 능력

정의적 영역의 훈련목표 분류 (Krathwohl 등, 1964)

• 수용: 어떤 활동(학습활동 등)이나 대상에 주의를 기울이는 수준 (주의 집중 및 유지와 관련)
• 반응: 어떤 활동이나 대상에 적극적으로 참여하고 자발적으로 반응하며, 참여와 반응에서 만족감을 얻는 수준
• 가치화: 어떤 활동이나 대상을 중요하게 생각하고 그에 대해 일관된 반응을 보이는 수준
• 조직화: 여러 가지 가치가 존재하는 상황에서 서로 다른 가치를 조직하고, 상호관계를 파악하며, 우선순위를 부여하여 단일의 가치체계를 형성하는 수준
• 인격화: 가치관이 인격의 일부로 확고하게 내면화되어 행동 및 생활의 기준이 되고, 지속적이고 일관되며, 행동을 예측할 수 있는 정도

훈련성취도 평가도구 개발 절차

• 문항 개발: 평가 목표에 맞는 문항 내용 및 형식 결정
• 문항별 점수 배정: 출제 문항 수와 문항 난이도 고려
• 모범 답안 작성: 채점 기준 명확화
• 문제지 편집: 문항 유형별 배열, 난이도 순서 고려
• 문제지 검토: 평가 대상과 유사한 집단에서 문제점 보완
• 문제지 인쇄: 최종 이상 유무 확인 후 인쇄

훈련성취도 평가 영역별 평가 유형

• 인지적 영역
  • 학습한 것을 재인, 회상, 암기, 의미 파악에 일반 평가(선택형, 서답형) 사용
  • 학습한 지식, 기술, 태도를 새로운 상황에 적용할 때 일반 평가, 수행평가(선택형, 서답형, 체크리스트) 사용
  • 분석, 종합, 평가 등 고차원적인 사고 능력은 수행평가로 평가
• 정의적 영역
  • 특정 상황, 사례에 대한 개인의 태도(흥미, 느낌)를 평가하는 데 수행평가 사용
• 심동적 영역
  • 특정 직무수행 능력에 대한 평가는 수행평가 사용

훈련성취도 평가 유형에 따른 평가도구

• 선택형(진위형, 연결형, 선다형), 서답형(단답형, 완성형, 논술형) 문항은 전통적 접근의 평가(지필 시험)에 사용
• 수행평가
  • 체크리스트: 수행 과정이나 결과를 점검
  • 평정 척도(rating scale): 수행 정도를 평가
  • 평정 항목(rubric): 평가 기준을 상세히 기술
  • 포트폴리오(portfolio): 수행 결과물을 모아 평가

선택형 문항과 서답형 문항의 비교

• 선택형 문항은 지식, 이해, 적용, 분석 능력을 측정하며, 정확한 지식과 선택 반응을 요구
  • 측정 수준: 지식, 이해, 적용, 분석
  • 문항 반응의 특징: 정확한 지식, 선택 반응
  • 대표성: 높음
  • 문항 작성: 어려움
  • 작성 시간: 많음
  • 채점의 객관성: 높음
• 서답형 문항
  • 측정 수준: 종합, 평가
  • 문항 반응의 특징: 문항이 요구하는 지식, 회상 및 구성 반응
  • 대표성: 낮음
  • 문항 작성: 쉬움
  • 작성 시간: 적음
  • 채점의 객관성: 낮음

훈련성취도 평가도구 설계 시 고려사항

• 문항형식 결정 시 훈련 목표의 달성 여부를 가장 잘 측정할 수 있는 형식을 사용
• 선택형 문항과 논술형 문항으로 모두 측정할 수 있는 경우, 선택형으로 출제하는 것이 더 바람직 (대표성과 효율성이 높으므로)
• 문항 수는 평가 목적, 출제 범위, 평가 시간, 문항 형식 및 수준, 훈련생의 문제 해결 습관 및 속도 등을 고려하여 결정

훈련성취도 평가 유형: 선택형 평가

• 진위형(true-false item): 진술문의 진위 판단
• 장점: 문항 제작이 용이, 채점의 객관성이 높음, 정해진 시간 내 다수의 문항으로 많은 내용 측정 가능
  • 단점: 추측으로 답을 맞힐 수 있음, 고등정신능력보다는 단순정신능력 측정 가능, 선다형 보다 변별력 낮음
• 연결형(matching form item): 문제군과 답지군 연결
  • 장점: 채점이 용이, 두 가지 내용의 연관성에 대한 기초지식 측정에 적합, 유사한 사실을 비교 구분, 판단하는 능력을 측정할 수 있음
  • 단점: 문항제작 경험이 부족할 경우, 제작에 많은 시간 소요, 문제군과 답지군이 동질성을 상실하였을 경우, 피험자가 쉽게 답을 인지할 가능성. 고등정신능력 측정이 다소 어려움
• 선다형(multiple choice form): 제시된 답지 중 가장 적합한 답지 선택
  • 장점: 학습 영역의 많은 내용을 측정할 수 있음. 양질의 문항일 경우, 고등정신능력 측정 가능
  • 단점: 그럴듯한 틀린 답지 제작이 용이하지 않고, 문항 제작에 많은 시간이 소요됨. 문항의 답을 모를 때 추측에 의해 맞힐 확률이 존재

훈련성취도 평가 유형: 서답형 평가

• 단답형(short-answer form item): 용어 정의나 의미를 묻는 문항에 사용 -순수단답형: 간단한 문장, 단어, 기호 등으로 직접 답 작성 -복수단답형: 여러 개의 단답 요구
  • 장점: 문항 제작이 용이, 추측에 의하여 정답을 맞힐 수 있는 요인을 배제, 논술형 보다 채점이 객관적. 문장력에 의하여 점수가 부여되는 효과 배제 가능
  • 단점:단순지식, 개념, 사실 들을 측정할 가능성이 높음. 선택형 문항에 비해 채점의 객관성 보장이 힘듦(정답의 다양성 논란이 야기될 수 있음). 기억능력에 의존하는 학습이 조장될 수 있음
• 완성형(completion form item): 빈칸에 적합한 단어, 기호 등을 작성
  • 장점: 추측에 의하여 정답을 맞힐 수 있는 요인을 배제, 검사의 타당도와 신뢰도가 높음, 문항 제작이 수월한 편. 채점의 객관성 유지, 문장력에 의한 효과 배제 가능
  • 단점: 단순지식, 개념, 사실 들을 측정할 가능성이 높음, 정답이 여러 개 있을 수 있음
• 논술형(essay type item): 서술형 시험/논술형 시험
  • 서술형 시험: 주어진 질문에 대해 알고 있는 자신의 지식이나 생각을 직접 작성하게 하는 방식 -논술형 시험: 주어진 질문에 대해 자신의 견해나 주장을 논리적 과정을 통해 상대방에게 설득력있게 전달토록 하는 방식
  • 장점: 응답형태를 제한하지 않으므로 여러 정신능력 측정 가능, 문항 제작이 선다형, 단답형에 비해 상대적으로 수월함
  • 단점: 문장력이 작용하여 채점에 영향을 줄 수 있음, 채점의 일관성, 객관성이 떨어질수 있음, 채점에 시간 소요

문제지 검토 시 체크리스트

• 평가 문항의 내용과 형식은 평가 목표에 일치하는가?
• 평가 문항에 사용된 용어는 학습자의 수준에 적합한가?
• 평가 문항은 간결하고 명확하게 작성되었는가?
• 지나치게 세부적이거나 특수한 지식을 묻는 문항은 없는가?
• 2개 이상의 답지에 공통적으로 존재하는 요소로 인해 정답의 단서가 되는 것은 없는가?
• 맞춤법과 띄어쓰기가 정확한가?
• 평가 소요 시간이 적절한가?
• 문자의 판독이 어려운 것은 없는가?
• 문제지가 2장 이상일 경우, 페이지 수가 정확하게 인쇄되었는가?

훈련성취도 평가 결과 분석

• 문항반응이론(item response theory) 활용
  • 검사 문항 하나하나에 초점을 두고 각 문항의 고유한 특성 곡선을 기반으로 피험자의 잠재적 특성 또는 능력을 추정하는 검사 이론
  • 검사 집단에 따라 문항 난이도와 변별도가 달라질 수 있으므로 개발 시 주의 - 문항반응이론의 특징 - 불변의 문항특성을 전제: 문항마다 고유한 불변의 문항특성이 있다고 전제
    • 문항 하나하나에 근거한 분석 : 문항 하나하나에 근거하여 분석
    • 집단의 특성과 관계없이 안정된 문항 난이도와 변별도 분석
      • 문제은행 구축과 컴퓨터 화 검사에 활용
• 문항의 적절성 검토: 문항 난이도(전체 응답자 중 정답률) 및 변별도(문항과 총점 간 상관계수) 산출
  • 문항의 난이도가 너무 낮거나(0.1 미만) 너무 높은 문항(0.9 이상)과 변별도가 너무 낮은 문항(0.3 미만)은 바람직하지 않으므로 문항 수정이 요구됨
  • 문항의 적정 난이도는 0.3~0.7 정도이며, 문항이 너무 쉬운 경우 오답을 좀 더 어렵게 수정. 문항이 너무 어려운 경우 오답 중 총점이 높은 사람이 많이 선택한 오답을 좀 더 쉽게 수정
• 평균 및 표준편차 산출: 응답자 총점의 평균 및 표준편차 계산
  • 평균이 높을수록 훈련참가자들의 훈련성취도가 높음을 의미
  • 표준편차가 클수록 개인 간 훈련성취도의 편차가 큼을 의미
• 사전점수와 사후점수 비교: 엑셀로 대응표본 t-검정 실시