직업훈련평가모형: 결과, 과정, 통합적 관점

### 직업능력개발 훈련 평가 모형

- 직업능력개발 훈련 평가 모형 (3주차_교재 제3장)

### 결과 중심 평가 모형
- 커크패트릭 모형
- 잭 필립스 모형

### 과정 중심 평가 모형
- CIPP 모형
- 논리주도 모형

### 통합적 평가 모형
- HRD 연구와 평가 모형
- 메타 평가 모형

### 학습 목표
- 직업능력개발 훈련 프로그램 평가의 결과 중심 평가 모형 2가지를 설명해야 함
- 직업능력개발 훈련 프로그램 평가의 과정 중심 평가 모형 2가지를 설명해야 함
- 직업능력개발 훈련 프로그램 평가의 통합적 평가 모형 2가지를 설명해야 함

### 평가의 접근 모형
- 평가의 접근 모형은 세 가지 관점, 즉 결과 중심 관점, 과정 중심 관점 및 통합적 관점으로 나눌 수 있음

### 결과 중심 관점
- 교육 목표가 교육 과정 및 교수 프로그램에 의해 얼마나 구현되는지 평가
- 커크패트릭 모형 및 필립스 모형 사용

### 과정 중심 관점
- 교육 경험 또는 활동의 가치를 판단하는 데 중점을 두는 평가 모형
- CIPP 모형 및 논리 주도 모형 사용

### 통합적 관점
-  교육 성과에 영향을 미치는 요인과 하위 요인 간의 인과 관계를 설명
- HRD 연구와 평가 모형 및 메타 평가 모형 사용

### Kirkpatrick 모형 개요
- 직업능력개발 훈련 프로그램 평가에 가장 널리 알려진 모델은 Kirkpatrick(1959)의 4단계 평가 모형임
- 오래된 모델임에도 여전히 인적자원개발 실무자들이 주로 활용함
- Kirkpatrick은 반응평가, 학습평가, 행동평가, 결과평가의 네 가지 평가 유형을 제시함

### Kirkpatrick의 4수준 평가모형: 반응 평가(reaction evaluation)
- 교육 프로그램에 참가한 교육생들이 느끼는 반응 또는 만족도 평가
- 교육 전반적으로 잘된 점과 미흡한 점 파악 후 교육 프로그램 기획 및 운영 시 프로그램 개선 목적으로 활용
    -  교육 프로그램 전반적인 만족도는 어떠했는지?
    -  교육내용이나 강사에 대한 만족도는 어떠했는지?
    -  교육환경에 대한 만족도는 어떠했는지?
- 참가자들이 감정적으로 느끼는 만족도에 초점을 맞추기 때문에 교육 효과와는 관련 없을 수도 있음

### Kirkpatrick의 4수준 평가모형: 학습 평가(Learning evaluation)
- 교육 프로그램에 참가한 교육생들이 새롭게 습득한 지식, 스킬, 태도, 역량의 변화 정도 측정
- 학습 내용에 대한 평가를 제시된 학습 목표에 따라 실제적인 학습이 이루어졌는지 파악하는 전통적인 교육평가
- 대부분의 학습 평가는 지필 시험 형태로 참가자들의 인지적인 능력 평가
- 교육 프로그램이 마무리를 시점에 실시되며 사전, 사후로 실시함으로써 학습 내용의 습득이 어느 정도 달성했는지를 평가
- 학습 평가는 학습 내용의 습득이 업무 성과향상으로 이어지지는 않는다는 한계

### Kirkpatrick의 4수준 평가모형: 행동 평가(Behavior evaluation)
- 교육 프로그램에 참가한 교육생들이 프로그램에서 습득한 지식, 스킬, 태도,역량 등을 교육이 끝난 후 실제 현업에서 적용한 정도를 평가 (현업 적용도 평가)
- 일반적으로 현업적용도 평가는 교육 종료 후 3개월 이후에 교육생 및 교육생의 직속 상관을 대상으로 실시
- 현업 적용도 평가는 학습 전이(transfer of learning) 개념과 연계됨
    - 교육생들이 교육 프로그램이 종료된 후 교육 프로그램에서 학습한 지식, 스킬, 태도, 역량 등을 실제 업무에서 적용하여 활용
- 교육생들은 여러 가지 이유로 적용하지 않는 경우가 발생

### Kirkpatrick의 4수준 평가모형: 결과 평가(Result evaluation)
- 교육 프로그램이 조직의 성과에 어느 정도 영향을 미쳤는지를 평가
- 교육 프로그램을 통해 조직의 성과가 실질적으로 향상되었는지 측정
    - 조직의 생산성의 향상이 있었는지?
    - 매출이나 수익성이 증대되었는지?
    - 품질이 향상되었는지?
    - 고객의 만족도가 향상되었는지? 등
- 교육 프로그램을 실시하게 된 목적이 달성되었는지를 평가하는 것
- 일반적으로 교육 프로그램이 종료 된 6개월 이후에 실시

### Kirkpatrick의 4수준 평가 모형 종합
- 1수준(반응)(교육만족도) 
    - 반응도 평가
    - 프로그램 개선이 목표
    - 교육 중, 직후에 주로 시행
    - 학습자, 강사, 교육 진행자, 교육 프로그램 대상으로 평가
    - 설문지, 면접, 관찰 등의 방법 사용
- 2수준(학습)(학습이해도) 
    - 목표 달성도 
    - 효과성 판단이 목표
    - 교육 전, 중, 직후에 주로 시행
    - 학습자의 지식, 기술, 태도, 역량 습득 정도를 평가
    - 설문지, 필기시험, 사례연구, 역할연기 등의 방법 사용
- 3수준(행동)(현업적용도)
    - 현업 적용도
    - 학습 전이도 및 근무 환경 판단이 목표
    - 교육 종료 후 3개월에 주로 시행
    - 학습 전이를 위한 근무환경요인, 적용된 지식, 기술, 태도, 역량 등을 평가
    - 설문지, 관찰, 인터뷰 등의 방법 사용
- 4수준(결과)(조직기여도)
    - 경영성과 기여도
    - 교육투자 가치 확보
    - 교육 종료 후 6개월에 주로 시행
    - 경영성과 중에서 교육이 기여한 부분 평가
    - 투자회수율(ROI), 설문지, 재무 자료, 인사 기록 등의 방법 사용

### Kirkpatrick과 Kirkpatrick(2016) 새로운 Kirkpatrick모델
- Kirkpatrick과 Kirkpatrick(2016)은 새로운 Kirkpatrick 모델을 개발 (The new world Kirkpatrick model)

### Kirkpatrick 4수준 모형의 장점
- 단순하고 활용하기 쉬움
- 다양한 수준과 요소 포함
- 적용 방식 간단하고 결과 해석 용이
- 교육을 사업 성과로 연계

### Kirkpatrick 4수준 모형의 단점
- 이론적 뒷받침 부족
- 자료 수집에 비용과 노력 소요
- 성공 및 실패 원인 파악 어려움
- 명확한 평가 지표 확보 어려움으로 1,2단계만 활용

### Jack Phillips 5수준 평가모형
- Kirkpatrick 4수준 평가 모델에 5수준 평가를 더한 교육 투자 수익률(Return on Investment, ROI)에 초점을 교육의 사업 결과에 대한 기여도를 평가하는 모델임
- 1수준: 반응 및 계획된 행동(reaction & planned action): 교육 과정에 대한 교육 참가자들의 반응을 측정하고 결과를 실행하기 위한 구체적인 계획을 수립하는 단계의 평가
- 2수준: 학습 평가(learning): 교육 참가자들의 지식, 기술, 태도 변화를 측정
- 3수준: 직무적용 평가(job application): 훈련 결과에 대한 현업의 행동 변화를 측정
- 4수준: 사업 결과 평가(business results): 교육 결과가 사업에 미치는 영향을 측정
- 5수준: 투자 회수율 평가(return on investment): 교육 과정에 대한 재정적인 결과의 가치와 소요된 비용을 보통 %를 사용하여 측정

### Jack Phillips 5수준 평가모형: ROI
- 교육에 투자 수익률(ROI) 평가는 교육 프로그램의 개발 및 운영에 들어간 프로그램의 비용 대비 교육 프로그램을 실시한 이후에 발생한 프로그램의 편익을 평가하기 위해 사용
- ROI는 다음과 같이 계산
 - ROI(%) = (프로그램이 창출한 순이익(이익-비용) / 프로그램에 투입된 비용) * 100
    - 교육이 조직의 성과에 얼마나 기여했는지 확인
    - 프로그램 투자 비용에 대한 판단
    - 교육 프로그램에 대한 경영진의 이해와 의사결정의 근거 제공
    - HRD 부서를 비용이 드는 조직에서 이익을 내는 조직으로 전환시키는 것이 중요

### ROI 프로세스 모형
- ROI 프로세스 모형은 다음과 같은 단계로 구성됨 (Phillips, 1997)
    - 평가 계획
    - 자료 수집
    - 자료 분석
    - 전체 효과 분석

### CIPP 모형의 개요
- 교육 프로그램의 수요 분석, 계획, 실행, 결과 등 전체적 국면을 종합적으로 평가해 의사 결정자에게 대안 선택의 유용한 정보 제공 (대표적인 의사 결정 또는 과정 모형)
- Stufflebeam은 관리자들이 Context(상황), Input(투입), Process(과정), Product(산출)의 4가지 국면에서 '합리적인 의사 결정'을 지원하도록 도움을 주는 평가 모형(1971)
- 본 평가의 가장 중요한 목적은 "판단이나 입증"이 아닌 "개선"에 있음
- 이해 당사자들에 대해 개인감정과 무관하게 객관적 입장을 유지해야함
- 프로그램, 프로젝트, 개인, 사물 등 폭넓은 범위에 적용 가능
- 평가는 상황, 투입, 과정, 산출 평가의 순서로 이루어지지 않음
    - 순서대로 진행 시 평가가 과장되거나 비효율적, 낭비적 역효과가 나타날 가능성 있음

### CIPP 모형의 평가 내용 및 질문 예시
- C(상황평가) 
    - 목표와 우선순위 설정, 요구, 문제, 기회에 대한 평가
    - 프로그램의 목표와 미션은 무엇인가?
- I(투입평가)
    - 프로그램 설계 및 자원 배분 관련 대안 평가
    - 프로그램에 투입되는 자원은 적절한가?
- P(과정평가)
    - 계획 대비 실행 수준 평가
    - 프로그램이 의도대로 실행되고 있는가?
 - P(산출평가)
    - 의도된/의도하지 않은 결과 및 효과성 평가
    - 프로그램 산출 결과물은 무엇인가?

### CIPP 모형 고려 사항
- CIPP 모형을 적용 시 평가자 입장에서 고려할 요인
    - 미래의 중요한 사안에 대한 의사 결정에 도움이 되는 평가 유형은 무엇인가?
    - 과거 결정에 대한 적절한 검증을 위해 평가가 필요한가?
    - 필요한 평가는 기존 정보로 충분한가?
- CIPP 모형에서 평가자와 의뢰인이 결정해야 할 사항
    - 핵심 사용자와 청중은 누구인가?
    - 평가 질문은 어떻게 정하는가?
    - 평가 대상?, 관련된 가치 및 기준은 무엇인가?
    - 평가 시간, 장소, 재원 등 기타 여건은 무엇인가?
- 평가 초기 정확한 계약 하에 평가 진행이 이상적이지만 필요시 평가를 대상에 맞게 수정 가능
- 평가는 반드시 전문적인 책무성과 개선을 동반해야 함
   - 프로그램을 개선하기 위해 프로그램에 대한 강점과 약점을 반드시 알아야 함

### CIPP 모형의 사례
- 국립환경인력개발원의 교육 관련 평가지표:
    - 상황 평가: 공무원 환경 교육 문제점 및 정부의 교육 요구 조사
    - 투입 평가: 정책 지원, 리더십, 네트워크, 시설 기자재, 예산, 교육 담당자 전문성, 교육 정보 등의 적절성 평가
    - 과정 평가: 요구 분석 결과 활용, 프로그램 목적 및 목표 명확성, 학습 내용과 행동 변화 포함 여부 등 설계 평가
    - 과정 평가(계속): 학습 목표/강사 능력/학습자 상황에 따른 교수 학습 방법, 학습 계획 수립 여부, 학습 방법 활용 정도, 홍보 계획 수립 위한 학습자 분석 여부 등
    - 과정 평가(계속): 학습자료 선정 개발, 긍정 학습 분위기 조성, 피드백 시스템 보유 여부, 교육 후 지원 여부 등 실행 평가
    - 산출 평가: 프로그램 참여자 만족도 및 실생활/업무 전이 효과성, 업무 기여도 평가

### 논리 주도 모형 개요
- (theory-driven evaluation): 개별 프로그램에 내재된 논리에 기반한 평가 방법, 기존의 방법 위주 평가 방법 (method-driven evaluation)에서 벗어남
- 프로그램 작동 논리 파악 후 평가 실시 시 타당하고 유용함(Donaldson, 2002)
- 프로그램 목표와 산출 간 인과 관계 종합 고려, 상황 중심적이고 체계적인 접근 시도
    - 평가자가 프로그램 전반에 대한 선명한 그림을 그리도록 도와 평가 효율을 높임
    - 투입 요소, 활동, 중간 및 최종 산출물 간 관계 파악 시 평가 설계 관련 의사 결정 용이
- 평가 목표, 데이터 수집 시기/종류 정보 제공, 평가 기간 동안 개발자/실무자와 토론 등 평가 설계 전 과정 지원

### 논리 주도 모형의 특성
- 주요 특징: 전체적 접근(holistic approach), 상황 대응성(contingency), 포괄성(inclusiveness), 민감성(sensitiveness) (Donaldson, 2002)
    - 전체적 접근: 과정, 결과, 맥락을 고려하여 전체적 접근 가능(Chen, 2005)
    - 상황 대응성: 특정 프로그램에 맞는 평가 접근 및 방법 이해 도움(Chen, 1990)
    - 포괄성: 프로그램 관련자들과 협동하여 요구, 주장, 관심을 포괄적으로 파악(Chen, 2005)
    - 민감성: 구조, 과정, 성숙도, 환경, 이해 관계자의 요구에 따라 평가 방법 유연하게 적용(Chen, 2005)

### 논리 주도 모형 절차와 단계
- 1) 평가 준비
    - 평가 요구 파악
    - 평가 목적 확인
- 2) 프로그램 논리 개발
    - 평가 대상 프로그램 파악
    - 프로그램 논리 개발
    - 평가 가능성 사정
- 3) 평가 시행
    - 평가 질문 형성 및 우선 순위 정하기
    - 평가 질문에 답변하기
    - 평가 준거 설정
- 4) 프로그램 논리 검증 및 타당화
    - 평가 자료를 수집하고, 자료 분석 및 처리
    - 평가 기준 설정
- 5) 평가 결과 종합 및 활용
    - 평가 결과를 정리 및 보고

### 논리 주도 모형
- 특정 요소 간의 관계를 보여주는 다이어그램
- 투입: 투자 내용, 지원 요소
- 산출: 주요 활동, 참여 주체
- 결과-효과: 단기, 중간, 장기 성과
- 가정 및 외부 요소 포함해야 함

### HRD 평가와 연구 모델 개요
- Holton(1996): Kirkpatrick 4수준 평가모델의 결함 지적, 종합적인 평가모델로 HRD 연구와 평가모델 제시
- HRD 성과를 학습(learning)|개인성과(individual performance)|조직성과(organizational performance) 세 가지로 설정
- HRD의 1차 성과는 학습이고, 학습 성과는 개인 성과향상에 영향을 주며, 이는 곧 조직 성과향상으로 이어짐
- 성과 영향 요인을 2차적 영향, 동기, 환경, 능력 요인으로 설정
- 교육훈련 프로그램에서 습득한 지식/기술/태도를 직무 현장에 적용해 유발하는 행동 변화를 의미하는 전이

### HRD 평가와 연구 모델
- 학습자 특성(성실성, 신경증, 경험에 대한 개방성, 목표 지향, 통제소재)과 직무태도(조직몰입, 직무몰입)는 수행에 대한 자기 효능감과 학습자 준비도을 높이는 2차적 영향
- 동기 부여에 학습 동기 및 전이 동기가 관련
- 환경은 피드백과 동료/상사의 지원에 영향을 받음
- 학습은 개인 성과 특히 긍정적 태도, 개인/조직 제재와 관련
- 학습 설계 능력이 학습으로, 교육 내용 타당성/전이설계/개인 전이 능력/훈련 내용 활용 기회가 개인 성과로 이어짐
- 기대 효용/투자 수익이 조직의 목표 달성과 연계

### 메타평가 개요
- “평가에 대한 평가(evaluation of evaluation)” (Orata, 1940; Scriven, 1991)을 의미
- 평가 주체가 실시한 일차 평가에 대한 유용성, 정확성, 타당성, 실행 가능성 등을 평가(Davidson, 2005)
- 평가 품질 확보, 평가 계획부터 결과까지 평가 질 점검, 평가 결과 유용성 제고를 목표로 함
- 평가 체제, 평가 자체, 평가 결과 등으로 대상 구분

### 메타평가 모형
- 김병철(2009)의 메타평가 모형 요소
    - 평가 환경: 근거 명료성, 목적 합리성, 주기 신축성
    - 평가 투입: 역량, 자료, 시간 적절성
    - 평가 수행: 내용 항목 및 지표 구성, 절차 합리성, 방법 적절성
    - 평가 활용: 보고서 구성 및 내용, 결과 확정 절차 적정성, 결과 활용 및 시스템 개선 적절성