Autoencoder 및 행렬 완성

Autoencoder 및 행렬 완성

• 강의 21과 22, Suh Changho 교수, 2024년 6월 18일, 19일 강의 자료 요약

개요

• 행렬 완성(MC)이 무엇인지 파악
• 융합 학습과의 연결성 탐구
• 행렬 완성에 중요한 역할을 하는 오토인코더 변형 연구: 디노이징 오토인코더
• 디노이징 오토인코더를 활용하는 최신 MC 기술 연구

행렬 완성

• 행렬 완성은 누락된 엔트리를 추정하는 것
• 추천 시스템에 사용 가능
• 많은 행렬의 낮은 랭크 구조를 활용

퓨전 학습과의 연관성

• 퓨전 학습은 다양한 유형의 입력을 동시에 사용하는 학습 방법론
• 종종 데이터가 누락되는 문제 발생
• 소수의 예시만 모든 유형의 데이터에 사용 가능
• 누락된 엔트리 추정은 퓨전 학습 문제 해결에 도움을 줌

행렬 완성을 위한 방법

• 최신 방법 중 하나는 오토인코더를 이용하는 것
• 디노이징 오토인코더 (DAE) 기반

디노이징 오토인코더 (DAE)

• DAE의 동기는 행렬 완성과는 관련이 없음
• 오토인코더의 주요 역할인 차원 축소에서 영감을 받음
• 내부 특징이 입력의 핵심 패턴을 잘 포착하기를 목표
• 입력을 노이즈에 강하게 만드는 것이 중요

잡음

• 잡음은 일반적으로 입력에 적용
• 잡음 패턴에 따라 두 가지 유형이 있음
  • Type I: 가산 가우시안 잡음
  • Type II: 랜덤 마스킹

랜덤 마스킹

• 랜덤 마스킹은 행렬 완성에 영감을 줌

행렬 완성 연결

• 누락된 엔트리를 가진 각 예제를 AE에 입력으로 사용
• 출력을 완전히 채워진 버전으로 간주
• DAE의 좋은 성능 덕분에 누락된 엔트리가 잘 재구성될 것으로 기대

AE 학습 방법

• 단순 방법: 관찰된 엔트리에 대한 쌍 인덱스 집합을 사용하여 손실을 최소화

GAN (Generative Adversarial Networks)

• 오토인코더는 생성 모델로 사용될 수 있음
• GAN은 더 강력한 생성 모델
• 최근 대규모 언어 모델(LLM)에 대한 관심 증가

강의 22 및 23 미리보기

• GAN 아키텍처 및 해당 최적화를 조사
• 최적화 문제 해결 방법 강구
• GAN의 구현 세부 사항 연구
• 대규모 언어 모델 간략하게 논의
• GAN 최적화 문제를 해결하는 방법 강구

생성적 모델링

• 실제 데이터와 유사한 분포를 갖는 가짜 데이터 생성

적대적 생성 네트워크

• 생성된 가짜 샘플에서 실제 샘플을 구별
• 입력이 실제 데이터인 경우 큰 D(.) 값을 생성하고 생성된 데이터인 경우 작은 값을 생성하는 것을 목표

최적화

• 판별자는 D(X) & 1 – D(X~)를 최대화하려고 함
• 생성자는 이미지의 로그를 최소화하려고 함

로그 손실

• Goodfellow는 다음 대신 로그 손실을 사용
  • m
  • maxD m1 logD(x(i))+m1log(1-D(x(i)))
  • i=1 i=1
• 이 방정식을 푸는 방법

신경망 최적화

• 신경망을 함수 클래스라고 간주
• 매개변수화: Gw(·) 및 Dθ(·)

매개변수를 사용한 최적화

• 질문: 최대-최소(min-max) 최적화 처리 방법
• 정류점(stationary point) 찾기

대체 경사 하강법 (Alternating gradient descent)

• 반복적인 접근 방식
• 생성기의 가중치를 업데이트한 후 판별기의 가중치를 업데이트
• 판별기의 가중치 업데이트를 k번 반복 가능
• 관찰: 이 방식은 함수 최적화에 사용
• 함수 클래스에 대한 신경망 적용

k:1 교대 기울기 하강법

• 생성기의 가중치를 업데이트한 후 판별기의 가중치를 k번 업데이트
• 실제로는 배치 버전과 Adam이 자주 사용됨

판별자 훈련 방법

• 배치 버전:
• 최대
  • θ mB i∈B log Dθ(x(i)) + log(1 – Dθ(Gw(z(i))))
• 판별적 손실:
  • minθm1B i∈B - log Dθ(x(i)) – log(1 – Dθ(Gw(z(i))))

판별자 손실에 대한 관찰

• 교차 엔트로피 손실과 관련
• 실제 이미지에 대한 교차 엔트로피 손실 최대화
• 가짜 이미지에 대한 교차 엔트로피 손실 최소화

구현 방법

• 실제 손실과 가짜 손실 계산
• 모든 1'과 0'의 벡터 사용

생성기 훈련 방법

• 판별자의 매개변수가 주어지면 생성기 손실을 최소화하는 것이 목표
• 목표는 관련 없는 항을 무시하고 생성기 손실을 최소화하는 것으로 단순화

생성기 손실

• 훈련 초기에 생성기는 현실적인 데이터를 잘 생성하지 못함
• 훈련 불안정성 초래

프록시 사용

• 원활한 훈련 가능

지금까지 배운 내용

• DNN, CNN, RNN, RF, 차원 축소, 군집화, 오토인코더, 행렬 완성, GAN
• RF: 소규모 데이터 기술
• 반지도 학습, 전이 학습, 시뮬레이터 기반 학습과 같은 고급 소규모 데이터 기술
• 이러한 모든 기술은 주로 예측 모델에 사용

다음 내용

• 3가지 소규모 데이터 기술 탐구: 반지도 학습, 전이 학습, 시뮬레이터 기반 학습

강의 25~27 요점

• 반지도 학습 (SSL)
• 표시가 없는 데이터와 표시가 있는 데이터를 모두 활용하는 학습 방법론

고급 SSL을 위한 최적화

• 손실 함수는 3가지 항으로 구성됨
  • 지도 학습 손실: 표시가 있는 데이터에만 적용
  • 일관성 손실: 인접한 데이터 포인트가 다른 예측을 할 때 페널티를 부여
  • 특징 매칭 손실: 동일한 예측을 가진 데이터 포인트가 멀리 떨어진 특징을 가질 때 페널티를 부여

일관성 손실

• 데이터 포인트를 섭동하여 인접한 데이터 포인트를 생성
• 다양한 섭동 방법 적용

특징 매칭 손실

• 유사성 그래프 및 차원 축소 기반
• 유사성 그래프 구성 방법: 행렬 완성 사용

반지도 학습 결과

• MNIST, SVHN, CIFAR-10 데이터세트에서 우수한 성능을 보임

전이 학습

• 한 작업 (소스)에서 얻은 지식을 다른 작업 (대상)으로 전이

적용 가능한 시나리오

• 동일한 크기 (또는 유사한 크기)의 입력
• 이미지 데이터
• 특징은 초기 레이어에서 더 일반적이고, 후기 레이어에서 더 구체적
• 언어 데이터
• 단어 임베딩이 매우 일반적
• 풍부한 데이터를 가진 소스 작업의 사전 훈련 모델 존재

이미지 관련 작업을 위한 사전 훈련 모델

• ImageNet 1000 클래스 분류 경쟁

언어 관련 작업을 위한 사전 훈련 모델

• 단어 임베딩

이미지 데이터에 대한 일반적인 접근 방식

• 초기 레이어 고정
• 필요한 경우 입력 이미지 크기 조정 또는 자르기

시뮬레이션 기반 학습

• 데이터 부족 문제가 발생하는 상황: 자율 주행 시스템 구축

상황에 유용한 시뮬레이터

• Grand Theft Auto V
• CARLA

GTA V 기반 노력

• GTA V를 사용하여 충돌 예측 시스템을 구축하는 노력

충돌 예측

• 물체 감지 및 위험-안전 분류에 초점

시뮬레이터 해킹을 통한 생성

• GTACrash 훈련 데이터: 사고 3600건과 비사고 7700건
• YouTubeCrash 실제 데이터: 사고 100건과 비사고 122건
• GTA로 100배 더 많은 사고 데이터 얻음
• 시뮬레이터 구축 난이도 매우 높음
• 소프트웨어 회사와의 협업 필요

AUC 성능

• 가로축은 거짓 긍정 비율, 축은 실제 긍정 비율

작은 데이터 기술에 대한 주의 사항

• 가장 먼저 시도할 방법은 무작위 포레스트
• 반지도 학습과 전이 학습은 부가 정보를 활용
• 시뮬레이터 기반 학습 순으로 시도 제안

강화 학습

• 예측 모델이 아닌 제어 모델에 적용
• 자율 주행 자동차, 로봇을 예시로 들 수 있음
• 강화 학습(RL)은 에이전트와 환경이라는 두 가지 개념 이용

에이전트와 환경 간의 상호 작용

• 에이전트는 행동을 취함
• 환경은 관찰과 보상으로 응답

강화 학습 정의

• 기대 보상을 극대화하는 행동 정책을 학습하는 방법론

일반적인 강화 학습 시나리오

• 팩맨, 주식, 자율 주행 자동차, CartPole

강화 학습용 수학 모델

• 에이전트와 환경 간의 상호 작용을 캡처하는 모델: 마르코프 결정 과정 (MDP)

마르코프 결정 과정 (MDP)?

• 마르코프 프로세스와 관련 있는 개념

마르코프 프로세스 정의

• 미래 상태와 과거 상태가 독립적

상태 전이 확률

• 마르코프 프로세스의 통계적 행동을 완전히 설명

상태 전이 다이어그램

• 마르코프 프로세스와 연결

마르코프 결정 과정 (MDP)

• 각 시간 단계에서 에이전트는 여러 후보 중에서 행동을 취할 수 있음
• 전이 확률은 취해진 조치에 따라 달라짐
• 일부 상태 전이는 일부 보상을 반환

MDP 관련 RL은?

• RL은 기대 보상을 최대화하는 최적의 정책을 찾는 방법론

MDP에서 최적의 정책을 찾는 방법

• 벨만 방정식과 Q-값 반복 알고리즘 사용

벨만 방정식이란?

• 표기법 :
  • Q*(s, a): 상태-동작 쌍의 Q-값
  • 의미 : 에이전트가 상태 "s"에서 동작 "a"를 취할 때의 최대 기대 보상
  • 가정 : 미래 행동은 최적 정책을 따름
• Q*를 찾는 데 도움이 되는 방정식

기대 보상 계산 방법

• 두 가지 유형의 보상이 있음
  • 즉각적인 보상
  • 미래 보상
• 할인 요소 γ 사용 - 일반적인 값은 0.95 또는 0.99
• 할인 요소 gamma 기호

Q-값 반복 알고리즘

• 벨만 방정식에 기반
• 주어진 Q(t)(s, a)에 대해 Q(t+1)(s, a)를 반복적으로 계산
• 반복에서 Q(t+1)(s, a)는 Q*(s, a)로 수렴

문제점

• 실질적으로, π(s′|s,a) 및 R(s′|s,a)는 추정하기 어려움

Q 학습 알고리즘 사용

• Q-학습 알고리즘은 실제 에피소드에서 관찰된 전이 및 즉각 보상을 기반