자동 인코더와 행렬 완성

자동 인코더 및 행렬 완성

• 본 강의에서는 행렬 완성(MC)이 무엇인지 알아본다.
• 퓨전 학습과의 연관성을 탐구한다.
• De-noising 자동 인코더라는 행렬 완성에 중요한 역할을 하는 자동 인코더의 변형을 조사한다.
• De-noising 자동 인코더를 활용하는 최근 MC 기술 중 하나를 연구한다.

행렬 완성(Matrix Completion)

• 누락된 항목을 채우는 것을 목표로 한다.
• 추천 시스템에 널리 적용된다.

MC 가 활용하는 핵심 속성

• MC는 많은 관심 있는 행렬의 낮은 순위 구조를 활용한다.
• 낮은 순위 구조는 중요한 속성이다.
• 행렬 완성은 낮은 순위 구조를 활용하여 누락된 정보를 추정한다.
• 예를 들어, 순위가 1인 행렬의 누락된 항목을 복구할 수 있다.

퓨전 학습과의 연관성

• 퓨전 학습은 여러 유형의 입력을 동시에 사용하는 학습 방법론이다.
• 퓨전 학습은 여러 데이터 유형을 통합하여 학습한다.

퓨전 학습의 과제

• 종종 데이터가 누락되는 문제가 발생한다.
• 모든 유형의 데이터에 대한 예제가 부족하다.
• 누락된 데이터를 추정하는 것이 중요하다.

과제 해결 방법

• 누락된 항목을 추정하면 데이터 부족 문제를 해결할 수 있다.
• 행렬 완성은 누락된 항목을 추정하는 효과적인 도구이다.
• 자동 인코더는 행렬 완성을 위한 한 가지 방법이다.
• 특히 De-noising 자동 인코더가 활용된다.

행렬 완성 방법

• 최근 방법 중 하나는 자동 인코더를 이용하는 것이다.
• 이는 De-noising 자동 인코더(DAE)에 기반한다.
• DAE는 잡음에 강한 특징을 학습하도록 장려한다.

Denoising 자동 인코더(DAE)

• DAE 뒤에 숨겨진 동기는 행렬 완성과는 관련이 없다.
• 대신 자동 인코더의 핵심 역할인 차원 축소에서 영감을 받았다.
• DAE는 데이터의 차원을 줄이는 데 사용된다.
• 내부 특징이 입력의 핵심 패턴을 잘 포착하는 것이 목표이다.
• 잡음에 강하도록 네트워크를 만드는 것이 목표이다.
• 일반적으로 입력에 잡음을 적용한다.

잡음 패턴에 따른 두 가지 유형

• 유형 I: 가우시안 잡음 추가.
• 유형 II: 임의 마스킹.

유형 I: 가산 가우시안 잡음

• 입력에 가우시안 잡음을 추가한다.
• 네트워크가 가우시안 잡음에 강하도록 만든다.

유형 II: 임의 마스킹

• 입력의 일부를 임의로 가린다.
• 임의 마스킹이 행렬 완성에 영감을 준다.
• 랜덤 마스킹은 입력의 일부를 0으로 설정한다.

행렬 완성과의 관계

• 각 예제를 누락된 항목을 가진 입력으로 사용한다.
• 출력을 완전히 채워진 버전으로 간주한다.
• DAE의 좋은 성능 덕분에 누락된 항목을 잘 재구성할 수 있다.

AE 훈련 방법

• 단순한 방법은 관찰된 항목에 대해서만 오류를 계산하는 것이다.
• 효율적인 방법을 사용할 수 있다.

Autoencoder 복습

• Autoencoder는 encoder와 decoder로 구선된다
• 코딩 방식은 simple, efficient가 있다. Efficient는 w/ or w/o tying weights 존재
• Encoder는 Dimensinality reduction, Semi-supervised learning의 역할을 한다
• Decoder는 generative model, Matrix Completion, Anomaly detection의 역할을 한다

다음 단계

• 자동 인코더는 생성 모델로 사용될 수 있다.
• 생성적 적대 신경망(GAN) 기반의 더 강력한 생성 모델이 있다.
• 대규모 언어 모델(LLM)에 대한 관심이 증가하고 있다.

앞으로 살펴볼 내용

• 생성적 적대 신경망(GAN)을 연구한다.
• 대규모 언어 모델(LLM)에 대해 간략히 논의한다.

GAN 아키텍처

• 실제 데이터와 가짜 데이터를 구별하는 판별자와 가짜 데이터를 생성하는 생성자를 포함한다.
• 판별자는 입력이 실제 데이터이면 큰 값을 출력하고, 생성된 데이터이면 작은 값을 출력하도록 의도된다.
• 손실함수는 log loss를 사용하여 판별자와 생성자를 학습한다.

최적화

• 판별자는 D(X)를 최대화하고 1 - D(X~)를 최대화하려고 한다.
• 생성자는 판별자를 속이려고 한다.
• 판별자와 생성자는 번갈아 가며 학습된다.
• 대안적 gradient descent 방법이 사용된다

GAN 최적화

• GAN 최적화는 함수 최적화이다.
• 신경망을 함수 클래스로 사용하고 매개변수화한다.
• 최소-최대 최적화 문제를 해결해야 한다.

GAN 최적화

• GAN 최적화에는 saddle point가 있으며, theorem은 볼록-오목이면 saddle point가 최적 솔루션이라고 한다
• GAN 문제는 볼록하지 않으므로 stationary point를 찾는다.
• stationary point는 gradient가 0인 지점이다.

정지점

• 대안적 gradient descent를 사용하여 찾을 수 있다.
• 생성자와 판별자의 가중치를 번갈아 업데이트한다.
• 실제로 배치 버전과 Adam을 사용한다.

discriminator 훈련 방법

• Batch 버전을 사용하여 discriminator loss를 최소화한다.
• discriminator loss는 교차 엔트로피 손실로 해석할 수 있다.
• 구현 시 모든 1의 벡터와 모든 0의 벡터를 사용한다.

generator 훈련 방법

• generator의 목표는 판별자를 속이는 것이다.
• generator loss를 최소화하는 것이 목표이다.
• generator loss는 판별자가 가짜 데이터를 구별하지 못하도록 학습한다.

대리 손실 함수

• 학습 초기에 generator가 현실적인 데이터를 생성하지 못하면 기울기 소실 문제가 발생한다.
• 이를 해결하기 위해 대리 손실 함수를 사용한다.
• 대리 손실 함수는 학습 초기에 더 큰 기울기를 제공하여 학습 안정성을 향상시킨다.

GAN을 사용하여 할 수 있는 작업

• GAN을 사용하여 이미지를 생성하거나 변환할 수 있다.
• GAN은 이미지 생성, 이미지 변환, 이미지 복원 등 다양한 작업에 사용할 수 있다.

결론 / next topics

• DNNs, CNNs, RNNs, RFs, 차원 축소, 클러스터링, 자동 인코더, 행렬 완성 및 GAN에 대해 배웠다.
• RF는 Small-data 기술이다.
• semi-supervised learning & transfer learning & simulator-based learning에 대해 배울 예정이다
• semi-supervised learning는 matrix completion과 autoencoder 기반이다

semi-supervised learning(SSL) 복습

• 데이터 세트 2개(unlabeled 데이터 & labeled 데이터)를 활용하는 학습 방법론이다.
• unlabeled 데이터 샘플 크기는 라벨링된 데이터 샘플 크기보다 크다

semi-supervised learning via autoencoder

• 훈련된 encoder와 unlabeled 데이터를 사용하여 low representation을 획득하여 labeled 데이터를 사용하여 low representation을 supervised learning한다

semi-supervised learning via matrix completion

• 더 나은 성능을 제공하는 고급 semi-supervised learning 방법
• 감독 손실, 일관성 손실 및 특징 매칭 손실로 구성된 손실 함수를 사용한다.

일관성 손실

• 데이터 포인트에 작은 교란을 추가하여 생성된 nearby data points에서 다른 예측한다면 페널티를 부과한다
• 교란 방법에는 여러 가지가 있다.

특징 매칭 손실

• 동일한 예측을 갖지만 멀리 떨어진 특징을 생성하는 데이터 접점에 페널티를 추가한다
• 특징 매칭 손실에는 유사성 그래프와 차원 축소가 필요하다.

유사성 그래프 구축 방법

• 최근 방법 중 하나는 행렬 완성을 이용하는 것이다.
• 레이블이 없는 데이터에 대해 행렬 완성을 수행하여 레이블을 추정한다
• 추정된 레이블을 기반으로 유사성 트래프를 구성한다.

전이 학습

• 하나의 task(source)에서 얻은 지식을 다른 task(target)로 전달한다.
• Source task의 weight를 가져와 target task에 적용한다
• fine tuning & partial tuning 방법이 있다.
• early layer을 가져다 쓰는것 일반적이다 in 이미지 데이터

전이 학습 사용 시나리오

• 입력 크기가 동일하거나 유사한 경우, 이미지 데이터, 언어 데이터에 적용 가능하다
• Source task에 대한 사전 훈련된 모델을 사용할 수 있는 경우 유용하다
• 이미지 관련 작업에 대한 사전 훈련된 모델로 ImageNet이 있다
• 언어 관련 작업에 대한 사전 훈련된 모델로는 Word2vec, GloVe, fastText 이 있다.

ImageNet 1000类分类竞赛：

• VGG (2014)
• Inception (GoogLeNet, 2014)
• ResNet (2015)
• Xception (2016)

언어 관련 작업에 대한 사전 훈련된 모델：

• Word2vec (Google, 2013)
• GloVe (Stanford, 2014)
• fastText (Facebook, 2015)가 있다. 294개 언어를 지원한다.

이미지 데이터에 대한 일반적인 접근 방식

• VGG, Inception, ResNet 또는 Xception의 초기 레이어를 사용한다.
• Resize 또는 crop 입력 이미지가 필요하면 한다
• post layer 학습 시 early layer는 fix 한다

시뮬레이션 기반 학습

• 데이터 희소성 문제가 발생하는 상황을 탐구한다.
• 이러한 상황에서 사용될 수 있는 시뮬레이터를 조사한다.
• 특정 시뮬레이터를 사용한 최근의 노력을 탐구한다.
• 예를 들어 self-driving system 구축 시 시뮬레이션을 사용할 수 있다
• Grand Theft Auto V & CARLA가 유용한 시뮬레이터이다

과제

• 시뮬레이터를 구축하기가 어렵다.
• 게임 엔진을 해킹하는 것은 간단하지 않다.
• 소프트웨어 회사와의 협업이 필요하다.

Small-data 기술에 대한 언급

• 지금까지 최고의 노력, 측면 정보 기반, 데이터 생성이라는 4가지 기술을 조사했다.
• 위의 순서대로 각 항목을 시도하는 것이 좋다.

강화 학습(ReinForcement Learning)

• Prediction & Control 두 종류의 모델이 존재한다면 -> Control 모델에 집중 (Self-driving cars, robots)
• agent & environment의 개념을 알아야 한다
• agent는 action을 한다
• eniroment는 observation 및 reward를 제공한다

Interaction btw agent & environment

• agent : action -> environment
• agent <- observation & reward : environment
• Action policty : reward를 최대화하는 action을 선택하는 매커니즘

RL 시나리오

• Pac-Man, 주식 거래, 자율 주행 자동차, CartPole이 있다.
• Pac-Man에서 Agent는 program controlling Pac-Man의 역할, observation=image pixels, 보상=game points의 역할을 가진다
• Stock에서 Agent는 individual의 역할을, observation=stock prices, 보상=monetary gain or loss의 역할을 가진다
• 자율 주행 자동차에서 Agent는 driver의 역할을, observation=camera view, razer, lidar의 정보, 보상=path, safe, dangerous 등을 가진다
• CartPole에서 Agent는 program의 역할을, observation=position, velocity, pole angle, angular velocity 보상= 1 (it falls down or goes off the screen)의 역할을 가진다

마르코프 결정 프로세스(MDP)

• MDP는 Agent와 Environment가 상호 작용하는 수학적 모델이다
• Markov process with a twist
  • 각 time에서 action을 통해 Tranition probabilities를 부여한다
  • State 간 transtion 시 Reward를 return한다
• MDP 를 통해 optimal policty를 정할 수 있다

마르코프 프로세스

• X1, X2, ..., Xt,... is a Markov process if: current state를 제외한 future state와 past state 서로 independent하다.

상태 변환 확률(state transition probability)

• state transition probability로 Markov process의 statistical behavior를 묘사할 수 있다
• 상태 변환 다이어그램을 사용하여 시각화할 수 있다.

Bellman 방정식

• notations Q*(s,a): Q-value of the state-action pair 최대 기대 보상
• notations π*(s) = arg max Q*(s,a): optimal action action
• Bellman 방정식은 수식으로 Q값을 찾을 수 있도록 도와준다.
• 각 action의 즉각적인 보상과 장기적인 보상을 모두 고려한다

할인율

• 즉각적인 보상과 미래 보상 사이의 균형을 맞춘다.
• 장기적인 효과가 있는 행동에 더 큰 비중을 둔다
• 일반적인 값은 0.95 또는 0.99이다.
• CartPole의 값은 0.95이다

Q-value 반복 알고리즘

• 벨먼 방정식에 기반하여 Q-값을 반복적으로 업데이트한다.
• 이 알고리즘은 최적의 Q-값으로 수렴한다.
• 수식적으로는 복잡하지만, 각 액션의 기대 보상을 추정하여 최적의 정책을 찾는다.

Q value 반복 알고리즘의 과제

• transition probability 와 reward 모두 안다고 가정한다
• 실제론 이러한 확률과 보상을 알 수 없는 경우가 많다

앞으로 살펴볼 내용

• Q-learning 알고리즘을 통해 이 과제를 해결해 나갈 것이다