LSTM, 활성화 함수, 그리고 텐서플로우

• LSTM (Long Short-Term Memory)은 순환 신경망(RNN)의 한 종류이다.
• 오토인코더는 데이터의 특징을 추출하는 데 사용된다.
• Transfer Learning은 ImageNet과 같이 사전 훈련된 모델을 활용하여 학습 효율을 높이는 방법이다.
• Gradient Descent는 Adam Optimizer와 함께 모델의 최적화를 위해 사용된다.

활성화 함수 (Activation Function)

• 이진 분류에는 시그모이드 함수가 사용된다.
• 다중 분류에는 소프트맥스 함수가 사용된다.

RidgeClassifier

• Tensorflow를 사용하여 MNIST 데이터셋을 학습할 수 있다.
• keras.datasets.mnist.load_data() 함수를 사용하여 MNIST 데이터셋을 로드한다.
• DNN 모델은 Optimizer, Loss function, Metrics를 사용하여 컴파일된다.
• Sklearn을 사용하여 데이터를 train_test_split 할 수 있다.
• Batch Normalization은 학습 속도를 향상시키고 과적합을 방지하는 데 사용된다.
• RNN은 순차적인 데이터를 처리하는 데 유용하다.
• LSTM은 RNN의 한 종류로, Cell State와 Gate (Forget, Input, Output)를 사용하여 장기 의존성을 해결한다.

LSTM Gate

• Cell state는 LSTM의 핵심 구성 요소이다.
• Forget gate는 과거 정보를 얼마나 잊을지를 결정한다.
• Input gate는 새로운 정보를 얼마나 Cell state에 추가할지를 결정한다.
• Output gate는 Cell state의 정보를 얼마나 출력할지를 결정한다.
• Cell state는 LSTM을 통해 업데이트된다.
• C_t-1은 이전 Cell state를, C_t는 현재 Cell state를 나타낸다.
• Forget gate는 C_t-1의 정보를 얼마나 유지할지를 결정한다.
• Input gate는 새로운 정보를 얼마나 C_t에 추가할지를 결정한다.
• Output gate는 C_t의 정보를 얼마나 출력할지를 결정한다.
• CNN에서 receptive field는 입력 데이터의 어떤 영역을 모델이 한 번에 볼 수 있는지를 나타낸다.
• Receptive field는 입력 데이터에서 Context를 추출하는 데 중요한 역할을 한다.
• Pooling, dilated convolution, skip connection, residual connection 등은 CNN의 성능을 향상시키는 데 사용된다.
• Dilated convolution은 receptive field를 넓히는 데 사용된다.
• Residual connection은 CNN에서 Gradient vanishing 문제를 해결하는 데 사용된다.
• Feature map은 CNN에서 각 레이어의 출력을 시각화한 것이다.
• CNN은 이미지 분류, 객체 탐지 등 다양한 컴퓨터 비전 문제에 사용된다.

잔류 연결 (Residual Connection)

• 잔류 연결은 CNN에서 Gradient vanishing 문제를 완화하는 데 기여한다.
• RNN은 순차 데이터 처리에 적합하다.
• Vanishing Gradient 문제는 RNN 학습 시 발생할 수 있다.
• Time step은 truncated BPTT (Backpropagation Through Time)에서 중요한 개념이다.

LSTM 관련 용어

• GRU는 LSTM의 변형으로, update gate와 reset gate를 사용한다.
• Transformer는 Self-Attention 메커니즘을 기반으로 한다.
• Attention(Q,K,V)는 softmax(QK^T / sqrt(d_k)) * V로 계산된다. 여기서 Q, K, V는 각각 Query, Key, Value를 의미한다.
• Softmax는 Attention weights를 계산하는 데 사용된다.
• Attention weight는 입력 데이터의 각 부분에 대한 중요도를 나타낸다.
• Attention output은 Attention weight와 입력 데이터를 곱하여 얻는다.
• DNN은 Attention output을 처리하는 데 사용된다.
• Activation function은 DNN의 출력을 활성화하는 데 사용된다.
• Language model은 텍스트 생성에 사용된다.
• Regressive 모델은 이전 출력을 기반으로 다음 출력을 예측한다.
• Key, Query, Value는 Attention 메커니즘에서 중요한 역할을 한다.
• LLM (Large Language Model)은 대규모 텍스트 데이터를 학습한 모델이다.
• LLM attention output은 LLM의 Attention 메커니즘의 출력을 나타낸다.
• 추론 (Inference)은 학습된 모델을 사용하여 새로운 데이터에 대한 예측을 수행하는 과정이다.
• GPU (Graphics Processing Unit)는 LLM 학습 및 추론에 사용되는 하드웨어이다.

RAG (Retrieval-Augmented Generation)

• RAG는 검색된 정보를 기반으로 텍스트를 생성하는 방법이다.
• LLM은 RAG에서 텍스트 생성 모델로 사용된다.

RLHF (Reinforcement Learning from Human Feedback)

• RLHF는 인간 피드백을 사용하여 강화 학습 모델을 학습하는 방법이다.
• Pre-training은 RLHF의 첫 번째 단계이다.
• Supervised Fine-tuning (SFT)은 사전 훈련된 모델을 특정 작업에 맞게 조정하는 단계이다.
• Auto-encoder는 이상 감지 (Anomaly detection)에 사용될 수 있다.

GAN (Generative Adversarial Network)

• GAN은 생성자와 판별자로 구성된다.
• 생성자는 가짜 데이터를 생성하고, 판별자는 진짜 데이터와 가짜 데이터를 구별한다.
• 잠재 벡터 (latent vector)는 생성자가 데이터를 생성하는 데 사용하는 입력 벡터이다.
• GAN은 가짜 이미지 생성, 이미지 변환 등 다양한 작업에 사용된다.
• GAN 학습 시 mode collapse 문제가 발생할 수 있다. Mode collapse는 생성자가 다양한 데이터를 생성하지 못하고 특정 패턴의 데이터만 생성하는 현상이다.

강화 학습 (Reinforcement Learning, RL)

• 강화 학습은 Agent가 Environment와 상호 작용하며 보상을 최대화하는 방향으로 학습하는 방법이다.
• Agent는 Environment에서 State를 관찰하고 Action을 수행한다.
• Environment는 Agent의 Action에 따라 State를 변경하고 Reward를 제공한다.

강화 학습 요소:

• State: Agent가 현재 상황을 인식하는 데 사용하는 정보
• Action: Agent가 Environment에 대해 수행하는 행위
• Reward: Agent가 Action에 대해 받는 보상
• Policy: Agent가 State에 따라 Action을 선택하는 전략
• Value function: 특정 State 또는 Action의 가치를 나타내는 함수

강화 학습 알고리즘

• DQN (Deep Q-Network)은 Q-value를 사용하여 최적의 Action을 선택한다. Q-value는 특정 State에서 특정 Action을 수행했을 때 받을 수 있는 보상의 기댓값이다.
• PPO (Proximal Policy Optimization)는 Policy gradient 방법을 사용하여 Policy를 최적화한다.
• PPO는 Trust Region 방법을 사용하여 Policy update의 크기를 제한한다.
• Loss function은 모델의 예측과 실제 값 사이의 차이를 나타내는 함수이다.
• Clipping은 Loss function의 값을 특정 범위로 제한하는 방법이다.
• Et는 expectation (기댓값)을 나타낸다.

DQN 관련 용어

• Q-Network는 Q-value를 예측하는 신경망이다.
• Target Network는 Q-Network의 업데이트를 안정화하기 위해 사용되는 별도의 신경망이다.
• Replay Buffer는 Agent가 경험한 State, Action, Reward, next state를 저장하는 메모리이다.
• Loss function은 Q-Network의 예측과 실제 Q-value 사이의 차이를 나타내는 함수이다.
• Q-value는 특정 State에서 특정 Action을 수행했을 때 받을 수 있는 보상의 기댓값이다.