CLIP 및 BLIP 모델 이해하기

주어진 데이터셋에 대한 유사성을 학습하는 기법. 즉, 상대적인 유사성을 학습하는 방법입니다.

두 샘플의 의미적 거리를 측정하는 함수입니다.

Metric Learning의 목표는 두 샘플 간의 상대적인 유사성을 학습하는 것입니다. 즉, 특정 데이터셋에서 두 샘플이 얼마나 비슷한지 학습하는 것이 목표입니다.

라벨이 전혀 없는 데이터를 사용하여 모델을 학습하는 기법입니다.

라벨 정보가 부족하거나 제한적인 경우, 데이터의 관계적 정보를 이용하여 학습하는 기법입니다.

라벨 정보를 활용하여 모델을 학습하는 기법입니다.

특정 질문에 대한 여러 답변을 순위 매기는 학습 방식입니다.

두 샘플의 유사성을 측정하기 위해 사용되는 기법으로, 긍정적인 쌍과 부정적인 쌍을 비교하여 모델을 학습합니다.

앵커와 네거티브 간의 거리와 앵커와 포지티브 간의 거리를 측정합니다. 앵커와 네거티브 간의 거리가 앵커와 포지티브 간의 거리보다 크면 그 차이를 계산하고 최소화합니다.

앵커, 포지티브, 네거티브 샘플로 구성됩니다. 모델은 앵커와 포지티브 샘플이 앵커와 네거티브 샘플보다 더 가깝다는 것을 학습합니다.

사용자가 클릭한 항목은 포지티브 샘플로 간주합니다. 랜덤하게 선택한 다른 항목은 네거티브 샘플입니다.

모델이 효과적으로 학습하기 위해서는 네거티브 샘플을 신중하게 구성해야 합니다. 랜덤하게 선택하면 모델이 제대로 학습하지 못할 수 있습니다.

이미지와 텍스트를 더 잘 이해하고 표현할 수 있도록 도와주는 학습 방법입니다. 이미지와 텍스트를 동시에 학습하여 서로의 의미를 이해하고 연결합니다.

이미지와 텍스트를 함께 이해하고 사용할 수 있는 인공지능 모델입니다. CLIP은 이미지를 텍스트로 설명하거나 텍스트를 이미지로 변환할 수 있습니다.

유사한 샘플은 더 가까이 가져오고, 유사하지 않은 샘플은 더 멀리 밀어내도록 모델을 학습시키는 방법입니다.

CLIP은 이미지를 이해하는 인코더 부분만 가지고 있기 때문에, 텍스트를 생성하는 데 어려움이 있습니다.

VL-T5와 SimVLM과 같은 모델은 CLIP에 디코더를 추가하여 텍스트 생성 능력을 향상시켰지만, 이미지와 텍스트의 관계를 파악하는 능력은 떨어집니다.

BLIP은 CLIP의 인코더에 디코더를 추가하여 이미지 캡션 생성과 이미지-텍스트 검색 모두 가능하도록 만든 모델입니다.

유사성을 기반으로 데이터를 수집하는 방법입니다. 예를 들어 유튜브에서 시청한 비디오와 시청하지 않은 비디오를 구분하거나 검색 엔진에서 첫 번째 정보와 마지막 정보를 구분하는 것이 있습니다. 로그 정보를 활용하여 레이블을 지정할 필요 없이 쉽게 데이터를 수집할 수 있습니다.

샘플 간의 상대적인 유사성을 학습하는 방법입니다. 즉, 어떤 두 샘플이 얼마나 유사한지를 학습하여 샘플을 분류하는 것입니다.

메트릭 학습은 데이터를 사용하여 샘플 간의 상대적인 유사성을 학습하기 때문에 지도 학습 방법입니다.

주어진 데이터의 상대적인 유사성을 인코딩하여 순위를 매기는 모델입니다. 즉, 새로운, 보이지 않는 목록에서 항목의 순위를 매기는 것이 목표입니다.

랭킹 모델의 학습 데이터는 항목 목록으로 구성됩니다. 목록의 형식에 따라 포인트-와이즈, 페어-와이즈, 리스트-와이즈로 나눌 수 있습니다.

각 항목에 대한 점수를 예측하여 랭킹 모델을 학습합니다.

쿼리에 대한 두 항목의 순서쌍으로 학습 데이터를 구성합니다. 예를 들어 쿼리 A에 대해 B가 C보다 더 선호된다는 순서쌍을 사용합니다. 모델은 각 항목에 대한 점수를 예측하고 순위를 보존하여 학습합니다.

쿼리에 대한 2개 이상의 항목으로 구성된 순서 목록으로 학습 데이터를 구성합니다. 예를 들어 쿼리 A에 대해 B, C, D, E 순으로 정렬된 목록을 사용합니다. 랭킹 모델은 목록 전체의 순위를 예측하는데, 계산량이 많습니다.

음성 샘플링은 컨텍스트 단어와 목표 단어 쌍을 사용하여 훈련하고 해당 쌍에 대한 점수가 높게 나오도록 모델을 훈련합니다. 하지만 모든 단어를 컨텍스트 단어로 사용하는 것은 비효율적이므로 (목표 단어와 쌍을 이루지 않는) 랜덤 단어를 샘플링하여 음성 쌍으로 사용합니다.

앵커와 양성 샘플 간의 거리는 작고, 앵커와 음성 샘플 간의 거리는 큽니다. 즉, 유사한 샘플은 가깝고, 다른 샘플은 멀리 배치됩니다.

대조 학습은 쌍 간의 거리 차이를 기반으로 손실을 계산하는 반면, 트리플릿 손실은 각 거리 자체를 기반으로 손실을 계산합니다.

SimCLR은 양성 쌍 (i, j)에 대해 두 샘플의 유사성을 측정하는 손실 함수를 사용합니다. 즉, 유사한 샘플은 높은 점수를, 다른 샘플은 낮은 점수를 받도록 합니다.

CLIP은 VirTex에서 제안된 목적 함수를 사용하여 훈련되었습니다.

CLIP은 이미지와 텍스트 간의 유사성을 측정하는 지표 학습을 통해 훈련되었습니다.

VL BERT, ViLBERT, ConVIRT, VirTex 등 다양한 언어-비전 사전 학습 모델이 존재합니다.

웹 크롤링을 통해 수집한 데이터는 종종 잡음이 많습니다. 이러한 잡음 데이터를 해결하기 위해 BLIP에서는 Captioning and Filtering (CapFilt) 접근 방식을 도입했습니다. CapFilt는 잡음을 제거하고 이미지와 텍스트의 정렬을 개선하는 데 도움이 됩니다.

BLIP은 Multimodal Mixture of Encoder-Decoder (MED)라는 아키텍처를 사용하여 이미지-텍스트 생성 및 검색을 효과적으로 수행합니다. MED는 인코더와 디코더 모두 이해와 생성 작업을 처리하여 기존 모델보다 유연하고 성능이 뛰어납니다.

BLIP의 MED는 이미지와 텍스트를 모두 처리할 수 있는 통합된 인코더-디코더 구조입니다. 인코더는 이미지와 텍스트를 입력받아 통합된 표현을 생성하며, 디코더는 인코더의 표현을 사용하여 이미지-텍스트 생성 또는 검색 작업을 수행합니다. 이는 인코더는 이미지만 이해하고 디코더는 텍스트만 생성하는 기존 모델과 차별화됩니다.

BLIP의 MED는 ViT (Vision Transformer)와 BERT (Bidirectional Encoder Representations from Transformers)를 결합하여 이미지와 텍스트를 모두 처리할 수 있는 강력한 언어-비전 모델을 구축합니다. ViT는 이미지 정보를 처리하고, BERT는 텍스트 정보를 처리하여 이미지와 텍스트를 통합적으로 이해합니다.

BLIP의 MED는 이미지와 텍스트 사이의 상호 작용을 통해 더욱 정확한 정보를 추출합니다. 이미지-기반 텍스트 인코더는 이미지 정보를 이용하여 텍스트를 더 잘 이해하고, 이미지-기반 텍스트 디코더는 텍스트 정보를 이용하여 이미지를 더 잘 이해할 수 있습니다.

BLIP의 MED는 이미지 정보를 사용하여 텍스트 생성을 개선합니다. 이미지 정보는 디코더에 제공되어 텍스트 생성 과정에 영향을 미치고, 더욱 정확하고 시각적으로 풍부한 텍스트를 생성할 수 있습니다.

BLIP은 사전 훈련된 언어-비전 모델입니다. 사전 훈련을 통해 BLIP은 다양한 언어-비전 작업에 적용될 수 있습니다. 예를 들어 이미지 자막 생성, 이미지 캡션 이해, 이미지 검색 등의 작업을 수행할 수 있습니다.

사전 훈련 목표는 모델이 다양한 작업을 수행할 수 있도록 미리 훈련하는 것입니다. 사전 훈련을 통해 모델은 다양한 이미지와 텍스트 데이터를 학습하고, 다양한 작업에 적용 가능한 일반적인 표현을 학습합니다.