NLP 분야 2020 핫한 키워드 TOP 10과 GPT-3 언어 모델 중요성 테스트 퀴즈

NLP.contribution

• GPT-3은 NLP 분야에서 큰 기여를 하였는데, 특히 언어 모델링, 텍스트 분류, 명명 Entity recognition 등 다양한 태스크에서 SOTA을 달성하였다.

Prompt-tuning

• Prompt-tuning은 언어 모델에 대한 새로운 fine-tuning 방법으로, 특정 태스크에 대한 프롬프트를 입력하여 모델을 fine-tune하는 기법이다.
• 이 기법을 사용하면, 언어 모델이 특정 태스크에專門화되어 더 좋은 성능을 내는 것을 확인할 수 있다.

FLAN and GPT-3

• FLAN(Fine-tuned Language Net)은 GPT-3의 개량 모델로, 추가적인 fine-tuning 방법을 통하여 모델의 성능을 높였다.
• GPT-3과 FLAN의 차이점은, FLAN이 더 많은 데이터에 대한 추가 훈련을 진행한 것에 있다.
• この 차이점으로, FLAN은 GPT-3보다 더 좋은 성능을 보여주는 것을 확인할 수 있다.