TF-IDF dalam NLP

• Representasi teks penting dalam pemrosesan bahasa alami (NLP), memungkinkan mesin memahami dan memproses data tekstual.

TF-IDF (Term Frequency-Inverse Document Frequency)

• TF-IDF adalah teknik yang banyak digunakan untuk mengubah dokumen teks menjadi vektor numerik.
• Ini mencerminkan pentingnya sebuah kata dalam sebuah dokumen relatif terhadap kumpulan dokumen (korpus).
• Term Frequency (TF) mengukur seberapa sering sebuah istilah muncul dalam sebuah dokumen.
• Inverse Document Frequency (IDF) mengukur seberapa penting sebuah istilah di seluruh korpus.
• TF-IDF dihitung sebagai hasil perkalian TF dan IDF: TF-IDF = TF * IDF.
• Skor TF-IDF yang tinggi menunjukkan bahwa suatu istilah sering muncul dalam dokumen tertentu tetapi jarang di seluruh korpus, sehingga menyoroti kepentingannya.
• TF-IDF mudah diimplementasikan dan efisien secara komputasi.
• Ini menderita dari pendekatan bag-of-words, mengabaikan urutan kata dan konteks.
• TF-IDF cenderung mendukung dokumen yang lebih panjang karena frekuensi istilah.
• Ini tidak menangkap hubungan semantik antar kata.

Word2Vec

• Word2Vec adalah sekelompok model yang digunakan untuk menghasilkan penyematan kata.
• Penyematan kata memetakan kata ke vektor bilangan real dalam ruang berdimensi tinggi.
• Vektor-vektor ini menangkap hubungan semantik dan sintaksis antar kata.
• Word2Vec terdiri dari dua arsitektur utama: Continuous Bag-of-Words (CBOW) dan Skip-Gram.
• CBOW memprediksi kata target yang diberikan kata-kata konteks di sekitarnya.
• Skip-Gram memprediksi kata-kata konteks di sekitarnya yang diberikan kata target.
• Model Word2Vec dilatih menggunakan jaringan saraf.
• Vektor kata yang dihasilkan dapat digunakan dalam berbagai tugas NLP, seperti klasifikasi teks, analisis sentimen, dan terjemahan mesin.
• Word2Vec menangkap hubungan semantik, seperti analogi (misalnya, "raja - pria + wanita = ratu").
• Ini intensif secara komputasi, terutama untuk kosakata dan dataset yang besar.
• Word2Vec tidak menangani kata-kata di luar kosakata (OOV).
• Ini mungkin tidak menangkap nuansa kata-kata langka.

FastText

• FastText adalah ekstensi dari Word2Vec yang dikembangkan oleh Facebook.
• Ini merepresentasikan kata-kata sebagai jumlah n-gram karakternya.
• Pendekatan ini memungkinkan FastText untuk menangani kata-kata OOV dengan memecahnya menjadi n-gram karakter.
• FastText dapat menghasilkan penyematan kata untuk kata-kata yang tidak terlihat berdasarkan n-gram karakternya.
• Ini mendukung arsitektur CBOW dan Skip-Gram, mirip dengan Word2Vec.
• FastText efisien secara komputasi dan dapat dilatih pada dataset yang besar.
• Ini bekerja dengan baik dalam tugas-tugas yang melibatkan bahasa yang kaya morfologi karena representasi n-gram karakter.
• FastText menangkap informasi subkata, membuatnya kuat terhadap kesalahan ejaan dan variasi morfologi.
• Ini mungkin tidak menangkap hubungan semantik tingkat tinggi seefektif beberapa model lainnya.

BERT (Bidirectional Encoder Representations from Transformers)

• BERT adalah model berbasis transformer.
• Ini dirancang untuk melakukan pra-pelatihan representasi bidireksional yang mendalam dari teks yang tidak berlabel.
• BERT menggunakan tujuan masked language model (MLM), di mana beberapa kata dalam input ditutupi. Model dilatih untuk memprediksi kata-kata yang ditutupi ini, memungkinkannya untuk memahami konteks secara bidireksional.
• Ini juga menggunakan tujuan next sentence prediction (NSP), di mana model memprediksi apakah dua kalimat yang diberikan berurutan.
• BERT dapat disesuaikan untuk berbagai tugas NLP, seperti menjawab pertanyaan, klasifikasi teks, dan pengenalan entitas bernama.
• BERT menangkap informasi kontekstual secara efektif karena sifat bidireksionalnya.
• Ini membutuhkan sumber daya komputasi yang signifikan untuk pra-pelatihan dan penyetelan halus.
• BERT mungkin tidak cocok untuk bahasa atau domain dengan sumber daya rendah karena ketergantungannya pada data pra-pelatihan skala besar.
• Ini sensitif terhadap kualitas dan keterwakilan data pra-pelatihan.

Analisis Perbandingan Penyematan

• TF-IDF sederhana dan efisien tetapi kekurangan pemahaman semantik.
• Word2Vec menangkap hubungan semantik tetapi kesulitan dengan kata-kata OOV.
• FastText mengatasi masalah OOV dengan menggunakan n-gram karakter.
• BERT memberikan pemahaman kontekstual yang mendalam tetapi intensif secara komputasi.
• Pilihan teknik representasi teks tergantung pada tugas NLP tertentu, ukuran dataset, sumber daya komputasi, dan persyaratan kinerja.
• TF-IDF cocok untuk tugas di mana kesederhanaan dan kecepatan sangat penting.
• Word2Vec dan FastText sesuai ketika hubungan semantik dan penanganan kata-kata OOV penting.
• BERT lebih disukai untuk tugas-tugas yang membutuhkan akurasi tinggi dan pemahaman kontekstual yang mendalam, asalkan sumber daya komputasi yang memadai tersedia.
• Pendekatan hibrid, menggabungkan beberapa teknik, juga dapat digunakan untuk memanfaatkan kekuatan representasi yang berbeda.
• Model yang telah dilatih sebelumnya seperti BERT sering kali memberikan titik awal yang kuat untuk berbagai tugas NLP, mengurangi kebutuhan pelatihan ekstensif dari awal.
• Metrik evaluasi seperti akurasi, presisi, recall, skor F1, dan BLEU digunakan untuk membandingkan kinerja teknik representasi teks yang berbeda pada tugas-tugas tertentu.
• Interpretasi penyematan juga bervariasi di antara teknik yang berbeda. TF-IDF dan Word2Vec umumnya lebih mudah diinterpretasikan daripada BERT karena arsitekturnya yang lebih sederhana.