Word2vec v NLP

Word2vec a jeho funkce

• Word2vec je technika v přirozeném zpracování jazyka pro získávání vektorových reprezentací slov.
• Vektory odrážejí význam slova na základě okolních slov.
• Algoritmus odhaduje reprezentace modelováním textu ve velkém korpusu.
• Umožňuje detekci synonymních slov a návrhy dalších slov pro neúplné věty.
• Vyvinuli Tomáš Mikolov a jeho kolegové ve společnosti Google, publikováno v roce 2013.

Architektura a modely

• Word2vec reprezentuje slovo jako vektor čísel ve vysoké dimenzi, který zachycuje vztahy mezi slovy.
• Slova, která se objevují v podobných kontextech, jsou přiřazena k vektorům, které jsou blízko sebe, měřeno kosinovou podobností.
• Modely jsou mělké, dvouvrstvé neuronové sítě trénované k rekonstrukci jazykových kontextů slov.

Architektury CBOW a skip-gram

• Word2vec má dvě architektury: Continuous Bag-Of-Words (CBOW) a skipping-gram.
• CBOW funguje jako úkol "doplnění", kde embedding slova ovlivňuje pravděpodobnosti ostatních slov v kontextovém okně.
• Architektura skip-gram používá aktuální slovo k predikci okolních kontextových slov, přičemž klade větší váhu na blízká slova.
• CBOW je rychlejší, zatímco skip-gram lépe pracuje pro méně častá slova.

Členění a tréninkový cíl

• Po tréninku jsou slova vektorově umístěna tak, aby slova se společnými kontexty byla blízko sebe.
• Dissimilarita mezi slovy se odráží v jejich vzdálenosti ve vektorovém prostoru.
• Hlavním cílem je maximalizovat pravděpodobnost pro korpus pomocí sousedních slov pro predikci.

Sousední slova a predikční model

• Uvažováno je každé slovo v korpusu predikované každým dalším slovem v malém rozpětí, např. 4 slova.
• Tréninkový cíl maximalizuje celkovou pravděpodobnost korpusu viděnou modelem, který využívá sousední slova k predikci.