Bag of Words Analysis in Natural Language Processing

Tokenization = Dela upp texten i mindre enheter som ord eller ordstammar. Rengöring och normalisering = Rena texten från onödiga tecken, ta bort stoppord och normalisera ord. Skapa ordlistan för Corpus = Skapa en lista med alla unika ord i hela corpuset och deras frekvens. Dokument som vektorer = Representera dokumentets ord som en vektor för att skapa term document matrix.

Name-entity = Exempelvis behandla 'Uppsala Universitet' som ett ord. Stemming = Att hantera ändelser av ord för normalisering. Viktning av ord med TF-IDF = Använda TF-IDF för att ge vikt åt orden baserat på deras frekvens i dokument och corpus. CRISP-DM 1. Business understanding = Förstå behov och mål för datautvinningsprojektet.

Vad vill vi göra? = Business understanding Vilken data & varför? = Data Understanding Vad är det man vill veta? = Business understanding Vilken tidpunkt på året är försäljningen vanligtvis högst? = Business understanding

<p>Data Preparation = Rengöra och förbereda data innan analys Modeling = Utveckla modeller och algoritmer baserade på förberedd data Evaluation = Utvärdera prestanda och noggrannhet hos modellen Deployment = Bestämma strategi för spridning och uppdatering av modellen</p> Signup and view all the answers

<p>Datarengöring = Ta bort missing values, errors, outliers, brus och felaktig data Dataintegration = Sammanfoga data från olika källor till en enhetlig databas Dataomvandling = Omvandla data från ostrukturerat till strukturerat format Modelleringsteknik = Utveckla modeller och algoritmer baserade på förberedd data</p> Signup and view all the answers

<p>Jämföra förutsägelser med verkliga värden = Utvärdera hur väl modellen förutsäger resultat Identifiera modellens styrkor och svagheter = Förstå vad modellen är bra och mindre bra på Analysera datan för påverkande faktorer = Undersöka om något i datan har påverkat resultatet Utvärdera prestanda och noggrannhet hos modellen = Säkerställa att modellen är användbar</p> Signup and view all the answers

<p>Planering (Planning) = Fastställa mål och strategier för att uppnå önskad prestation Genomförande (Execution) = Implementera strategier och åtgärder för att uppnå uppsatta mål Utvärdering (Monitoring) = Samla in data och övervaka utförda aktiviteter Anpassning (Adjustment) = Göra nödvändiga anpassningar baserat på utvärderad prestation</p> Signup and view all the answers