IoT Filtering and Aggregation Techniques Quiz

Analiza, Prelucrarea și Curățarea Datelor IoT (Cursul 6)

• Prezentarea generală a analizei, prelucrării și curățării datelor IoT
• Cuprins: Instrumente și tehnologii, Filtrare, Normalizare și Agregare în IoT, Identificarea și gestionarea datelor lipsă, Eliminarea anomaliilor și detectarea zgomotului, Validarea datelor, Modele ARIMA, LSTM.

Instrumente și Tehnologii

• Se prezintă Apache Kafka, o platformă pentru transportul fluxurilor de date masive
• Kafka este similară cu un serviciu de curierat, gestionând transportul datelor de la un punct la altul în timp real
• Funcționalități cheie: Procesare în timp real, Scalabilitate, Durabilitate, si gestionarea căderilor de sistem
• Componente: Producer, Broker (gestionează mesajele), Topic (clasificarea mesajelor), Partition (împărțirea topic-urilor), Consumer (extrage mesajele), Zookeeper (supraveghează brokerii)

Apache Spark

• Este un motor de analiză de date open-source, destinat pentru procesarea datelor la scară largă
• Oferă o interfață pentru programarea clusterelor prin mecanisme de analiză paralelă
• Funcționalități: Performanță ridicată, Procesare în memorie/pe disc, Procesare unificată, Diferite tipuri de sarcini (batch, streaming, SQL, machine learning, grafuri), API-uri prietenoase pentru limbaje populare (Python, Java, Scala, R) și Compatibilitate cu ecosistemul Hadoop (stocare durabilă)
• Componente: Spark Core, Spark SQL, Spark Streaming, MLlib, GraphX

Integrarea Kafka - Spark

• Funcționalitatea de integrare permite citirea și procesarea datelor din Kafka folosind Spark Streaming pentru procesarea datelor în timp real.
• Kafka ca sursă de date: Spark citește datele din topicuri
• Procesarea în Spark: Transformări, filtrare și analiză
• Kafka ca destinație: Rezultatele procesării scrise înapoi în Kafka
• Exemple de integrare: HDFS, baze de date, sisteme cloud

Exemple de utilizare a Kafka+Spark

• Monitorizarea IoT pentru alarme și analize predictive
• Detectarea fraudelor utilizând machine learning
• Sisteme de recomandare personalizate în timp real

Apache Flink

• O platformă open-source pentru procesarea datelor distribuite și în timp real
• Permite analiza continuă cu latență mică și suportă și procesarea în regim batch
• Recunoscut pentru: Scalabilitate ridicată, Toleranță la erori și Flexibilitate în procesarea datelor
• Componente: JobManager (coordonează sarcinile în cluster), TaskManager (execută sarcinile), Backend pentru stocarea stării aplicației (de ex. RocksDB), Checkpointing (creează puncte de salvare), Event Time vs. Processing Time (procesare în funcție de timestamp real sau de timp de procesare)

Apache Flink vs Apache Spark

• Compararea pe criterii cum ar fi: Procesare în flux/batch și integrarea externă (ex. API-uri)

Filtrare în IoT

• Este procesul de selectare a informațiilor relevante dintr-un flux mare de date, eliminând zgomotul și datele neimportante.
• Obiective: Reducerea volumului de date, Excluderea datelor redundante, Creșterea eficienței sistemului
• Implementare: Nivelul senzorilor, Gateway-uri, Procesare (după colectare)
• Tipuri de filtrare: Bazată pe praguri, Temporală, Spațială, Bazată pe evenimente

Normalizarea datelor în IoT

• Implică standardizarea datelor pentru compatibilitate independent de sursa și formatul inițial
• Obiective: Reprezentare consistentă a datelor, Facilitare integrare/procesare, Asigurare interoperabilitate
• Implementare: La nivel de senzor, gateway, cloud

Agregarea datelor în IoT

• Procesul de grupare, combinare sau sumarizare a datelor brute pentru extragerea informațiilor utile
• Obiective: Reducerea încărcării rețelei, Crearea rapoartelor concise, Identificarea tendințelor în date
• Tipuri: Temporală (pe intervale de timp), Spațială (pe bază de locație), Statistică (bazată pe funcții statistice), Evenimentuală (bazată pe evenimente specifice)
• Implementare: Edge Aggregation, Cloud Aggregation, Hierarchical Aggregation

Resampling în IoT

• Modificarea frecvenței datelor pentru a se potrivi cu cerințelor de procesare sau analiză (reducerea sau creșterea numărului de puncte de date)
• Tipuri: Downsampling (reducerea frecvenţei), Upsampling (creșterea frecvenţei), Agregare temporală, Interpolare

Reconfigurarea fluxurilor de date în IoT

• Modificarea structurii, direcției sau conținutului fluxurilor pentru a se ajusta cerințelor de rețea/aplicații
• Motive: Integrare date din surse multiple, Optimizarea resurselor, Adaptare la schimbări infrastructură IoT, Gestionarea erorilor/latențelor
• Tipuri: Redistribuire, Fusionare, Separare, Reordonare, Transformare Format

Identificarea și Gestionarea datelor lipsă

• Cauze frecvente: Defecțiuni hardware, Probleme de conectivitate, Erori de transmisie, Deficienţe software, Factori externi
• Validare în timp real: Comparare cu limitele acceptabile sau modele referință
• Detectare goluri temporale: Monitorizare frecvență transmitere
• Analiza statistică: Identificarea valorilor aberante
• Monitorizare erori transmisie: Verificare rapoarte transmisie
• Gestionare: Imputare (interpolare liniară, bazate pe medii, predictive), Procesare la margine, Măsuri de redundanță, Stocare tampon, Îmbunătățiri arhitectură/notificări, Excludere

Algoritmi ML utilizați pentru imputarea datelor

• Modele avansate: Random Forest, Gradient Boosting
• Modele Deep Learning: Rețele neuronale dense sau convoluționale, Rețele neuronale recurente (RNN) sau LSTM

Random Forest

• Clasificator care conține mai mulți arbori de decizie pe subseturi ale datelor
• Media predictiilor pentru îmbunătățirea acurateții

Gradient Boosting

• Tehnică ML care construiește un ansamblu de modele slabe pentru a forma un model puternic
• Antrenare iterativă pentru a corecta greșelile modelului anterior

ARIMA (AutoRegressive Integrated Moving Average)

• Model statistic pentru prognoza seriilor temporale, potrivit pentru datele care prezintă o dependență în timp

LSTM (Long Short-Term Memory)

• Un tip de RNN, potrivit pentru fluxuri de date complexe și neregulate
• Aplicatii in IoT: Prelucrarea datelor, Predictie, Detectarea anomaliilor

Filtre digitale

• Filtru mediu mobil (Moving Average)
• Filtru median
• Filtru Kalman
• Transformata Wavelet

Detectare și eliminare anomalii

• Metode statistice: Analiza deviației standard, Interquartile Range (IQR)
• Metode bazate pe învăţare automată: Clustering (K-means, DBScan), Regresia robustă, Isolation Forest, One-Class SVM, Autoencoders
• Metode bazate pe seriile temporale: Analiza sezonieră