IoT și Tehnici de Procesare a Datelor

Analiza, Prelucrarea și Curățarea Datelor IoT (Cursul 6)

• Acest curs se concentrează pe analiza, prelucrarea și curățarea datelor provenite de la Internet of Things (IoT).

Cuprins

• Instrumente şi tehnologii
• Filtrare, Normalizare şi Agregare în IoT
• Identificarea şi gestionarea datelor lipsă
• Eliminarea anomaliilor şi detectarea zgomotului
• Validarea datelor
• Modele ARIMA, LSTM

Instrumente şi tehnologii (detalii slide 3)

• Apache Kafka

Apache Kafka (detalii slide 4)

• Similar cu un serviciu de curierat
• Platforma pentru transportul unor fluxuri masive de date
• Gestionează transportul şi livrarea datelor la destinație, garantând integritate şi punctualitate.
• Caracteristici:
  • Procesare în timp real (poate gestiona milioane de surse)
  • Scalabilă
  • Durabilă (garantează stocarea sigură, chiar şi în caz de erori ale sistemului)

Kafka - Componente (detalii slide 5)

• Producer: Creează şi trimite mesaje.
• Broker: Primeşte mesaje de la producători, le stochează şi le livrează la cerere.
• Topic: Clasificarea mesajelor.
• Partition: Modalități de grupări ale mesajelor (ex: pe bază de dată/lună/an).
• Consumer: Extrage mesaje din mediul de stocare.
• Zookeeper: Supraveghează brokerii şi asigură funcţionarea corespunzătoare a sistemului.

Apache Spark (detalii slide 6)

• Motor de analiză open source
• Destinat procesării datelor la scară largă
• Oferă interfaţă pentru programarea clusterelor, cu mecanisme de analiză paralelă
• Caracteristici
  • Performanţă ridicată (motor de procesare în memorie)
  • Procesare unificată (batch, streaming, SQL, machine learning, grafuri)
  • API compatibile cu limbaje populare (Python, Java, Scala, R)
  • Compatibil cu ecosistemul Hadoop (stocări durabile)

Apache Spark - Componente (detalii slide 7)

• Spark Core
• Spark SQL (interogări SQL pentru date structurate)
• Spark Streaming (procesare flux continuu în timp real)
• MLlib (bibliotecă de machine learning)
• GraphX (procesare şi analiză de grafuri)

Apache Kafka + Apache Spark (detalii slide 8)

• Integrare robustă pentru aplicații de procesare în flux
• Standard în aplicații Big Data moderne
• Citirea şi procesarea datelor din Kafka cu Spark Streaming pentru rezultate în timp real.

Exemple de utilizare Kafka + Spark (detalii slide 9)

• Monitorizarea IoT (senzori, alarme)
• Detectarea fraudelor (tranzacții)
• Sisteme de recomandări (comportamentul utilizatorilor)

Apache Flink (detalii slide 10)

• Platforma open-source pentru procesarea datelor distribuite în timp real
• Procesare în regim batch şi stream processing
• Recunoscut pentru:
  • Scalabilitate ridicată
  • Toleranţă la erori
  • Flexibilitate

Apache Flink - Componente (detalii slide 11)

• JobManager
• TaskManager
• State Backend
• Checkpointing
• Event Time vs Processing Time

Apache Flink vs Apache Spark (detalii slide 12, 13)

• Comparaţie între Flink şi Spark - aspect stream, batch şi performanţă generală

Filtrare, Normalizare și Agregare în IoT (detalii slide 14)

• Selectarea informaţiilor relevante dintr-un flux mare de date
• Eliminarea zgomotului şi datelor neimportante
• Obiective ale filtrării:
  • Reducerea volumului datelor transmise/procesate
  • Eliminarea datelor redundante/incomplete/eronate
  • Creșterea eficienţei sistemului şi a preciziei analizei.
• Implementarea filtrării:
  • La nivel de sensor (filtrare directă la sursă)
  • La nivel de gateway IoT
  • La nivel procesare (după colectare)

Tipuri de filtrare (detalii slide 16)

• Filtrare bazată pe praguri (ex: temperaturi sub zero grade)
• Filtrare temporală (ex: date trimise la intervale regulate, sau la schimbări)
• Filtrare spaţială (ex: date relevante din anumite zone geografice)
• Filtrare bazată pe evenimente (ex: date trimise doar în caz de evenimente speciale)

Normalizarea în IoT (detalii slide 17)

• Standardizarea datelor pentru compatibilitate şi comparaţie
• Menţinerea consistenţei datelor
• Uşurarea interoperabilităţii intre dispozitive diverse
• Implementare:
  • La margine (Edge)
  • În cloud
• Tehnici uzuale: conversii de unităţi, scalarea valorilor, conversii în formate comune.

Tehnici de normalizare comune (detalii slide 18)

• Conversie unităţi de măsură (exemplu: livre la kilograme)
• Scalare valori într-un interval standard (ex: [0, 10])
• Conversie la formate comune (ex: JSON, CSV)

Agregarea în IoT (detalii slide 19)

• Gruparea, combinarea şi summarizarea datelor brute pentru extragerea informațiilor utile.
• Obiective:
  • Reducerea volumului datelor transmise/procesate
  • Crearea unor rapoarte concise şi semnificative
  • Identificarea de tendințe sau modele din date
• Tipuri de agregare:
  • Agregare temporală (ex: media temperaturilor într-o oră)
  • Agregare spațială (ex: media calității aerului într-o zonă geografică)
  • Agregare statistică (ex: media, minim, maxim, deviație standard)
  • Agregare evenimentuală (ex: numărul alarmelor în timp)
• Implementare: Edge Aggregation, Cloud Aggregation, Hierarchical Aggregation

Resampling în IoT (detalii slide 22)

• Modificarea frecvenţei datelor unui flux pentru a se potrivi nevoilor procesării/analizei
• Poate implica re-grupări sau agregări temporale (ex: medie pe minute vs valori pe secundă).
• Tipuri de resampling:
  • Downsampling
  • Upsampling
  • Agregare temporală
  • Interpolare

Reconfigurarea fluxurilor în IoT (detalii slide 24)

• Modificările asupra structurii, direcţiei şi conţinutului datelor pentru o mai bună funcțiobnare.
• Motive pentru reconfigurare:
  • Integrarea datelor din mai multe surse
  • Optimizarea resurselor de reţea
  • Adaptarea la evoluțiile infrastructurii IoT
  • Gestionarea erorilor şi latenţelor
• Tipuri de reconfigurare:
  • Redistribuirea datelor
  • Fusionarea fluxurilor
  • Separarea fluxurilor
  • Reordonarea datelor
  • Transformarea formatelor

Identificarea şi gestionarea datelor lipsă (detalii slide 26, 27, 28, 29, 30, 31)

• Cauze frecvente: Defecţiuni hardware, probleme de conectivitate, erori software, factori externi.
• Identificarea datelor lipsă:
  • Validarea în timp real (ex: compararea cu limite acceptabile/modele existente)
  • Detectarea golurilor temporale
  • Analiză statistică (outliers)
  • Monitorizarea erorilor de transmisie
• Gestionarea datelor lipsă:
  • Imputare prin interpolare liniară sau bazată pe medii
  • Modele predictive (machine-learning)
  • Metode avansate (ex: ARIMA, Kalman filters)
  • Procesare la margine (Edge computing), măsuri de redundanţă, stocare tampon.
  • Optimizarea arhitecturii reţelei şi notificarea operatorilor.
• Exemple (detalii slide 32)
  • Sanatate
  • Agricultura
  • Industrie

Algoritmi ML pentru imputări (detalii slide 34)

• Random Forest
• Gradient Boosting
• Rețele Neuronale (RNN, LSTM)

Algoritmi ML (detalii slide 35, 36)

• Explicarea Random Forest
• Explicarea Gradient Boosting

Eliminarea anomaliilor şi detectarea zgomotului (detalii slide 38, 39, 40, 41, 42, 43, 44)

• Anomalii (Outliers)
• Zgomot (Noise)
• Filtre digitale:
  • Filtru mediu mobil (Moving Average)
  • Filtru median
  • Filtru Kalman
  • Transformarea Wavelet
• Algoritmi ML:
  • Rețele neurale convoluționale(CNN)
  • Rețele autoencoder
  • PCA, t-SNE
• Metode statistice
  • Analiza deviaţiei standard
  • Interquartile Range(IQR)
• Metode bazate pe învăţare automată (clustering, regresie, Isolation Forest, One-Class SVM, Autoencoders).

Filtru mediu mobil (Moving Average) (detalii slide 45)

• Netezire a datelor
• Calcularea mediei valorilor într-o fereastră glisantă
• Tipuri: mediu mobil simplu, mediu mobil ponderat
• Avantajele simpleţții
• Dezavantaje: răspuns lent la modificări bruste

Filtrul median (detalii slide 46)

• Elimină valorile extreme.
• Calculează mediana valorilor din fereastra curentă.
• Avantaj: rezistenţă la valori extreme
• Dezavantaj: răspuns lent la modificări uniforme

Filtrul Kalman (detalii slide 47)

• Algoritm recursiv pentruo predicţie starea sistemului pe baza unui model matematic şi a datelor observate.
• 2 pași: predicție, actualizare (reduce incertitudinea)
• Avantaj: bun la reducerea zgomotului şi a datelor neimportante
• Dezavantaj: necesita cunoașterea modelului sistemului

Transformata Wavelet (detalii slide 48)

• Dezcompoziție semnal (diferite frecvențe)
• Eliminare zgomot separând semnalul de zgomot
• Rezoluţie reglabilă
• Rezistentă la zgomot
• Aplicabilitate în multe zone

LSTM (Long Short-Term Memory; detalii slide 49, 50, 51)

• Tip de rețea neuronală recurentă
• Învaţă dependenţe pe termen lung în date secvenţiale
• Aplicabilitate în gestionarea fluxurilor de date complexe, aplicațiile IoT.
• Celule LSTM:
  • Cell State (stocarea informațiilor pe term lung)
  • Gates (control flux informație/uitare)
• Exemple utilizare: prelucrare date IoT, predicţii, detectare anomalii.

Alte subiecte

• Managementul dispozitivelor IoT:
  • Onboarding
  • Configurarea
  • Control
  • Monitorizare
  • Securitate
  • Decomisionare
• Platforme/instrumente
  • AWS IoT Core, Google Cloud IoT Core, Microsoft Azure IoT Hub
  • ThingsBoard, Particle IoT, Balena IoT
• Platforme securitate IoT:
  • Armis Security, Forescout