Monitorizarea Dispozitivelor IoT

Analiza, Prelucrarea și Curățarea Datelor IoT (Cursul 6)

• Scopul cursului este de a studia analiza, prelucrarea și curățarea datelor generate de dispozitivele IoT.
• Cursul acoperă instrumente și tehnologii utilizate, filtrarea, normalizarea și agregarea datelor IoT, identificarea și gestionarea datelor lipsă, eliminarea anomaliilor și detectarea zgomotului și validarea datelor.
• Sunt prezentate și modele ARIMA și LSTM.

Instrumente și tehnologii

• Instrumentele și tehnologiile cheie pentru prelucrarea datelor IoT sunt prezentate și discutate în detaliu.
• Una dintre soluțiile mentionate este Apache Kafka.

Apache Kafka

• Similar cu un serviciu de curierat, Kafka este o platformă care facilitează transportul de fluxuri mari de date între puncte diferite.
• Gestionează transportul datelor, asigurându-se că acestea sunt livrate intacte și la timp.
• Caracteristici:
  • Procesare în timp real (real-time) - procesează milioane de surse de date în timp real.
  • Scalabilitate - capabil să gestioneze un număr mare de surse de date.
  • Durabilitate - asigură că datele sunt stocate într-o manieră sigură și gestionează defecțiunile sistemului.

Kafka - componente

• Producer - creează și trimite mesaje.
• Broker - primește mesaje de la producători și le stochează până sunt necesare.
• Topic - clasifică mesajele.
• Partiție - împarte un topic (exemplu, pe bază de dată/lună/an).
• Consumer - extrage mesajele stocate.
• Zookeeper - supraveghează brokerii.

Apache Spark

• Un motor de analiză de date open-source destinat procesării datelor la scară largă.
• Oferă o interfață pentru programarea clusterelor, inclusiv mecanisme de analiză paralelă.
• Caracteristici:
  • Performanță ridicată - foloseste procesare în memorie.
  • Procesare unificată - permite diverse sarcini (batch, streaming, SQL, machine learning).
  • Compatibilitate - compatibil cu ecosistemul Hadoop pentru stocare durabilă.
  • API-uri prietenoase pentru limbaje precum Python, Java, Scala și R.

Apache Spark - componente

• Spark Core: gestionează procesarea distribuită, comunicarea cu clusterele și manipularea datelor.
• Spark SQL: permite interogarea datelor folosind tehnici SQL.
• Spark Streaming: procesează datele în flux (streaming) aproape în timp real.
• MLlib: bibliotecă pentru machine learning (clasificare, regresie, clustering).
• GraphX: bibliotecă pentru procesarea și analiza grafurilor.

Apache Kafka + Apache Spark

• O soluție robustă pentru aplicații de procesare în flux (stream processing).
• Integrarea Kafka - Spark permite citirea și procesarea datelor din Kafka folosind Spark Streaming.

Exemple de utilizare AWS IoT Core

• Monitorizarea dispozitivelor IoT - procesarea datelor de la senzori in timp real.
• Detectarea fraudelor - monitorizarea tranzacțiilor utilizând machine learning.
• Sisteme de recomandare - generarea de recomandări personalizate in timp real.

Apache Flink

• Platformă open-source pentru procesarea datelor distribuite în timp real.
• Suportă analiza continuă cu latență mică și procesarea în regim batch.
• Caracteristici:
  • Scăderea latenței
  • Scalabilitate
  • Toleranță la erori.
  • Flexibilitate in procesarea datelor.

Apache Flink - componente

• JobManager: coordonează execuția sarcinilor în cluster.
• TaskManager: execută sarcinile, gestionează resursele și checkpoint-urile.
• State Backend: stochează starea aplicației.
• Checkpointing: creează puncte de salvare.

Apache Flink vs Apache Spark

• Procesare în flux: Apache Flink este optimizat pentru stream processing, iar Apache Spark folosește micro-batch.
• Procesare Batch: Apache Spark este considerat lider în procesarea batch.

Filtrarea în IoT

• Procesul de selecție a informațiilor relevante dintr-un flux de date mare.
• Obiective: reducerea volumului de date, excluderea datelor incorecte sau eronate, creșterea eficienței sistemului.
• Implementare: la nivel de senzor, gateway IoT sau la locul de procesare.

Tipuri de filtrare

• Bazată pe praguri (Threshold-based Filtering) - exclude date care nu respectă anumite limite. (ex: temperatura sub 0°C).
• Temporală - trimite date doar la intervale specifice de timp. (ex: datele despre vânt la fiecare 20 de minute).
• Spațială - selectează date relevante doar din anumite regiuni. (exemplu: senzori activi într-o anumită zonă).
• Bazată pe evenimente (Event-based Filtering) - date transmise doar în cazul unor evenimente specifice. (ex: trimise cand vibrațiile depășesc o limită).

Normalizarea în IoT

• Standardizarea datelor pentru a le face compatibile între surse diferite.
• Obiective: obținerea unor date consistente, facilitarea integrării între surse diverse, asigurarea interoperabilității între diverse dispozitive IoT.

Tehnici comune de normalizare

• Conversia unităților de măsură (ex: livre în kilograme).
• Scalarea valorilor (scalarea într-un interval standard).
• Convertirea la formate comune pentru date neuniforme.

Agregarea în IoT

• Procesul de grupare, combinare sau sumarizare a datelor brute pentru extragerea de informații utile.
• Obiective: reducerea încărcării reţelei, crearea de rapoarte concise, identificarea de tendințe sau modele.
• Tipuri de agregare: temporală, spațială, statistică, evenimentuală. (Exemplu: media temperaturilor din oră, sau numărul de alarme de gaz într-un interval de timp.)

Implementarea agregării

• Edge Aggregation - agregare pe dispozitive IoT sau gateway-uri pentru reducerea volumului de date transmise.
• Cloud Aggregation - agregare pe sisteme cloud pentru analize complexe pe seturi mari de date.
• Hierarchical Aggregation - utilizarea mai multor nivele de agregare (de la senzori la gateway-uri, apoi la cloud).

Resampling în IoT

• Modificarea frecvenței datelor pentru a se potrivi nevoilor de procesare sau analiză.
• Poate însemna reducerea sau creșterea de puncte de date într-un interval de timp.
• Tipuri: downsampling (reducerea frecvenței), upsampling (creșterea frecvenței), agregare temporală, interpolare.

Reconfigurarea fluxurilor de date în IoT

• Modificarea structurii, direcției sau conținutului fluxurilor de date pentru a satisface cerințele aplicațiilor sau utilizatorilor.

Identificarea și gestionarea datelor lipsă

• Cauze frecvente: defecțiuni hardware, probleme de conectivitate, erori de transmisie, deficiențe software.
• Factori externi: condiții meteorologice, interferențe electromagnetice.

Gestionarea datelor lipsă

• Imputare: tehnică pentru estimarea valorilor lipsă.
• Interpolare liniară, metode bazate pe medii, modele predicitive (ex: regresii, rețele neuronale).
• Tehnicile avansate includ: ARIMA, Kalman filters.
• Procesare la margine (Edge Computing): detecteaza si completeaza date lipsa pe dispozitiv, pentru a preveni transmiterea partiala.
• Măsuri de redundanță: instalarea de senzori suplimentari pentru a acoperi goluri de date.
• Stocare tampon.
• Îmbunătăţirea rețelelor, notificarea erorilor, excluderea datelor lipsă.

Algoritmi ML utilizați pentru imputarea datelor lipsă

• Modele avansate: Random Forest, Gradient Boosting
• Modele deep learning: Rețele neuronale, Rețele neuronale recurente (RNN) sau LSTM.

ARIMA

• Model statistic pentru analiza și prognoza seriilor temporale.
• Definit prin parametrii (p, d, q) (AutoRegressive, Integrated, Moving Average).
• Folosit pentru prognoza pe termen lung.

LSTM

• Tip de rețea neuronală recurentă, optimizată pentru învățarea dependențelor pe termen lung.
• Folosit pentru prelucrarea datelor complexe, neregulate, în timp real și predicții.
• Structură: celule care gestionează informații pe termen scurt și lung (cell state, gates).

LSTM în IoT

• Colectarea datelor IoT in mod continuu, preprocesarea datelor si transformarea intr-o forma secventiala pentru introducerea în model.
• Datele preprocesate sunt convertite în serii temporale, fiecare punct reprezentând starea sistemului la un moment dat.

Alte algoritmi de filtrare

• Filtru mediu mobil (Moving Average): calculează media valorilor într-o fereastră glisantă.
• Filtru median: înlocuiește fiecare valoare cu mediana valorilor dintr-o fereastră.
• Filtru Kalman: combină măsurătorile actuale și istorice pentru estimarea stării reale.
• Transformata Wavelet: separa zgomotul de semnal prin decompunere în frecvențe.

Metode statistice de detectare a anomaliilor

• Analiza deviației standard: valorile care depășesc un anumit număr de deviații standard față de medie sunt considerate anomalii.
• Interquartile range (IQR).

Detectare şi eliminare anomalii

• Metoda bazată pe învățare automată (exemplu, Clustering, Regresia robustă, Isolation Forest, SVM, Autoencoders).
• Metoda bazată pe metode statistice (exemplu, Analiza deviației standard, Interquartile Range).

Metode bazate pe seriile temporale

• Analiza sezonieră: compararea datelor actuale cu datele istorice.
• Modelarea prin ARIMA sau LSTM: antrenarea modelului pe datele istorice pentru predicții.

Alte aspecte în Managementul dispozitivelor IoT

• Gestionarea dispozitivelor, onboarding, monitorizare, configurare şi control, securitate, actualizări.
• Tipuri de onboarding: manual, automatizat, onboarding în masă.

Platforme de Management IoT Cloud

• AWS IoT Core, Google Cloud IoT Core, Microsoft Azure IoT Hub.

Platforme independente pentru IoT

• ThingsBoard, Particle IoT, Balena IoT.

Platforme de securitate IoT

• Armis Security, Forescout.