Analiza, Prelucrarea și Curățarea Datelor IoT (1) PDF

Analiza, Prelucrarea și Curățarea Datelor IoT (1) - Cursul 6 - Curpins 1. Instrumente și tehnologii 2. Filtrare, Normalizare și Agregare în IoT 3. Identiﬁcarea și gestionarea datelor lipsă 4. Eliminarea anomaliilor și detectarea zgomotului 5. Validarea datelor 6. Modele ARIMA, LSTM Instrumente și tehnologii Apache Kafka - Asemenea unui seviciu de curierat - O platformă care ajută la transportul unor ﬂuxuri masive de date de la un punct la altul - Kafka gestionează trasportul datelor și se asigură că ele ajung unde trebuie, intacte și la timp - Caracteristici: - Procesare real time - poate gestiona milioane de surse de date în timp real și își ajustează rutarea - Scalabilitate - Durabilitate - se asigură că datele sunt stocate într-o manieră sigură și că poate gestiona căderile de sistem. Kafka - componente - Producer - creează sau trimite mesaje - Broker - un broker primește mesaje de la producător și le păstrează în siguranță până când sunt necesare - Topic - acesta este modul în care sunt clasiﬁcate mesajele - Partition - o modalitate de a împărți un topic - spre ex pe bază de date/luni/ani …. - Consumer - extragere mesajele din mediul de stocare pentru a ﬁ folosite sau „citite” - Zookeeper - supraveghează brokeri, asigurându-se că lucrează bine împreună și gestionându-i dacă unul eșuează Apache Spark - un motor de analiză de date open-source - destinat pentru procesarea datelor la scară largă - oferă o interfață pentru programarea clusterelor ce cuprinde mecanisme de analiză paralelă - Caracteristici - performanță ridicată - folosește un motor de procesare în memorie - permite procesarea datelor de pe disc atunci când memoria este insuﬁcientă - procesare uniﬁcată - diferite tipuri de sarcini: batch, streaming, SQL, machine learning și procesarea grafurilor - API-uri prietenoase pentru limbaje populare precum Python, Java, Scala și R - compatibilitate cu ecosistemul Hadoop - stocare durabilă Apache Spark - componente - Spark Core - modulul de bază care gestionează procesarea distribuită, comunicarea cu clusterele și manipularea datelor - Spark SQL: - permite interogarea datelor folosind tehnici SQL. Suportă DataFrames și Datasets pentru operațiuni structurate pe date. - Spark Streaming: - procesarea datelor în ﬂux (streaming) aproape în timp real - MLlib: - bibliotecă pentru machine learning, care include algoritmi pentru clasiﬁcare, regresie, clustering, reducerea dimensionalității, etc. - GraphX: - ibliotecă pentru procesarea și analiza grafurilor (de exemplu, pentru rețele sociale sau analize de relații Apache Kafka + Apache Spark - formează o soluție robustă pentru aplicații de procesare în ﬂux (stream processing) - un standard în aplicațiile moderne de Big Data - integrarea Spark - Kafka - permite citirea și procesarea datelor din Kafka folosind Spark Streaming pentru procesarea datelor în timp real - exemplu: - Kafka ca sursă - Spark citește datele din topic-urile Kafka - Procesarea în Spark - datele sunt transformate, ﬁltrate sau analizate - Kafka ca destinație - rezultatele scrise înapoi în Kafka sau într-un alt sistem (ex: HDFS, baze de date, sistem cloud) Apache Kafka + Apache Spark Exemple de utilizare: - Monitorizarea IoT - procesarea datelor de la senzori în timp real pentru alarme sau analize predictive - Detectarea fraudelor - monitorizarea tranzacțiilor pentru modele anormale folosind machine learning - Sistemele de recomandare - generarea de recomandări personalizate în timp real bazate pe comportamentul utilizatorilor Apache Flink - o platformă open-source pentru procesarea datelor distribuite și în timp real (stream processing) - permite analiza continuă și cu latență foarte mică, dar suportă și procesarea în regim batch - recunoscut pentru: - scalabilitate ridicată - toleranță la erori - ﬂexibilitate în procesarea datelor Apache Flink - componente - JobManager - coordonează execuția sarcinilor în cluster - gestionează distribuirea sarcinilor, checkpoint-urile și resursele - TaskManager: - execută sarcinile alocate de JobManager pe nodurile din cluster - State Backend: - stochează starea aplicației (în memorie, pe disc sau în alte sisteme de stocare precum RocksDB). - Checkpointing: - creează puncte de salvare la intervale regulate pentru a asigura recuperarea după erori - Event Time vs. Processing Time: - Event Time - procesarea în funcție de timestamp-ul real al evenimentului - Processing Time - procesarea bazată pe timpul la care evenimentul este procesat Apache Flink vs Apache Spark - Procesare în ﬂux - Apache Flink - optimizat pentru stream processing și tratează ﬂuxurile de date ca inﬁnite - Apache Spark - folosește un model de micro-batch, ceea ce înseamnă că procesează ﬂuxurile de date în bucăți mici - Procesare batch - Apache Flink - convertește job-urile batch în ﬂuxuri de date ﬁnite - Apache Spark - este considerat liderul în procesarea batch datorită performanței și maturității sale Apache Flink vs Apache Spark Situație Apache Flink Apache Spark Procesare în timp real cu latență scăzută + - Procesare batch complexă - + Stateful Processing (stări mari) + - Machine Learning integrat integrare externă MLlib Flexibilitate în arhitectură + + Procesarea fluxurilor întârziate (event-time) + - Simplitate pentru începători - + Filtrare, Normalizare și Agregare în IoT Filtrarea în IoT - procesul prin care se selectează informațiile relevante dintr-un ﬂux mare de date și se elimină zgomotul sau datele neimportante - obiectivele ﬁltrării: - reducerea volumului de date transmise sau procesate - excluderea datelor redundante, incomplete sau eronate - creșterea eﬁcienței sistemului și a preciziei analizelor - implementare: - la nivel de senzor - datele sunt ﬁltrate direct la sursă - la gateway IoT - gateway-ul interceptează ﬂuxurile și aplică regulile de ﬁltrare - la locul de procesare - ﬁltrarea este aplicată după ce datele sunt colectate Tipuri de ﬁltrare - Bazată pe praguri (Threshold-based Filtering) - exclude datele care nu respectă anumite valori minime/marime - exemplu: transmiterea doar a temperaturilor sub 0°C. - Filtrare temporală: - trimite date doar la intervale speciﬁce de tim - exemplu: datele despre vânt sunt trimise o dată la ﬁecare 20 minute - Filtrare spațială: - selectează date relevante doar din anumite regiuni geograﬁce - exemplu: senzori activi doar într-o anumită zonă - Filtrare bazată pe evenimente (Event-based Filtering) - datele sunt transmise doar în cazul apariției unui eveniment speciﬁc - exemplu: Transmiterea datelor despre vibrații când depășesc o anume limită Normalizarea în IoT - implică standardizarea datelor pentru a le face compatibile și comparabile, indiferent de sursa sau formatul lor inițial - obiective - crearea unei reprezentări consistente a datelor - facilitarea integrării și procesării datelor din surse diverse - asigurarea interoperabilității între diferite dispozitive IoT - unde se aplică normalizarea - la marginea rețelei (Edge) - pentru a reduce complexitatea înainte de transmiterea datelor - cloud - pentru pregătirea datelor pentru analize complexe sau machine learning Tehnici comune de normalizare - conversia unităților de măsură - exemplu: convertirea greutății din livre în kilograme. - scalarea valorilor - datele sunt scalate într-un interval standard, cum ar ﬁ [0, 10]. - convertirea la formate comune - extragerea și rearanjarea datelor din formate neuniforme. Agregarea în IoT - procesul prin care datele brute sunt grupate, combinate sau sumarizate pentru a reduce volumul și a extrage informații utile - obiectivele agregării - reducerea încărcării rețelei prin transmiterea unui număr redus de pachete - crearea de rapoarte concise și semniﬁcative - identiﬁcarea tendințelor sau modelelor în date Tipuri de agregare - temporală: - datele sunt grupate pe baza intervalelor de timp - exemplu: media temperaturilor din ﬁecare oră - spațială: - datele sunt combinate pe baza locației geograﬁce - exemplu: media calității aerului într-o anumită zonă - statistică: - pe baza de funcții statistice precum sumă, medie, minim, maxim sau deviație standard - exemplu: numărul total de vehicule ce au trecut prin intersecție într-o zi - evenimentuală: - agregarea datelor bazate pe evenimente speciﬁce - exemplu: numărul de alarme de gaz generate într-un interval. Implementarea agregării - Edge Aggregation - agregarea datelor are loc pe dispozitivele IoT sau gateway-uri, reducând volumul de date transmis - Cloud Aggregation - agregarea este efectuată în cloud pentru analize complexe pe seturi mari de date - Hierarchical Aggregation - se utilizează mai multe niveluri de agregare, de la senzori la gateway-uri, apoi la cloud Resampling în IoT - implică modiﬁcarea frecvenței datelor dintr-un ﬂux pentru a se potrivi cerințelor speciﬁce de procesare sau analiză. - poate însemna reducerea sau creșterea numărului de puncte de date într-un interval de timp - când este necesar: - diferențe în frecvențele de raportare - senzorii pot trimite date la frecvențe diferite, iar resampling-ul le aliniază pentru o analiză uniformă - reducerea volumului de date - pentru economisirea resurselor de stocare și rețea - pregătirea datelor pentru analiză - modelele de machine learning sau statisticile pot necesita date la o frecvență ﬁxă Tipuri de resampling - Downsampling (reducerea frecvenței) - elimină puncte de date, păstrând doar o parte reprezentativă a acestora - exemplu: temperatura măsurată la ﬁecare secundă este redusă la o medie pe minut - Upsampling (creșterea frecvenței): - adaugă puncte de date interpolând între valorile existente - exemplu: datele colectate la ﬁecare 5 minute sunt interpolate pentru a simula colectarea la ﬁecare minut - Agregare temporală: - combină valorile dintr-un interval de timp într-o statistică unică - exemplu: media sau suma valorilor dintr-un ﬂux - Interpolare: - estimează valorile lipsă între două puncte pe baza unui algoritm (linear, spline, etc.) Reconﬁgurarea ﬂuxurilor de date în IoT - presupune modiﬁcarea structurii, direcției sau conținutului ﬂuxurilor de date pentru a îndeplini cerințele speciﬁce ale rețelelor, aplicațiilor sau utilizatorilor ﬁnali - motive: - integrarea datelor din surse multiple - optimizarea utilizării resurselor de rețea și stocare - adaptarea ﬂuxurilor la schimbările din infrastructura IoT - gestionarea erorilor sau latențelor în ﬂuxuri Tipuri de reconﬁgurare - Redistribuirea datelor - redirecționarea ﬂuxurilor de date către diferite destinații - exemplu: datele de la un senzor sunt trimise atât la un server centralizat, cât și la o aplicație mobilă - Fusionarea ﬂuxurilor - combinarea datelor din mai multe surse într-un ﬂux uniﬁcat - exemplu: datele despre umiditate și temperatură sunt combinate într-un ﬂux comun pentru analiza microclimatului - Separarea ﬂuxurilor: - divizarea unui ﬂux mare în mai multe ﬂuxuri mai mici - exemplu: un ﬂux de date este separat în componente individuale (temperatură, presiune, locație) - Reordonarea datelor: - ﬂuxurile de date dezordonate sunt aliniate pe baza event-time sau al altor criterii - exemplu: evenimentele întârziate dintr-un ﬂux sunt realiniate cronologic - Transformarea formatului: - conversia datelor între diferite formate ( JSON, XML) - exemplu: un ﬂux JSON este transformat în CSV pentru o analiză ulterioară Identiﬁcarea și gestionarea datelor lipsă Cauzele frecvente ale datelor lipsă în IoT - Defecțiuni hardware - senzori sau dispozitive IoT care funcționează defectuos - Probleme de conectivitate - latență sau pierderi în rețelele wireless, în special în zonele cu semnal slab - Erori de transmisie - pierderea pachetelor de date în timpul transferului între dispozitive și servere - Deﬁciențe software - erori în codul aplicațiilor IoT sau în sistemele de stocare a datelor. - Factori externi - condiții meteorologice nefavorabile - interferențe electromagnetice - alte perturbări ﬁzice. Identiﬁcarea datelor lipsă - Validarea datelor în timp real - compararea valorilor recepționate cu limitele acceptabile sau cu modelele de referință Ex: - Ex: dacă temperatura înregistrată brusc este zero într-un sistem de încălzire, aceasta poate indica o eroare. - Detectarea golurilor temporale - monitorizarea frecvenței cu care senzorii trimit date - dacă datele nu sunt primite la intervalele așteptate, se consideră că lipsesc - Analiza statistică - identiﬁcarea valorilor lipsă sau aberante (outliers) în seturile de date istorice - Monitorizarea erorilor de transmisie - veriﬁcarea rapoartelor de transmisie pentru pachetele pierdute. Gestionarea datelor lipsă - Imputarea datelor lipsă - Interpolare liniară - estimarea valorilor lipsă bazată pe datele anterioare și următoare - Metode bazate pe medii: - utilizarea mediei, medianei sau modului pentru a completa golurile - Modele predictive: - folosirea algoritmilor de machine learning (ex: regresie, rețele neuronale) pentru a prezice valorile lipsă. - Metode avansate: - utilizarea tehnicilor de imputare multiple sau bazate pe seria temporală (ex: ARIMA, Kalman ﬁlters). Gestionarea datelor lipsă - Procesare la margine (Edge Computing) - detectarea și completarea datelor lipsă direct la dispozitiv sau la gateway, pentru a preveni transmiterea incompletă - Măsuri de redundanță - instalarea de senzori suplimentari pentru a acoperi golurile de date generate de un senzor defect. - Stocarea tampon (Buﬀering) - stocarea locală temporară a datelor în caz de pierdere a conectivității și retransmiterea lor ulterior. Gestionarea datelor lipsă - Îmbunătățirea arhitecturii de rețea - utilizarea rețelelor reziliente, cum ar ﬁ cele redundante sau meshed, pentru a reduce pierderile de conectivitate - Notiﬁcarea erorilor - conﬁgurarea alertelor automate pentru a informa operatorii în caz de date lipsă, pentru intervenție rapidă - Excluderea datelor lipsă - în aplicațiile unde datele lipsă nu afectează semniﬁcativ rezultatul ﬁnal, acestea pot ﬁ ignorate Exemple - Sanătate - un wearable nu înregistrează pulsul pentru o perioadă scurtă - imputarea pentru continuitatea monitorizării. - Agricultură inteligentă - lipsa datelor despre umiditatea solului - folosind date istorice sau predictive - Industrie - senzor de vibrație defect - sistem predictiv pentru a estima comportamentul echipamentului și pentru a evita opririle neașteptate ARIMA - AutoRegressive Integrated Moving Average - este un model statistic utilizat pentru analiza și prognoza seriilor temporale - potrivit pentru datele care prezintă o structură dependentă în timp - ex: valorile ﬁnanciare, datele meteorologice sau ﬂuxurile de traﬁc - este deﬁnit prin trei parametri - (p, d, q) - p (AutoRegressive - AR) - scop: construiește tendință din valorile trecute și funcționează ca un model de regresie - reprezintă dependența dintre valoarea actuală și valorile anterioare - ex: într-o serie temporală de temperaturi, valoarea curentă poate depinde de valorile temperaturii din ultimele zile - d (Integrated - I) - numărul de diferențieri necesare pentru a face seria staționară (adică pentru a elimina tendințele) - o serie este staționară dacă media, variabilitatea și autocovarianța sunt constante în timp - q (Moving Average - MA) - numărul de termeni de medie mobilă - captează dependențele din datele reziduale (erorile) dintre valorile actuale și erorile anterioare - practical: - folositi statsmodels și sklearn în Python pe https://www.kaggle.com/datasets/gvyshnya/gold-future-prices/data pentru a prezice pretul aurului în anul 2025. Algoritmii ML utilizați pentru imputarea datelor lipsă - Modele avansate: - Random Forest - înlocuiește valorile lipsă prin estimări bazate pe mediana sau media predicțiilor realizate de mai mulți arbori de decizie. - Gradient Boosting - precizie mai mare pentru seturi complexe de date. - Modele de deep learning - Rețele neuronale - rețele neuronale dense sau convoluționale pot învăța relații complexe din datele IoT - Rețele neuronale recurente (RNN) sau LSTM - potrivit pentru seriile temporale, deoarece țin cont de dependențele temporale Random Forest - este un clasiﬁcator care conține un număr de arbori de decizie deﬁniți pe diferite subseturi ale setului de date dat și folosește media pentru a îmbunătăți acuratețea predictivă a acelui set de date - numărul mai mare de arbori duce la o precizie mai mare source: https://www.javatpoint.com/ Gradient Boosting - o tehnică de machine learning bazată pe crearea unui ansamblu de modele slabe (weak learners), cum ar ﬁ arborii de decizie, pentru a forma un model puternic. - se concentrează pe minimizarea erorii prin antrenarea ﬁecărui model suplimentar să corecteze greșelile modelului anterior - construiește modelele succesiv, ﬁecare model încercând să îmbunătățească performanța celui precedent Gradient Boosting - Modelul de bază (weak learner) - cel mai frecvent utilizat model este arborele de decizie - ﬁecare arbore este antrenat să corecteze reziduurile (erorile) din predicțiile arborilor anteriori - Antrenarea iterativă - la ﬁecare pas: - se calculează reziduurile (diferențele dintre predicțiile actuale și valorile reale) - se construiește un nou model care prezice aceste reziduuri - se adaugă acest model la ansamblu cu un anumit coeﬁcient de ponderare (learning rate) - Funcția de pierdere (loss function) - minimizează o funcție de pierdere - ex.: eroarea medie pătratică (pentru regresie) sau log-loss (pentru clasiﬁcare) - optimizarea se face prin calculul gradientului funcției de pierdere - Learning rate (rata de învățare) - este un factor de scalare aplicat la contribuția ﬁecărui model la ansamblu - o rată de învățare mai mică face antrenarea mai lentă, dar poate îmbunătăți precizia Eliminarea anomaliilor și detectarea zgomotului Diferența dintre anomalii și zgomot - Anomalii (Outliers) - reprezintă valori rare sau neașteptate care se abat semniﬁcativ de la tiparul general al datelor - pot ﬁ legitime (un eveniment rar) sau rezultate ale erorilor de sistem - Zgomot (Noise) - date eronate sau ﬂuctuații minore cauzate de factori necontrolabili - ex.: interferențe electromagnetice - nu adaugă informații semniﬁcative și afectează modelele predictive Eliminarea zgomotului - Filtre digitale - ﬁltru mediu mobil (Moving Average) - vizează ﬂuctuațiile minore prin calcularea mediei valorilor pe o fereastră glisantă - Filtru median - înlocuiește ﬁecare valoare cu mediana valorilor dintr-o fereastră - Filtru Kalman - tehnică avansată care combină măsurători actuale și istorice pentru a estima starea reală - Transformata Wavelet - separă zgomotul de semnal prin descompunerea semnalului în frecvențe Eliminarea zgomotului - Algoritmi ML pentru eliminarea zgomotului - Rețele neuronale convoluționale (CNN) - învățarea automată pentru identiﬁcarea și eliminarea zgomotului speciﬁc - Rețele autoencoder - învață să reconstruiască semnalul fără zgomot. - Reducerea dimensionalității - PCA (Principal Component Analysis) sau t-SNE pentru a elimina componentele care contribuie la zgomot Detectarea și eliminarea anomaliilor - Metode statistice: - Analiza deviației standard - valorile care se aﬂă la mai mult de 𝑛 n deviații standard de la medie sunt marcate drept anomalii - Interquartile Range (IQR): - Datele care depășesc limitele sunt considerate anomalii Detectarea și eliminarea anomaliilor - Metode bazate pe învățare automată: - Clustering: - K-Means: Punctele care sunt departe de clusterele centrale pot ﬁ anomalii - DBSCAN: Detectează punctele care nu aparțin niciunui cluster - Metode de regresie: - Regresia robustă: Valorile anormale sunt considerate reziduuri mari - Algoritmi speciﬁci de detectare a anomaliilor: - Isolation Forest: Împarte spațiul de date în mod recursiv; anomaliile sunt izolate rapid. - One-Class SVM (Support Vector Machine): Construiește o hiperplană care separă punctele normale de anomalii. - Autoencoders: În rețelele neuronale, diferențele mari între datele de intrare și cele reconstruite indică anomalii. Detectarea și eliminarea anomaliilor - Metode bazate pe seriile temporale: - Analiza sezonieră - Compararea datelor actuale cu valorile istorice pentru detectarea abaterilor - Modelarea prin ARIMA sau LSTM - Modelele antrenează comportamentul normal și identiﬁcă abateri față de acesta Filtru mediu mobil (Moving Average) - unul dintre cele mai simple și eﬁciente ﬁltre digitale utilizate pentru a elimina zgomotul din datele colectate de senzori în sistemele IoT - este popular datorită simplității și a capacității de a îmbunătăți semnalele fără a necesita calcule complexe - funcționează prin calcularea mediei valorilor unui semnal pe o fereastră de timp (sau de probe) care se deplasează prin date - valorile individuale sunt înlocuite cu media locală, ceea ce duce la o netezire a semnalului și la reducerea ﬂuctuațiilor bruște cauzate de zgomot - Tipuri - Mediu mobil simplu (Simple Moving Average): Fereastra are o greutate uniformă, ceea ce înseamnă că toate valorile din fereastră contribuie egal la medie - Mediu mobil ponderat (Weighted Moving Average): Valorile recente au ponderi mai mari, ceea ce permite o adaptare mai rapidă la schimbări Filtrul median - înlocuiește ﬁecare valoare din semnal cu mediana valorilor dintr-o fereastră de dimensiune ﬁxă care se deplasează pe date. - ﬁltrul median selectează valoarea mediană, ceea ce îl face eﬁcient împotriva valorilor extreme. - Aplicare: - Se deﬁnește o fereastră glisantă peste setul de date - Valorile din fereastră sunt sortate în ordine crescătoare - Valoarea mediană (elementul din mijloc al listei sortate) este selectată și atribuită setului de date prelucrat Filtrul Kalman - este un algoritm recursiv care folosește un model matematic al sistemului pentru - prezicerea stării viitoare a sistemului - actualizarea acestei predicții pe baza datelor observate - 2 etape: - pasul de predicție - utilizează un model matematic pentru a prezice starea sistemului și incertitudinea asociată - pasul de actualizare - integrează datele reale și ajustează predicția, reducând incertitudinea Transformata Wavelet - este o generalizare a transformatei Fourier care folosește funcții wavelet pentru a analiza datele - cum funcționează: - dezcompoziție - un semnal este dezcompus în mai multe niveluri de rezoluție (aproximații și detalii) folosind funcții wavelet - reprezentare multi-rezoluție - dezvoltă o ierarhie a componentelor datelor, analizând datele extreme - reconstrucție - componentele ﬁltrate pot ﬁ recombinate pentru a reconstrui datele originale (fără zgomot, de exemplu). LSTM - un tip de rețea neuronală recurentă (RNN) concepută pentru a învăța dependențe pe termen lung în date secvențiale - LSTM poate gestiona ﬂuxuri de date complexe și neregulate, ceea ce este comun în aplicațiile IoT - se folosește în IoT pentru: - prelucrarea datelor - detectarea de tipare - predicție - detectarea anomaliilor LTSM în IoT - Colectarea datelor - dispozitivele IoT colectează date în mod continuu - datele sunt transmise către un server central sau către un sistem edge pentru procesare - Preprocesarea datelor - normalizare - ajustarea valorilor datelor pentru a ﬁ în intervale similare - curățare- eliminarea valorilor lipsă sau eronate - deﬁnirea de serii temporale - gruparea datelor în ferestre de timp pentru procesarea lor - Intrarea în modelul LSTM - datele preprocesate sunt convertite într-o formă secvențială pentru a ﬁ introduse în model - LSTM primește input sub formă de serii temporale (ﬁecare punct de date reprezintă starea de la un anumit moment) LTSM în IoT - Celulele LSTM - ﬁecare celulă LSTM este formată din componente care gestionează informațiile pe termen lung și scurt - Cell State - păstrează informațiile importante pe termen lung - Gates - controlează ﬂuxul de informații: - Forget Gate - decide ce informații să ﬁe uitate - Input Gate - determină ce informații noi să ﬁe adăugate - Output Gate - selectează ce informații să ﬁe utilizate pentru predicții - celulele LSTM își ajustează greutățile și învață relațiile dintre datele din trecut și cele viitoare - Ieșirea modelului - produce ieșiri bazate pe - predicții pentru viitor - (ex: consumul energetic din următoarele ore). - detectarea anomaliilor - (ex: comportamente anormale în datele dispozitivelor IoT) - Ieșirea - o valoare scalară (o predicție unică) sau o secvență de valori. FINISH IoT Device Management - Cursul 7 - Curpins 1. Managementul dispozitivelor în IoT 2. Componentele managementului dispozitivelor IoT 3. Onboarding-ul dispozitivelor 4. Monitorizare în cadrul managementului dispozitivelor IoT 5. Conﬁgurarea și controlul dispozitivelor IoT 6. Controlul dispozitivelor IoT 7. Securitate în managementul dispozitivelor IoT 8. Decomisionare Managementul dispozitivelor în IoT - procesul prin care dispozitivele IoT sunt pe durata ciclului lor de viață - conﬁgurate - monitorizate - actualizate - întreținute - o gestionare eﬁcientă este esențială pentru a asigura performanța, securitatea și interoperabilitatea acestora Componentele managementului dispozitivelor IoT - Onboarding-ul dispozitivelor - Monitorizare - Conﬁgurare și control - Actualizări software (Firmware Over-The-Air - FOTA) - Securitate - Decomisionare (Oﬀboarding) Onboarding-ul dispozitivelor - este procesul prin care un dispozitiv IoT este înregistrat, conﬁgurat și conectat la o platformă sau rețea IoT, astfel încât să poată începe să comunice și să furnizeze date - este crucial pentru funcționarea eﬁcientă și securizată a dispozitivelor într-un ecosistem IoT Etape ale onboarding-ului dispozitivelor IoT - Identiﬁcarea dispozitivului - ﬁecare dispozitiv IoT are nevoie de o identiﬁcare unică pentru a ﬁ recunoscut de rețea: - un ID unic atribuit de producător - ex: o adresa MAC - certiﬁcat digital sau alte metode de autentiﬁcare - Autentiﬁcare și autorizare - dispozitivul trebuie să demonstreze că este autentic și are permisiunea de a se conecta la rețea - chei publice / private - certiﬁcate de securitate (TLS/SSL) - autentiﬁcare prin token-uri generate de serverul IoT Etape ale onboarding-ului dispozitivelor IoT - Conectare la rețea - conﬁgurarea conectivității - ex: Wi-Fi, Bluetooth, Zigbee, LoRaWAN … - stabilirea unei conexiuni sigure și stabile cu gateway-ul sau platforma cloud IoT - Conﬁgurare inițială - setarea parametrilor necesari pentru funcționare - frecvența de raportare a datelor - protocolul utilizat pentru comunicare - ex: MQTT, CoAP - conﬁgurațiile hardware speciﬁce - ex: praguri de declanșare pentru senzori Etape ale onboarding-ului dispozitivelor IoT - Testare și validare - dispozitivul este testat pentru a veriﬁca dacă funcționează corect - se veriﬁcă transferul datelor către platforma IoT - Integrare în platformă - dispozitivul este înregistrat în sistemul de management al dispozitivelor și asociat cu aplicațiile relevante - datele generate de dispozitiv sunt mapate în sistem pentru analiză și vizualizare. Tipuri de onboarding în IoT - Manual: - o persoană conﬁgurează ﬁecare dispozitiv individual, ﬁe printr-o aplicație mobilă, ﬁe printr-o interfață ﬁzică - ex: conﬁgurarea unui termostat inteligent printr-o aplicație de pe smartphone - Automatizat - procesul este complet automat, fără intervenție umană - utilizat în scenarii cu multe dispozitive - ex: în fabrici inteligente sau ferme mari - dispozitivele se autentiﬁcă automat și descarcă conﬁgurațiile predeﬁnite dintr-un server central - Onboarding în masă - mai multe dispozitive sunt conﬁgurate simultan, utilizând un set comun de parametri sau scripturi automate - ex: conﬁgurarea simultană a 100 de becuri inteligente într-o clădire. Monitorizare în cadrul managementului dispozitivelor IoT - este procesul prin care se urmărește funcționarea, starea și performanța dispozitivelor conectate dintr-o rețea IoT - joacă un rol esențial în menținerea eﬁcienței operaționale, detectarea anomaliilor și prevenirea defecțiunilor în ecosistemele IoT Scopul monitorizării în IoT - Asigurarea funcționării corecte - veriﬁcarea stării dispozitivelor (online/oﬄine, baterie, resurse disponibile) - Detectarea anomaliilor - identiﬁcarea comportamentelor neobișnuite sau a problemelor de performanță - Optimizarea performanței - monitorizarea consumului de resurse (energie, lățime de bandă) pentru optimizare - Prevenirea defecțiunilor - colectarea de date predictive pentru întreținerea preventivă - Securitatea rețelei - detectarea încercărilor de acces neautorizat sau a atacurilor cibernetice Parametri monitorizați frecvent - Starea dispozitivului - Online/Oﬄine- conﬁrmarea conectivității la rețea - nivelul bateriei - temperatura dispozitivului - pentru a preveni supraîncălzirea - Date de performanță - latența în transmiterea datelor - rata de eroare (numărul de pachete pierdute sau corupte) - Utilizarea resurselor: - memorie și CPU utilizate de dispozitiv - lățime de bandă consumată - Comportamentul datelor - frecvența și volumul datelor transmise - analiza datelor pentru a detecta anomalii - Indicatori de securitate - tentative de acces neautorizat - comunicații suspecte cu alte dispozitive. Tehnici și tehnologii utilizate pentru monitorizare - Sisteme de monitorizare în timp real - dispozitivele IoT sunt monitorizate continuu, iar alertele sunt generate instantaneu pentru anomali - ex: monitorizarea temperaturii în timpul transportului de medicamente sensibile - Protocoale de monitorizare - SNMP (Simple Network Management Protocol) - pentru monitorizarea rețelelor IoT - bazat pe modelul client-server și funcționează pe nivelul aplicație - 3 componente - managerul SNMP - este un dispozitiv sau o aplicație care colectează și gestionează datele de la agenții SNMP - agentul SNMP - un software care rulează pe dispozitivul monitorizat și colectează date - management Information Base (MIB) - deﬁnește obiectele care pot ﬁ monitorizate și gestionate - managerul trimite cererile - agentul raspunde (furnizează date conform MIB) / agentul notiﬁcă (în caz de evenimente critice) Tehnici și tehnologii utilizate pentru monitorizare - Cloud Computing și IoT Dashboards - platforme precum AWS IoT, Azure IoT sau Google Cloud IoT oferă panouri de monitorizare centralizate - permit vizualizarea performanței dispozitivelor, crearea alertelor și analiza datelor - Inteligență artiﬁcială și analitică predictivă - algoritmi de machine learning analizează datele istorice și curente pentru a prezice posibile defecțiuni - Edge Computing - monitorizarea dispozitivelor este realizată direct la nivelul edge (gateway-uri sau microcontrolere) pentru a reduce latența Conﬁgurarea și controlul dispozitivelor IoT - sunt procese esențiale pentru a asigura funcționarea corectă, eﬁcientă și securizată a dispozitivelor într-un ecosistem IoT - permit ajustarea setărilor și intervenția de la distanță atunci când este necesar Instrumente și tehnologii pentru conﬁgurare - Aplicații mobile - dispozitivele sunt conﬁgurate prin aplicații mobile care folosesc NFC, Bluetooth sau Wi-Fi - Conﬁgurare over-the-air (OTA) - permite setarea și modiﬁcarea de la distanță a parametrilor prin rețea - CLI (Command-Line Interface) - metodă folosită în medii industriale pentru conﬁgurarea dispozitivelor - API-uri și SDK-uri IoT - permite conﬁgurarea dispozitivelor prin cod personalizat Controlul dispozitivelor IoT - se referă la acțiunile luate asupra dispozitivelor pentru a modiﬁca funcționarea acestora, pentru a reacționa la evenimente sau pentru a asigura securitatea rețelei - Tipuri de control - control manual - operatorii umani utilizează aplicații mobile sau panouri de control pentru a ajusta parametrii dispozitivelor (ex: reglarea temperaturii unui termostat inteligent) - control automatizat - dispozitivele reacționează automat la condițiile de mediu sau la evenimente predeﬁnite (ex: deschiderea automată a valvelor de irigații atunci când senzorii detectează sol uscat) - control de la distanță - permite ajustarea setărilor sau inițierea acțiunilor de oriunde printr-o conexiune securizată (ex: pornirea luminilor într-o casă inteligentă folosind o aplicație mobilă) - control bazat pe AI - algoritmii AI analizează datele colectate și controlează dispozitivele în funcție de modele și predicții (ex: reglarea ﬂuxului de apă în cadrul unui complex în funcție de obiceiurile locatariilor) FOTA în managementul dispozitivelor IoT - Firmware Over-The-Air (FOTA) este o tehnologie care permite actualizarea ﬁrmware-ului dispozitivelor IoT de la distanță printr-o conexiune de rețea - Este esențială pentru menținerea funcționalității, securității și performanței dispozitivelor IoT, fără a necesita intervenția ﬁzică asupra acestora Rolul FOTA în managementul dispozitivelor IoT - Îmbunătățirea funcționalității - oferirea de noi caracteristici sau optimizări ale software-ului existent - Remedierea problemelor - corectarea erorilor (bug ﬁxes) identiﬁcate după implementare - Securitate - aplicarea patch-urilor de securitate pentru a preveni vulnerabilitățile exploatabile - Scalabilitate și costuri reduse - permite actualizări rapide și eﬁciente pentru mii sau milioane de dispozitive simultan. Etapele FOTA - Pregătirea ﬁrmware-ului - se creează o nouă versiune a ﬁrmware-ului și se testează pe dispozitive similare - Distribuirea ﬁrmware-ului - ﬁrmware-ul este încărcat pe o platformă centralizată (ex - server cloud) - Notiﬁcarea dispozitivelor - dispozitivele primesc notiﬁcări despre actualizări disponibile - de obicei prin protocoale precum MQTT, HTTP sau CoAP - Descărcarea ﬁrmware-ului - dispozitivul descarcă pachetul de ﬁrmware printr-o conexiune securizată - Veriﬁcarea integrității - se efectuează o veriﬁcare pentru a se asigura că ﬁrmware-ul nu a fost corupt sau modiﬁcat - Aplicarea actualizării - dispozitivul instalează noul ﬁrmware - Raportarea statusului: - dispozitivul raportează succesul sau eșecul actualizării către platforma de management Securitate în managementul dispozitivelor IoT - Implementarea măsurilor de autentiﬁcare, criptare și autorizare pentru a proteja datele și dispozitivele - Monitorizarea vulnerabilităților și aplicarea patch-urilor de securitate. Autentiﬁcarea în IoT - Este procesul de veriﬁcare a identității unui dispozitiv pentru a preveni accesul neautorizat - În contextul IoT, autentiﬁcarea trebuie să ﬁe implementată la mai multe niveluri: pe dispozitive, pe rețele și la nivel de aplicație - Metode de autentiﬁcare IoT: - pe bază de parolă - parolele trebuie să ﬁe complexe, schimbate periodic și greu de ghicit - se evită parolele implicite oferite de producători - pe bază de certiﬁcate (PKI) - utilizarea unui sistem de infrastructură cu chei publice (PKI) pentru a valida identitatea dispozitivelor - ﬁecare dispozitiv IoT primește un certiﬁcat digital care îl identiﬁcă unic, iar comunicarea se face criptat, protejând datele sensibile - 2FA - combină un „ceva ce știi” (parolă) cu un „ceva ce ai” (un dispozitiv de autentiﬁcare) Criptarea în IoT - Criptarea pe end-to-end - toate datele transmise între dispozitivele IoT și platformele de gestionare trebuie criptate pentru a preveni interceptarea și modiﬁcarea lor - se pot utiliza protocoale de criptare - TLS/SSL pentru conexiunile HTTPS - DTLS pentru protocoale bazate pe UDP (ex. CoAP). - Criptarea pe nivel de dispozitiv: - datele stocate pe dispozitive trebuie criptate pentru a preveni accesul neautorizat în cazul în care un dispozitiv este compromis - Criptarea cheilor private - în cazul autentiﬁcării bazate pe certiﬁcate digitale, cheia privată trebuie să ﬁe criptată și stocată într-un mod securizat pentru a preveni utilizarea ei neautorizată Autorizarea în IoT - Este procesul de a acorda permisiuni de acces și acțiuni pe baza drepturilor unui utilizator sau dispozitiv - După autentiﬁcarea unui dispozitiv sau utilizator, trebuie să se stabilească ce resurse sau acțiuni sunt permise - Metode de autorizare IoT - controlul accesului bazat pe roluri (RBAC) - permisiunile sunt atribuite pe baza rolurilor utilizatorilor sau dispozitivelor - controlul accesului pe bază de politici (ABAC) - permisiunile de acces sunt acordate pe baza unui set de politici, care pot include factori precum tipul de dispozitiv, locația sau timpul accesului - liste de control al accesului (ACL) - ﬁecare dispozitiv sau utilizator poate avea o listă de resurse pe care le poate accesa, iar accesul la resursele respective este restricționat în mod explicit - autorizare granulară - permite controlul detaliat al accesului la funcționalitățile dispozitivelor Monitorizarea Vulnerabilităților în IoT - presupune identiﬁcarea și evaluarea riscurilor asociate ﬁecărui dispozitiv și rețelei IoT - este o activitate continuă, având în vedere natura dinamică a amenințărilor și a vulnerabilităților care pot apărea pe parcursul ciclului de viață al dispozitivelor. Etape de monitorizare a vulnerabilităților IoT - Identiﬁcarea vulnerabilităților: - Scanarea rețelelor: unelte de scanare a rețelelor și dispozitivelor pentru a identiﬁca vulnerabilități cunoscute (ex: porturi deschise, servicii neprotejate, software învechit). - Evaluarea riscurilore: analizează riscurile asociate cu ﬁecare vulnerabilitate în funcție de gravitatea acesteia și de impactul potențial asupra rețelei și dispozitivelor. - Monitorizarea activității rețelei: - Sisteme de detecție a intruziunilor (IDS): implementarea unui IDS pentru a monitoriza traﬁcul și a identiﬁca comportamente neobișnuite sau suspecte care pot semnala o încercare de atac. - Sisteme de gestionare a evenimentelor de securitate (SIEM): colectează și analizează datele de la dispozitivele IoT pentru a identiﬁca semnale de atacuri sau comportamente anormale. - Veriﬁcări periodice de securitate: - Audituri de securitate: audituri de securitate periodice pentru a evalua starea securității dispozitivelor IoT și a rețelei, identiﬁcând posibile vulnerabilități. - Testare de penetrare: efectuate periodic pentru a simula atacuri cibernetice și a evalua capacitatea dispozitivelor de a rezista la aceste atacuri. - Utilizarea bazelor de date cu vulnerabilități: - Accesarea bazelor de date de vulnerabilități, cum ar ﬁ CVE (Common Vulnerabilities and Exposures), care oferă informații despre vulnerabilitățile cunoscute în software și hardware Decomisionare (Oﬀboarding) - procesul de retragere sigură a unui dispozitiv dintr-o rețea IoT, ﬁe că este vorba de înlocuirea unui dispozitiv învechit, de retragerea unui dispozitiv defect sau de oprirea unui serviciu IoT - trebuie realizat cu mare atenție pentru a preveni riscurile de securitate și pentru a asigura că dispozitivele nu mai pot ﬁ accesate sau utilizate neautorizat Motivele pentru decomisionare în IoT - Înlocuirea dispozitivelor vechi - dispozitivele IoT învechite sau depășite din punct de vedere al performanței sau tehnologiilor pot ﬁ înlocuite pentru a asigura eﬁciența rețelei - Defecțiuni ale dispozitivelor - un dispozitiv IoT devine defect sau nu mai funcționează conform speciﬁcațiilor, poate ﬁ necesară scoaterea sa din rețea - Upgrade la noi tehnologi - dispozitivele care nu mai sunt compatibile cu noile tehnologii sau care nu pot susține actualizările necesare de securitate pot ﬁ scoase din rețea - Dezactivarea unui serviciu IoT - dacă un anumit serviciu IoT nu mai este necesar, poate ﬁ necesar să se dezactiveze sau să se retragă toate dispozitivele asociate - Pierderea sau furtul dispozitivului - un dispozitiv IoT este pierdut sau furat, acesta trebuie să ﬁe eliminat imediat din rețea pentru a preveni accesul neautorizat Etapele Decomisionării Dispozitivelor IoT - Evaluarea dispozitivului - veriﬁcarea stării dispozitivului - se veriﬁcă dacă dispozitivul mai este funcțional sau dacă există defecțiuni care necesită înlocuire - veriﬁcarea conexiunii în rețea - se veriﬁcă dacă dispozitivul este încă conectat la rețea și ce funcționalități mai utilizează - Deconectarea dispozitivului din rețea - se izolează dispozitivul de rețea înainte de a-l retrage complet - deconectarea dispozitivului de la sistemele centrale - eliminarea accesului la datele și resursele rețelei Etapele Decomisionării Dispozitivelor IoT - Resetarea sau ștergerea datelor dispozitivului - pentru a preveni scurgerile de date și riscurile de securitate, datele stocate pe dispozitiv trebuie să ﬁe complet șterse sau resetate - ștergerea datelor de pe dispozitiv - oricare date personale, conﬁgurații sau informații sensibile stocate pe dispozitiv trebuie șterse - resetează setările de fabricație - în cazul în care dispozitivul poate ﬁ reutilizat - Revocarea autentiﬁcărilor și certiﬁcatelor - revocarea certiﬁcatelor de securitate - dacă dispozitivul utiliza un certiﬁcat de securitate pentru autentiﬁcare, acesta trebuie revocat pentru a preveni accesul neautorizat - revocarea parolelor și cheilor de acces - toate parolele, cheile API și alte mecanisme de autentiﬁcare trebuie anulate Etapele Decomisionării Dispozitivelor IoT - Eliminarea dispozitivului din platformele IoT - dispozitivul trebuie eliminat complet din platformele IoT care îl gestionează, pentru a preveni interacțiunile neautorizate - ștergerea dispozitivului din baza de date - dispozitivul trebuie șters din lista dispozitivelor active ale platformei IoT - înlăturarea aplicațiilor și serviciilor asociate - orice aplicație, serviciu sau proces care depinde de dispozitiv trebuie să ﬁe ajustat pentru a nu mai încerca să comunice cu dispozitivul respectiv - Monitorizarea și validarea procesului - după ce procesul de decomisionare este ﬁnalizat, trebuie efectuată o monitorizare pentru a conﬁrma că dispozitivul a fost complet eliminat și nu există riscuri de securitate - audit de securitate - pentru a conﬁrma că dispozitivul nu mai este accesibil și că datele nu au fost compromise - testarea rețelei - dispozitivele rămase în rețea nu au fost afectate de decomisionare și că nu există puncte slabe sau erori în conﬁgurarea rețelei FINISH Tools and platforms for IoT device management - Cursul 8 - Curpins 1. Cum alegi platforma potrivită? 2. Platforme de management IoT cloud 3. Platforme independente pentru IoT 4. Platforme de securitate IoT Cum alegi platforma potrivită? - Scalabilitate - asigură-te că platforma poate gestiona numărul de dispozitive planiﬁcate - Compatibilitate - veriﬁcă suportul pentru protocoalele utilizate de dispozitivele tale - Costuri - compară modelele de licențiere (open-source, plătit, SaaS) - Securitate - platforma trebuie să includă funcționalități robuste de securitate - Integrări - capacitatea de a lucra cu alte instrumente și servicii cloud este esențială Platforme de management IoT cloud - AWS IoT Core (Amazon Web Services) - Google Cloud IoT Core - Microsoft Azure IoT Hub AWS IoT Core (Amazon Web Services) - o platformă scalabilă și sigură care permite conectarea, gestionarea și interacțiunea dispozitivelor IoT cu alte servicii AWS sau aplicații - concepută pentru a susține o gamă largă de cazuri de utilizare - dispozitive industriale - soluții pentru case inteligente - vehicule conectate - multe altele. AWS IoT Core - caracteristici Conectivitate și comunicare - Protocoluri suportate - MQTT, HTTP și WebSockets pentru a permite dispozitivelor să comunice eﬁcient - Device Shadow - Creează un „shadow” virtual pentru ﬁecare dispozitiv conectat, ceea ce permite sincronizarea stării dispozitivului între aplicații și dispozitiv chiar și când acesta este oﬄine. - Rules Engine - Motor de reguli care procesează datele transmise de dispozitive în timp real, declanșând acțiuni precum stocarea datelor sau trimiterea notiﬁcărilor. AWS IoT Core - caracteristici Gestionarea dispozitivelor - Registry - O bază de date unde dispozitivele IoT sunt înregistrate și identiﬁcate unic. - Management la distanță - Posibilitatea de a actualiza și monitoriza dispozitivele prin API-uri sau interfața web AWS. - Over-the-Air Updates (OTA) - Permite actualizarea ﬁrmware-ului dispozitivelor conectate, asigurând că acestea funcționează cu cele mai recente îmbunătățiri și remedieri de securitate. AWS IoT Core - caracteristici Securitate robustă: - Certiﬁcare bidirecțională - Autentiﬁcarea dispozitivelor folosind certiﬁcări unice emise de AWS IoT Core. - Criptare - Toate comunicațiile dintre dispozitive și platformă sunt criptate utilizând TLS (Transport Layer Security). - Politici IAM (Identity and Access Management) - Permite crearea de politici detaliate pentru a controla accesul la resursele AWS. AWS IoT Core - caracteristici Integrare cu alte servicii AWS - Amazon S3 - Pentru stocarea datelor generate de dispozitive. - AWS Lambda - Pentru execuția de funcții fără server ca răspuns la evenimentele generate de dispozitive. - Amazon Kinesis - Pentru procesarea și analiza datelor IoT în timp real. - AWS Machine Learning - Integrarea datelor IoT pentru construirea și rularea modelelor de învățare automată. Google Cloud IoT Core - Este un serviciu complet gestionat care permite conectarea, gestionarea și procesarea datelor dispozitivelor IoT - Este integrat în ecosistemul Google Cloud, permițând analiza în timp real, învățare automată și stocare scalabilă a datelor colectate de la dispozitivele conectate. Google Cloud IoT Core - caracteristici Conectivitate și protocoale - Protocoluri suportate - MQTT și HTTP pentru conectivitatea dispozitivelor IoT, asigurând o compatibilitate largă - Bridge MQTT - Un serviciu care facilitează gestionarea comunicației eﬁciente între dispozitive și Google Cloud. - Endpoint unic global - Oferă o interfață uniﬁcată pentru conectarea dispozitivelor, indiferent de locația ﬁzică. Google Cloud IoT Core - caracteristici Gestionarea dispozitivelor: - Device Registry - Permite înregistrarea și gestionarea dispozitivelor IoT, oferind identiﬁcatori unici și metadate asociate ﬁecărui dispozitiv. - Device State - Sincronizarea stării dispozitivelor, oferind posibilitatea de a stoca și vizualiza starea curentă sau istorică a dispozitivelor. - Firmware Over-the-Air (OTA) - Oferă posibilitatea actualizării ﬁrmware-ului dispozitivelor conectate la distanță. Google Cloud IoT Core - caracteristici Securitate robustă - Autentiﬁcare și autorizare - Folosește chei publice pentru autentiﬁcarea dispozitivelor și certiﬁcate de securitate pentru comunicație sigură. - Criptare - Toate datele transmise sunt criptate folosind standarde TLS. - Control granular al accesului - Integrare cu Google Cloud IAM (Identity and Access Management) pentru a deﬁni politici de acces la resurse. Google Cloud IoT Core - caracteristici Integrare cu alte servicii Google Cloud - Google Cloud Pub/Sub - Dispozitivele transmit date către Pub/Sub, permițând procesarea în timp real sau stocarea datelor. - BigQuery - Pentru analiza volumelor mari de date IoT cu ajutorul SQL. - Cloud Dataﬂow - Utilizat pentru procesarea ﬂuxurilor de date IoT în timp real. - Vertex AI - Permite integrarea datelor IoT în ﬂuxuri de lucru de învățare automată. - Cloud Functions - Rularea de funcții serverless pentru procesarea datelor dispozitivelor. Microsoft Azure IoT Hub - Este un serviciu gestionat care permite conectarea, monitorizarea și controlul dispozitivelor IoT - Este conceput pentru a gestiona volume mari de dispozitive și mesaje - Oferă funcționalități robuste pentru securitate, gestionarea dispozitivelor, și integrarea cu alte servicii Microsoft Azure - Este o alegere ideală pentru soluții IoT industriale și aplicații complexe Microsoft Azure IoT Hub - caracteristici Conectivitate bidirecțională - Permite comunicarea bidirecțională între dispozitive și cloud - De la dispozitiv la cloud (D2C): Trimiterea de telemetrie și date de la dispozitive - De la cloud la dispozitiv (C2D): Trimiterea de comenzi sau mesaje către dispozitive. - Suportă diverse protocoale standard, cum ar ﬁ MQTT, AMQP și HTTPS. Microsoft Azure IoT Hub - caracteristici Gestionarea dispozitivelor - Device Twin - Modele digitale ale dispozitivelor care stochează metadate, starea dispozitivului și istoricul comenzilor. - Group Management - Posibilitatea de a gestiona grupuri de dispozitive, inclusiv trimiterea de comenzi și conﬁgurări colective. - Firmware Over-the-Air (OTA) - Actualizări de ﬁrmware la distanță pentru dispozitive. Microsoft Azure IoT Hub - caracteristici Securitate avansată - Autentiﬁcare bazată pe certiﬁcare - Permite autentiﬁcarea folosind chei primare/secundare, certiﬁcate X.509 sau token-uri SAS (Shared Access Signature). - Control detaliat al accesului - Integrare cu Azure Active Directory (Azure AD) pentru gestionarea identităților și permisiunilor. - Criptare - Toate comunicațiile sunt criptate prin TLS pentru a proteja datele în tranzit. Microsoft Azure IoT Hub - caracteristici Integrare cu ecosistemul Azure - Azure Event Hubs - Procesarea și analiza datelor în timp real. - Azure Stream Analytics - Analiza ﬂuxurilor de date IoT pentru detectarea modelelor și declanșarea de acțiuni. - Azure Digital Twins - Modelarea virtuală a mediilor ﬁzice pentru vizualizare și simulare. - Azure Time Series Insights - Vizualizarea și analiza datelor istorice IoT. - Azure Machine Learning - Construirea și rularea de modele de învățare automată pe datele IoT. Comparație Caracteristică Azure IoT Hub AWS IoT Core Google Cloud IoT Core Conectivitate MQTT, AMQP, HTTPS MQTT, HTTP, WebSockets MQTT, HTTP Comunicare Da Da Da bidirecțională Suport pentru Edge Azure IoT Edge AWS IoT Greengrass Nu direct Computing Gestionarea Device Twin, OTA, management în Device Shadow, OTA Device Registry, OTA dispozitivelor grup Securitate TLS, autentiﬁcare X.509, SAS, TLS, autentiﬁcare TLS, chei publice, IAM Azure AD bidirecțională, IAM Integrare cu alte servicii Azure Stream Analytics, ML, Digital Lambda, S3, Kinesis, Pub/Sub, BigQuery, Dataﬂow, Twins SageMaker Vertex AI Comparație Caracteristică Azure IoT Hub AWS IoT Core Google Cloud IoT Core Procesare în timp real Azure Stream Analytics AWS Kinesis Cloud Dataﬂow Analiză a datelor Time Series Insights, ML S3, Athena, QuickSight BigQuery, Time Series Insights Suport pentru ML Azure Machine Learning, Cognitive AWS SageMaker Vertex AI, AutoML Services Protocoale suplimentare AMQP pentru aplicații industriale WebSockets pentru mobil Nu suportă alte protocoale Scalabilitate Până la milioane de dispozitive și Până la milioane de dispozitive Până la milioane de dispozitive mesaje și mesaje și mesaje Capacitate OTA Da, ﬁrmware la distanță Da, ﬁrmware la distanță Da, ﬁrmware la distanță Dezavantaje Costuri crescute pentru aplicații Poate deveni costisitor la scală Serviciul în curs de retragere mari mare Platforme independente pentru IoT - ThingsBoard - Particle IoT - Balena ThingsBoard - Este o platformă open source dedicată gestionării dispozitivelor IoT, colectării și procesării datelor, monitorizării în timp real și vizualizării acestora - Este potrivită atât pentru proiecte mici, cât și pentru implementări industriale la scară largă - Permite integrarea facilă cu diverse protocoale și infrastructuri existente ThingsBoard - caracteristici Suport pentru protocoale multiple - Suportă protocoale standard, cum ar ﬁ MQTT, HTTP, CoAP și integrarea cu LoRaWAN Gestionarea dispozitivelor - Device Management - Posibilitatea de a înregistra, monitoriza și gestiona dispozitive în mod individual sau în grupuri. - Control la distanță - Permite trimiterea de comenzi către dispozitivele conectate. - Firmware Updates - Suportă actualizări de ﬁrmware over-the-air (OTA) pentru dispozitive compatibile. ThingsBoard - caracteristici Vizualizare și monitorizare - Dashboard-uri personalizabile - Oferă un editor vizual pentru a crea dashboard-uri personalizate, care aﬁșează telemetria dispozitivelor în timp real. - Alertare - Posibilitatea de a seta reguli și alerte bazate pe evenimente sau praguri deﬁnite. - Geolocație - Suport pentru monitorizarea dispozitivelor pe hărți interactive. ThingsBoard - caracteristici Procesare și analiză a datelor: - Rule Engine - Un motor puternic pentru procesarea ﬂuxurilor de date și declanșarea automată a acțiunilor. - Permite deﬁnirea regulilor de procesare folosind un editor vizual sau scripturi personalizate. - Edge Analytics - Funcționalități pentru analizarea datelor direct la nivelul dispozitivelor sau gateway-urilor, reducând dependența de cloud. ThingsBoard - caracteristici Securitate: - Autentiﬁcare și autorizare - Suportă autentiﬁcarea utilizatorilor și dispozitivelor prin chei API, OAuth 2.0 și token-uri. - Control al accesului - Oferă un sistem granular de permisiuni bazat pe roluri (RBAC). Criptare: Comunicările sunt securizate prin TLS. Particle IoT - Este o platformă completă pentru dezvoltarea și gestionarea dispozitivelor IoT - Este concepută pentru a simpliﬁca conectivitatea, gestionarea și scalabilitatea soluțiilor IoT - Oferă o combinație de hardware, software și servicii cloud care ajută organizațiile să implementeze rapid și eﬁcient proiecte IoT Particle IoT - ecosistemul Hardware (Dispozitive conectate) - Module - Boron - Modul IoT pentru conectivitate celulară. - Argon - Modul pentru conectivitate Wi-Fi. - Xenon - Modul pentru rețele mesh (retras, dar folosit în trecut pentru scenarii locale). - Tracker SoM - Dispozitiv pentru monitorizarea ﬂotelor și soluții de localizare. Particle IoT - ecosistemul Particle Device OS - Sistem de operare IoT open source, optimizat pentru dispozitive Particle - Simpliﬁcă dezvoltarea software, gestionând lucruri precum conectivitatea, criptarea și actualizările OTA (Over-The-Air) - Compatibil cu limbaje de programare precum C și Arduino Framework Particle IoT - ecosistemul Particle Cloud - Platforma Cloud IoT a Particle - Facilitează conectivitatea dispozitivelor, colectarea datelor și gestionarea acestora. - Caracteristici principale - Device Management - Monitorizarea și gestionarea dispozitivelor dintr-un singur loc. - Data Storage - Stocare scalabilă pentru telemetria dispozitivelor. - API REST și Webhooks - Integrare facilă cu aplicații terțe. - OTA Updates - Actualizări de ﬁrmware la distanță pentru dispozitive. Balena IoT - Anterior cunoscută sub numele de Resin.io - Este o platformă dedicată dezvoltării, implementării și gestionării aplicațiilor IoT - Este proiectată pentru a simpliﬁca procesul de conﬁgurare, monitorizare și întreținere a dispozitivelor IoT la scară mare - Utilizează containere Docker pentru o distribuție rapidă și sigură a aplicațiilor Balena IoT - caracteristici Conectivitate și gestionare dispozitive - Gestionarea dispozitive la distanță - Oferă o platformă pentru monitorizarea și administrarea dispozitivelor în timp real, indiferent de locație. - Permite gestionarea ﬂotelor mari de dispozitive IoT. - Suport multi-platformă - Compatibil cu o gamă variată de hardware, inclusiv Raspberry Pi, BeagleBone și dispozitive industriale. Balena IoT - caracteristici Containere Docker - Folosește containere Docker pentru a izola aplicațiile, ceea ce face mai ușoară dezvoltarea, implementarea și rularea aplicațiilor pe dispozitive IoT - Suportă actualizări în timp real și rollback în caz de erori Balena IoT - ecosistem BalenaCloud - Oferă servicii pentru gestionarea dispozitivelor conectate, actualizări OTA (Over-The-Air) și monitorizarea ﬂotelor. - Are o interfață ușor de utilizat pentru a gestiona dispozitivele și aplicațiile IoT. - Funcții principale: - Actualizări automate de ﬁrmware și software. - Logging și monitorizare în timp real pentru debugging. - Suport pentru dispozitive oﬄine, cu sincronizare automată atunci când acestea revin online. Balena IoT - ecosistem BalenaOS - Un sistem de operare Linux optimizat pentru rularea containerelor Docker pe dispozitive IoT - Proiectat pentru conectivitate stabilă și compatibilitate cu actualizările OTA. - Suportă funcții de securitate avansate precum criptarea datelor și autentiﬁcarea dispozitivelor. Balena IoT - ecosistem BalenaHub - Marketplace pentru aplicații IoT. - Un catalog de proiecte și soluții IoT preconﬁgurate, care pot ﬁ utilizate rapid. - Include aplicații pentru monitorizarea mediului, sistemele de smart home și multe altele. Platforme de securitate IoT - Armis Security - Forescout Armis Security - Este o platformă de securitate cibernetică dedicată protejării dispozitivelor IoT, OT (Operational Technology) și altor dispozitive neadministrate din rețelele moderne. - Oferă vizibilitate completă asupra tuturor dispozitivelor conectate, detectează amenințările și vulnerabilitățile și permite remedierea rapidă a riscurilor fără a afecta operațiunile - Oferă o abordare fără agenți (agentless) și bazată pe cloud, ideală pentru organizațiile care adoptă tehnologii conectate la scară largă. Armis Security - caracteristici Vizibilitate completă a dispozitivelor - Identiﬁcă toate dispozitivele din rețea, inclusiv cele tradiționale (cum ar ﬁ PC-uri și servere) și dispozitivele neadministrate (IoT, OT, medicale, industriale). - Clasiﬁcă automat dispozitivele și le atribuie un proﬁl de securitate bazat pe tip, funcționalitate și comportament. Armis Security - caracteristici Detectare a amenințărilor - Utilizează un motor avansat de detectare a amenințărilor bazat pe AI și pe analiză comportamentală. - Detectează activități anormale, cum ar ﬁ transferuri de date neobișnuite sau conexiuni suspecte. - Identiﬁcă dispozitive compromise, atacuri de tip ransomware și alte amenințări avansate. Armis Security - caracteristici Evaluare continuă a riscurilor - Analizează în mod constant vulnerabilitățile dispozitivelor IoT și OT, oferind un scor de risc în funcție de expunere. - Recomandă acțiuni pentru reducerea riscurilor, cum ar ﬁ modiﬁcarea conﬁgurațiilor, izolarea dispozitivelor sau blocarea traﬁcului suspect. Armis Security - caracteristici Abordare fără agenți (Agentless) - Nu necesită instalarea de software suplimentar pe dispozitive. - Monitorizează traﬁcul de rețea pasiv, utilizând integrarea cu echipamente de rețea existente (switch-uri, ﬁrewall-uri, access points). Conformitate și audit - Ajută organizațiile să se conformeze cu reglementările în materie de securitate cibernetică (ex: GDPR) - Furnizează rapoarte detaliate pentru audit și analiză. Armis Security - caracteristici Integrare cu alte soluții de securitate - Compatibil cu o gamă largă de platforme de securitate existente, cum ar ﬁ - ﬁrewall-uri - sisteme de prevenire a intruziunilor (IPS) - soluții SIEM (Security Information and Event Management) - SOAR (Security Orchestration, Automation, and Response). Răspuns automatizat la incidente - Permite izolarea automată a dispozitivelor compromise pentru a preveni răspândirea amenințărilor. - Oferă notiﬁcări în timp real pentru acțiuni rapide de remediere. Forescout Vizibilitate și inventariere în timp real - Oferă identiﬁcare automată a tuturor dispozitivelor IoT din rețea, fără a necesita agenți sau intervenție manuală. - Platforma detectează: - Tipul dispozitivului (cameră IP, senzori, echipamente medicale, etc.). - Sistemul de operare și ﬁrmware-ul. - Riscurile asociate ﬁecărui dispozitiv. Forescout Evaluarea riscurilor și conformității - Inspectează dispozitivele IoT pentru a identiﬁca vulnerabilități precum: - Firmware învechit. - Conﬁgurații nesigure (parole implicite). - Protocoale de comunicare nesecurizate. - Generează scoruri de risc pentru ﬁecare dispozitiv. Forescout Controlul accesului și segmentarea - Oferă controlul accesului la rețea pentru dispozitivele IoT, izolând sau blocând automat dispozitivele suspecte sau neautorizate. - Segmentare dinamică - Asigură separarea logică a dispozitivelor IoT critice pentru a preveni răspândirea atacurilor. Forescout Integrarea și automatizarea securității - Se integrează cu alte tehnologii de securitate (ﬁrewall-uri, SIEM, NAC) pentru a aplica politici automate de securitate asupra dispozitivelor IoT. Detectarea și răspunsul la amenințări - Oferă monitorizare continuă și detectare a anomaliilor în comportamentul dispozitivelor IoT pentru a identiﬁca activități suspecte și a răspunde rapid la incidente. Armis Security vs Forescout Caracteristică Forescout Armis Security Vizibilitate în rețea Vizibilitate activă și pasivă. Identiﬁcare și Vizibilitate pasivă completă pentru dispozitive IT, IoT, clasiﬁcare detaliată a dispozitivelor conectate. OT și IIoT. Fără impact asupra rețelei. Controlul accesului Oferă Network Access Control (NAC) robust Nu oferă funcționalitate NAC, dar se integrează cu (NAC) pentru izolarea dispozitivelor nesigure. soluții NAC de la terți. Metoda de On-premise, cloud hibrid și local. Soluție cloud-native, agentless și pasivă. implementare Monitorizare Monitorizare continuă a traﬁcului și aplica Monitorizare continuă bazată pe analiză continuă automat politici de securitate. comportamentală. Detectarea Detectare și izolare activă a dispozitivelor Detectare avansată a anomaliilor bazată pe AI și anomaliilor și răspuns suspecte. răspuns pasiv. Armis Security vs Forescout Caracteristică Forescout Armis Security Integrarea în Integrare solidă cu soluții SIEM, ﬁrewall-uri, Integrare extinsă, cu accent pe sisteme cloud și ecosistemul IT endpoint și alte platforme NAC. platforme de securitate moderne. Focalizare principală IT, IoT, OT și control al accesului. IT, IoT, OT și detecție avansată pentru securitate proactivă. Scalabilitate Foarte scalabilă pentru organizații mari și Scalabilă, optimizată pentru implementări cloud-ﬁrst. complexe. FINISH

Analiza, Prelucrarea și Curățarea Datelor IoT (1) PDF

Document Details

Tags

Related

Summary

Full Transcript