Monitorizarea Dispozitivelor IoT

Podcast

Play an AI-generated podcast conversation about this lesson

Questions and Answers

Care dintre următoarele este o componentă cheie a protocolului SNMP?

Agentul SNMP (correct)

Gateway-uri IoT

Aplicații mobile

Microcontrolere

Care dintre următoarele caracteristici ale cloud computing-ului este relevantă pentru monitorizarea dispozitivelor IoT?

Panouri de monitorizare centralizate (correct)

Interoperabilitate limitată

Scalabilitate redusă

Costuri mari

Ce tip de control permite ajustarea setărilor dispozitivelor IoT de la distanță?

Control bazat pe AI

Control automatizat

Control de la distanță (correct)

Control manual

Care dintre următoarele nu este o funcție a Firmware Over-The-Air (FOTA)?

Conﬁgurarea inițială a dispozitivelor (C) Signup and view all the answers

Care dintre următoarele este un avantaj al utilizării inteligenței artificiale în monitorizarea dispozitivelor IoT?

Analiza predictivă pentru prevenirea defecțiunilor (A) Signup and view all the answers

Care dintre următoarele este o tehnologie care permite conﬁgurarea dispozitivelor IoT prin rețea?

Conﬁgurare over-the-air (OTA) (A) Signup and view all the answers

Care dintre următoarele tehnici de control utilizează algoritmii AI pentru a controla dispozitivele IoT?

Control bazat pe AI (D) Signup and view all the answers

Care dintre următoarele este un avantaj al utilizării CLI pentru conﬁgurarea dispozitivelor IoT?

Flexibilitate și control granular (A) Signup and view all the answers

Care dintre următoarele este un dezavantaj al utilizării Edge Computing pentru monitorizarea dispozitivelor IoT?

Creșterea latenței (A) Signup and view all the answers

Care dintre următoarele este o sursă potențială de informații pentru algoritmii de machine learning utilizați în monitorizarea dispozitivelor IoT?

Datele colectate de la dispozitivele IoT (D) Signup and view all the answers

Care este diferența principală dintre Apache Flink și Apache Spark în ceea ce privește procesarea în flux?

Apache Flink tratează fluxurile de date ca infinite. (C) Signup and view all the answers

Ce caracteristică face ca Apache Spark să fie lider în procesarea batch?

Maturitatea și performanța sa (C) Signup and view all the answers

Care este metoda de filtrare care exclude datele ce nu respectă valori minime?

Filtrare bazată pe praguri (D) Signup and view all the answers

În ce mod Apache Flink gestionează procesarea batch?

Transformă job-urile batch în fluxuri de date finite. (C) Signup and view all the answers

Care este una dintre limitările Apache Flink în comparație cu Apache Spark?

Procesarea batch complexă (A) Signup and view all the answers

Ce obiectiv are filtrarea în IoT?

Eliminarea datelor neimportante (C) Signup and view all the answers

Care este avantajul principal al utilizării filtrării la senzor în IoT?

Reducerea latenței în procesarea datelor (B) Signup and view all the answers

Care dintre următoarele afirmații este adevărată referitor la procesarea fluxurilor întârziate?

Apache Flink suportă procesarea fluxurilor întârziate eficient. (C) Signup and view all the answers

Ce metodă poate fi folosită pentru a estima comportamentul echipamentului în cazul unui senzor de vibrație defect?

Sistem predictiv (B) Signup and view all the answers

Care este semnificația parametrului 'd' în modelul ARIMA?

Numărul de diferențieri pentru a face seria staționară (C) Signup and view all the answers

Care dintre următoarele opțiuni nu este o aplicație a arhitecturii de rețea pentru reducerea pierderilor de conectivitate?

Implementarea alertelor automate (B) Signup and view all the answers

Ce tip de date sunt cele mai potrivite pentru utilizarea modelului ARIMA?

Date care prezintă o structură dependentă în timp (C) Signup and view all the answers

În contextul gestionării datelor lipsă, ce opțiune descrie cel mai bine excluderea datelor lipsă?

Este folosită în aplicațiile unde datele lipsă nu afectează semnificativ rezultatul final (C) Signup and view all the answers

Ce parametru ARIMA este responsabil pentru modelarea dependenței dintre valoarea actuală și valorile anterioare?

p (AutoRegressive - AR) (B) Signup and view all the answers

Ce se întâmplă atunci când un wearable nu înregistrează pulsul pentru o perioadă scurtă?

Se face imputare pentru continuitatea monitorizării (B) Signup and view all the answers

Ce tehnică poate fi utilizată pentru a gestiona lipsa datelor despre umiditatea solului?

Folosirea datelor istorice sau predictive (B) Signup and view all the answers

Care dintre următoarele caracteristici nu este esențială pentru alegerea unei platforme IoT?

Popularitatea pe piață (A) Signup and view all the answers

Ce protocol nu este susținut de AWS IoT Core pentru comunicarea dispozitivelor?

FTP (D) Signup and view all the answers

Ce funcționalitate se ocupă cu gestionarea stării dispozitivelor atunci când acestea sunt offline?

Device Shadow (B) Signup and view all the answers

Care dintre următoarele opțiuni descrie cel mai bine o funcționalitate de securitate oferită de AWS IoT Core?

Certificare bidirecțională (A) Signup and view all the answers

În contextul platformelor IoT, ce tip de costuri trebuie comparate?

Modelele de licențiere (B) Signup and view all the answers

Ce tip de platformă nu este inclus în categorisirea platformelor IoT cloud?

Platforme de calcul distribuit (A) Signup and view all the answers

Care dintre următoarele afirmații referitoare la AWS IoT Core este falsă?

Nu este scalabilă. (D) Signup and view all the answers

Ce caracteristică este crucială pentru integrarea eficientă a platformelor IoT cu alte servicii?

Compatibilitate (B) Signup and view all the answers

Care este principalul scop al filtrării temporale în IoT?

Trimiterea datelor la intervale specifice de timp (C) Signup and view all the answers

Ce tip de agregare se referă la gruparea datelor pe baza intervalelor de timp?

Agregare temporală (B) Signup and view all the answers

Care dintre următoarele tehnici reprezintă un tip de normalizare în IoT?

Conversia unităților de măsură (A) Signup and view all the answers

Ce reprezintă agregarea spațială în contextul IoT?

Combinația datelor pe baza locației geografice (B) Signup and view all the answers

Ce metodă este utilizată pentru a reduce complexitatea înainte de transmiterea datelor în IoT?

Normalizarea la marginea rețelei (B) Signup and view all the answers

Care este unul dintre obiectivele principale ale agregării în IoT?

Crearea rapoartelor concise și semnificative (D) Signup and view all the answers

Ce eveniment ar putea declanșa filtrarea bazată pe evenimente în IoT?

Apariția unei valori extreme a vibrațiilor (C) Signup and view all the answers

La ce nivel de procesare se aplică de obicei normalizarea în IoT, în special pentru analize complexe?

În cloud (C) Signup and view all the answers

Ce funcții de securitate avansate sunt suportate de BalenaOS?

Criptarea datelor și autentificarea dispozitivelor (D) Signup and view all the answers

Care este principalul scop al Armis Security?

Protejarea dispozitivelor IoT și OT (C) Signup and view all the answers

Ce tip de abordare oferă Armis Security pentru securizarea dispozitivelor?

Fără agenți și bazată pe cloud (C) Signup and view all the answers

Ce tehnologie utilizează Armis Security pentru detectarea amenințărilor?

Un motor de detectare bazat pe AI (A) Signup and view all the answers

Cum clasifica Armis Security dispozitivele din rețea?

Automat și pe baza tipului, funcționalității și comportamentului (B) Signup and view all the answers

Care este rezultatul evaluării continue a riscurilor de către Armis Security?

Un scor de risc în funcție de expunere (B) Signup and view all the answers

Ce tip de aplicații sunt incluse în BalenaHub?

Aplicații pentru monitorizarea mediului și sisteme de smart home (A) Signup and view all the answers

Ce caracteristică definește BalenaOS?

Este optimizat pentru rularea containerelor Docker pe dispozitive IoT (C) Signup and view all the answers

Study Notes

Analiza, Prelucrarea și Curățarea Datelor IoT (Cursul 6)

Scopul cursului este de a studia analiza, prelucrarea și curățarea datelor generate de dispozitivele IoT.
Cursul acoperă instrumente și tehnologii utilizate, filtrarea, normalizarea și agregarea datelor IoT, identificarea și gestionarea datelor lipsă, eliminarea anomaliilor și detectarea zgomotului și validarea datelor.
Sunt prezentate și modele ARIMA și LSTM.

Instrumente și tehnologii

Instrumentele și tehnologiile cheie pentru prelucrarea datelor IoT sunt prezentate și discutate în detaliu.
Una dintre soluțiile mentionate este Apache Kafka.

Apache Kafka

Similar cu un serviciu de curierat, Kafka este o platformă care facilitează transportul de fluxuri mari de date între puncte diferite.
Gestionează transportul datelor, asigurându-se că acestea sunt livrate intacte și la timp.
Caracteristici:
- Procesare în timp real (real-time) - procesează milioane de surse de date în timp real.
- Scalabilitate - capabil să gestioneze un număr mare de surse de date.
- Durabilitate - asigură că datele sunt stocate într-o manieră sigură și gestionează defecțiunile sistemului.

Kafka - componente

Producer - creează și trimite mesaje.
Broker - primește mesaje de la producători și le stochează până sunt necesare.
Topic - clasifică mesajele.
Partiție - împarte un topic (exemplu, pe bază de dată/lună/an).
Consumer - extrage mesajele stocate.
Zookeeper - supraveghează brokerii.

Apache Spark

Un motor de analiză de date open-source destinat procesării datelor la scară largă.
Oferă o interfață pentru programarea clusterelor, inclusiv mecanisme de analiză paralelă.
Caracteristici:
- Performanță ridicată - foloseste procesare în memorie.
- Procesare unificată - permite diverse sarcini (batch, streaming, SQL, machine learning).
- Compatibilitate - compatibil cu ecosistemul Hadoop pentru stocare durabilă.
- API-uri prietenoase pentru limbaje precum Python, Java, Scala și R.

Apache Spark - componente

Spark Core: gestionează procesarea distribuită, comunicarea cu clusterele și manipularea datelor.
Spark SQL: permite interogarea datelor folosind tehnici SQL.
Spark Streaming: procesează datele în flux (streaming) aproape în timp real.
MLlib: bibliotecă pentru machine learning (clasificare, regresie, clustering).
GraphX: bibliotecă pentru procesarea și analiza grafurilor.

Apache Kafka + Apache Spark

O soluție robustă pentru aplicații de procesare în flux (stream processing).
Integrarea Kafka - Spark permite citirea și procesarea datelor din Kafka folosind Spark Streaming.

Exemple de utilizare AWS IoT Core

Monitorizarea dispozitivelor IoT - procesarea datelor de la senzori in timp real.
Detectarea fraudelor - monitorizarea tranzacțiilor utilizând machine learning.
Sisteme de recomandare - generarea de recomandări personalizate in timp real.

Apache Flink

Platformă open-source pentru procesarea datelor distribuite în timp real.
Suportă analiza continuă cu latență mică și procesarea în regim batch.
Caracteristici:
- Scăderea latenței
- Scalabilitate
- Toleranță la erori.
- Flexibilitate in procesarea datelor.

Apache Flink - componente

JobManager: coordonează execuția sarcinilor în cluster.
TaskManager: execută sarcinile, gestionează resursele și checkpoint-urile.
State Backend: stochează starea aplicației.
Checkpointing: creează puncte de salvare.

Apache Flink vs Apache Spark

Procesare în flux: Apache Flink este optimizat pentru stream processing, iar Apache Spark folosește micro-batch.
Procesare Batch: Apache Spark este considerat lider în procesarea batch.

Filtrarea în IoT

Procesul de selecție a informațiilor relevante dintr-un flux de date mare.
Obiective: reducerea volumului de date, excluderea datelor incorecte sau eronate, creșterea eficienței sistemului.
Implementare: la nivel de senzor, gateway IoT sau la locul de procesare.

Tipuri de filtrare

Bazată pe praguri (Threshold-based Filtering) - exclude date care nu respectă anumite limite. (ex: temperatura sub 0°C).
Temporală - trimite date doar la intervale specifice de timp. (ex: datele despre vânt la fiecare 20 de minute).
Spațială - selectează date relevante doar din anumite regiuni. (exemplu: senzori activi într-o anumită zonă).
Bazată pe evenimente (Event-based Filtering) - date transmise doar în cazul unor evenimente specifice. (ex: trimise cand vibrațiile depășesc o limită).

Normalizarea în IoT

Standardizarea datelor pentru a le face compatibile între surse diferite.
Obiective: obținerea unor date consistente, facilitarea integrării între surse diverse, asigurarea interoperabilității între diverse dispozitive IoT.

Tehnici comune de normalizare

Conversia unităților de măsură (ex: livre în kilograme).
Scalarea valorilor (scalarea într-un interval standard).
Convertirea la formate comune pentru date neuniforme.

Agregarea în IoT

Procesul de grupare, combinare sau sumarizare a datelor brute pentru extragerea de informații utile.
Obiective: reducerea încărcării reţelei, crearea de rapoarte concise, identificarea de tendințe sau modele.
Tipuri de agregare: temporală, spațială, statistică, evenimentuală. (Exemplu: media temperaturilor din oră, sau numărul de alarme de gaz într-un interval de timp.)

Implementarea agregării

Edge Aggregation - agregare pe dispozitive IoT sau gateway-uri pentru reducerea volumului de date transmise.
Cloud Aggregation - agregare pe sisteme cloud pentru analize complexe pe seturi mari de date.
Hierarchical Aggregation - utilizarea mai multor nivele de agregare (de la senzori la gateway-uri, apoi la cloud).

Resampling în IoT

Modificarea frecvenței datelor pentru a se potrivi nevoilor de procesare sau analiză.
Poate însemna reducerea sau creșterea de puncte de date într-un interval de timp.
Tipuri: downsampling (reducerea frecvenței), upsampling (creșterea frecvenței), agregare temporală, interpolare.

Reconfigurarea fluxurilor de date în IoT

Modificarea structurii, direcției sau conținutului fluxurilor de date pentru a satisface cerințele aplicațiilor sau utilizatorilor.

Identificarea și gestionarea datelor lipsă

Cauze frecvente: defecțiuni hardware, probleme de conectivitate, erori de transmisie, deficiențe software.
Factori externi: condiții meteorologice, interferențe electromagnetice.

Gestionarea datelor lipsă

Imputare: tehnică pentru estimarea valorilor lipsă.
Interpolare liniară, metode bazate pe medii, modele predicitive (ex: regresii, rețele neuronale).
Tehnicile avansate includ: ARIMA, Kalman filters.
Procesare la margine (Edge Computing): detecteaza si completeaza date lipsa pe dispozitiv, pentru a preveni transmiterea partiala.
Măsuri de redundanță: instalarea de senzori suplimentari pentru a acoperi goluri de date.
Stocare tampon.
Îmbunătăţirea rețelelor, notificarea erorilor, excluderea datelor lipsă.

Algoritmi ML utilizați pentru imputarea datelor lipsă

Modele avansate: Random Forest, Gradient Boosting
Modele deep learning: Rețele neuronale, Rețele neuronale recurente (RNN) sau LSTM.

ARIMA

Model statistic pentru analiza și prognoza seriilor temporale.
Definit prin parametrii (p, d, q) (AutoRegressive, Integrated, Moving Average).
Folosit pentru prognoza pe termen lung.

LSTM

Tip de rețea neuronală recurentă, optimizată pentru învățarea dependențelor pe termen lung.
Folosit pentru prelucrarea datelor complexe, neregulate, în timp real și predicții.
Structură: celule care gestionează informații pe termen scurt și lung (cell state, gates).

LSTM în IoT

Colectarea datelor IoT in mod continuu, preprocesarea datelor si transformarea intr-o forma secventiala pentru introducerea în model.
Datele preprocesate sunt convertite în serii temporale, fiecare punct reprezentând starea sistemului la un moment dat.

Alte algoritmi de filtrare

Filtru mediu mobil (Moving Average): calculează media valorilor într-o fereastră glisantă.
Filtru median: înlocuiește fiecare valoare cu mediana valorilor dintr-o fereastră.
Filtru Kalman: combină măsurătorile actuale și istorice pentru estimarea stării reale.
Transformata Wavelet: separa zgomotul de semnal prin decompunere în frecvențe.

Metode statistice de detectare a anomaliilor

Analiza deviației standard: valorile care depășesc un anumit număr de deviații standard față de medie sunt considerate anomalii.
Interquartile range (IQR).

Detectare şi eliminare anomalii

Metoda bazată pe învățare automată (exemplu, Clustering, Regresia robustă, Isolation Forest, SVM, Autoencoders).
Metoda bazată pe metode statistice (exemplu, Analiza deviației standard, Interquartile Range).

Metode bazate pe seriile temporale

Analiza sezonieră: compararea datelor actuale cu datele istorice.
Modelarea prin ARIMA sau LSTM: antrenarea modelului pe datele istorice pentru predicții.

Alte aspecte în Managementul dispozitivelor IoT

Gestionarea dispozitivelor, onboarding, monitorizare, configurare şi control, securitate, actualizări.
Tipuri de onboarding: manual, automatizat, onboarding în masă.

Platforme de Management IoT Cloud

AWS IoT Core, Google Cloud IoT Core, Microsoft Azure IoT Hub.

Platforme independente pentru IoT

ThingsBoard, Particle IoT, Balena IoT.

Platforme de securitate IoT

Armis Security, Forescout.

Studying That Suits You

Use AI to generate personalized quizzes and flashcards to suit your learning preferences.

Description

Acest quiz se concentrează pe aspectele esențiale ale monitorizării dispozitivelor IoT, inclusiv tehnologiile, avantajele și dezavantajele acestora. Întrebările abordează concepte precum SNMP, FOTA, și utilizarea inteligenței artificiale în acest context. Verificați cât de bine înțelegeți aceste teme importante!