Ενότητα: Big Data - Cloud Computing PDF

Τεχνολογίες Ηλεκτρονικής Υγείας και Εφαρμογές Διάλεξη 8η Ενότητα: Big data – Cloud computing Δρ. Ελένη Λαΐτσου Λάρισα, Δεκέμβριος 2023 2 Εισαγωγή  Τα δεδομένα παίζουν έναν σημαντικό ρόλο στην κοινωνία μας  Η ανάπτυξη του δια...

Τεχνολογίες Ηλεκτρονικής Υγείας και Εφαρμογές Διάλεξη 8η Ενότητα: Big data – Cloud computing Δρ. Ελένη Λαΐτσου Λάρισα, Δεκέμβριος 2023 2 Εισαγωγή  Τα δεδομένα παίζουν έναν σημαντικό ρόλο στην κοινωνία μας  Η ανάπτυξη του διαδικτύου και των υπηρεσιών του Web, καθώς και των κινητών συσκευών και αισθητήρων, οδήγησαν στη δημιουργία τεράστιων συνόλων δεδομένων.  Η έννοια των μεγάλων δεδομένων αφορά στα δεδομένα που υπερβαίνουν την επεξεργαστική δυνατότητα των συμβατικών συστημάτων βάσεων δεδομένων. 3 Big data: ορισμός  Τα μεγάλα δεδομένα συνήθως ορίζονται ως «μεγάλες ποσότητες δεδομένων που παράγονται πολύ γρήγορα από μεγάλο αριθμό διαφορετικών πηγών».  Big data refers to large amounts of data produced very quickly by a high number of diverse sources. Data can either be created by people or generated by machines, such as sensors gathering climate information, satellite imagery, digital pictures and videos, purchase transaction records, GPS signals, etc. It covers many sectors, from healthcare to transport and energy.“ European parliament 4 Τα μεγάλα δεδομένα αναφέρονται σε μεγάλες ποσότητες δεδομένων που παράγονται πολύ γρήγορα από μεγάλο αριθμό διαφορετικών πηγών. Τα δεδομένα μπορούν είτε να δημιουργηθούν από ανθρώπους είτε να δημιουργηθούν από μηχανές, όπως αισθητήρες που συλλέγουν πληροφορίες για το κλίμα, δορυφορικές εικόνες, ψηφιακές φωτογραφίες και βίντεο, αρχεία συναλλαγών αγορών, σήματα GPS κ.λπ. Καλύπτουν πολλούς τομείς, από την υγειονομική περίθαλψη έως τις μεταφορές και την ενέργεια. 5 Committees 8th parliamentary term (2014 - 2019) European Parliament 6 Υποκειμενικός ο όρος  Ο ορισμός των μεγάλων δεδομένων είναι υποκειμενικός. Δεν υπάρχει αναφορά στον αριθμό των byte.  Με το πέρασμα του χρόνου, το μέγεθος των συνόλων δεδομένων που ικανοποιεί τις προδιαγραφές των μεγάλων δεδομένων μπορεί να αυξηθεί  Επίσης το τι είναι «μεγάλο» για έναν οργανισμό, έναν τομέα ή μια χώρα μπορεί να είναι μικρό για κάποιον άλλον – π.χ. η Apple σε σύγκριση με μια μικρή επιχείρηση ή η Πορτογαλία σε σύγκριση με την Κίνα. 7 Ψηφιακό αποτύπωμα Σχεδόν οποιαδήποτε ενέργειά μας σήμερα αφήνει ένα ψηφιακό ίχνος. Πχ. Παράγουμε δεδομένα όποτε μεταφέρουμε τα smartphone μας που διαθέτουν αισθητήρες, όταν επικοινωνούμε με την οικογένεια ή τους φίλους μας χρησιμοποιώντας τα μέσα κοινωνικής δικτύωσης ή τις εφαρμογές ανταλλαγής μηνυμάτων, όταν κάνουμε κάποια online αναζήτηση και επίσης όταν αγοράζουμε κάτι από το διαδίκτυο. Αφήνουμε ψηφιακά αποτυπώματα με κάθε ψηφιακή μας ενέργεια και μερικές φορές ακόμα και χωρίς να το γνωρίζουμε ή να το θέλουμε. 8 Κατηγορίες big data Τα μεγάλα δεδομένα κατηγοριοποιούνται σε  δομημένα, όσα μπορούν να οργανωθούν σε σειρές και στήλες ή σε σχεσιακές βάσεις δεδομένων  ημιδομημένα και  μη δομημένα δεδομένα, όσα δεν είναι οργανωμένα με έναν προκαθορισμένο τρόπο, π.χ. tweet, οι δημοσιεύσεις στα blog, οι εικόνες, οι αριθμοί, ακόμα και τα δεδομένα βίντεο 9 3V Ο πιο κοινά αποδεκτός χαρακτηρισμός των μεγάλων δεδομένων ακολουθεί τα τρία V που επινόησε ο Doug Laney το 2001:  ο μεγάλος όγκος (volume) των παραγόμενων δεδομένων,  η μεγάλη ποικιλομορφία (variety) των τύπων δεδομένων που αποθηκεύονται και υποβάλλονται σε επεξεργασία στα συστήματα των μεγάλων δεδομένων και  η ταχύτητα (velocity) με την οποία τα δεδομένα παράγονται, συλλέγονται και υποβάλλονται σε επεξεργασία. 10 Συν 3V  Έχουν επίσης προστεθεί και η εγκυρότητα (veracity),  η αξία (value) και  η μεταβλητότητα (variability) για τον εμπλουτισμό της περιγραφής των μεγάλων δεδομένων 11 Ανάλυση μεγάλων δεδομένων  Η ανάλυση των μεγάλων δεδομένων είναι η τεχνολογική διαδικασία της εξέτασης των μεγάλων δεδομένων (μεγάλος όγκος, υψηλή ταχύτητα ή/και μεγάλη ποικιλομορφία συνόλων δεδομένων) για την αποκάλυψη πληροφοριών (κρυφών μοτίβων, συσχετισμών, τάσεων της αγοράς ή/και προτιμήσεων των πελατών).  Βοηθά οργανισμούς, κυβερνήσεις ή ιδρύματα να εξετάσουν τα σύνολα δεδομένων και να αποκτήσουν γνώσεις ώστε να λάβουν ενημερωμένες, εξυπνότερες και γρηγορότερες αποφάσεις.  Αυτό απαντά σε τρεις σημαντικές ερωτήσεις: τι, γιατί και πώς 12 Κύκλος ζωής διαχείρισης δεδομένων  Τα μεγάλα δεδομένα ακολουθούν την αρχή του «όσα περισσότερα γνωρίζεις για ένα θέμα, τόσο πιο αξιόπιστα μπορείς να αποκτήσεις νέες γνώσεις και να κάνεις προβλέψεις για το τι θα συμβεί στο μέλλον».  Ένας τυπικός κύκλος ζωής διαχείρισης δεδομένων περιλαμβάνει τη ▪ λήψη, ▪ αποθήκευση, ▪ επεξεργασία, ▪ ανάλυση, ▪ οπτικοποίηση, ▪ κοινή χρήση και ▪ εφαρμογές 13 Cloud και big data  Το cloud και τα μεγάλα δεδομένα συμπορεύονται, με την ανάλυση δεδομένων να πραγματοποιείται στις υπηρεσίες δημόσιων cloud.  Εταιρείες όπως η Amazon, η Microsoft και η Google προσφέρουν υπηρεσίες cloud που παρέχουν τη δυνατότητα γρήγορης ανάπτυξης τεράστιων ποσοτήτων υπολογιστικής ισχύος, ώστε οι εταιρείες να μπορούν να έχουν πρόσβαση σε κορυφαία υπολογιστική ισχύ κατ’ απαίτηση, χωρίς να είναι ιδιοκτήτες της απαραίτητης υποδομής, και να εκτελούν ολόκληρο τον κύκλο ζωής της διαχείρισης δεδομένων στο cloud. 14 Εφαρμογές (1) Βελτίωση της φροντίδας υγείας  Με την ανάλυση μεγάλου όγκου ιατρικών αρχείων και απεικονίσεων, τα μοτίβα που προκύπτουν μπορούν να βοηθήσουν στον έγκαιρο εντοπισμό ασθενειών και στην ανάπτυξη νέων φαρμάκων.  Χρειάστηκαν 10 χρόνια για την αποκωδικοποίηση του ανθρώπινου γονιδιώματος. Σήμερα, η υπολογιστική ισχύς της ανάλυσης των μεγάλων δεδομένων μας δίνει τη δυνατότητα να αποκωδικοποιούμε ολόκληρες αλληλουχίες DNA μέσα σε λίγα λεπτά και θεωρείται ότι αυτό θα μας δώσει τη δυνατότητα να θεραπεύουμε, να κατανοούμε και να προβλέπουμε μοτίβα ασθενειών.  Αν όλα τα ξεχωριστά δεδομένα από τα smart watch και τις φορητές συσκευές συγκεντρωθούν μαζί, μπορούν να εφαρμοστούν σε εκατομμύρια ανθρώπους και στις ασθένειες τους. Οι κλινικές δοκιμές μπορεί να γίνουν πολύ πιο ισχυρές και πιο εύστοχες. 15 Εφαρμογές (2) ResearchKit της Apple  Μπορεί να μετατρέψει το τηλέφωνό σε μια συσκευή βιοϊατρικής έρευνας.  Μια συσκευή, όπως ένα smart watch, μπορεί να: παρακολουθεί πόσα βήματα κάνει κάποιος την ημέρα, πώς κοιμήθηκε, να ρωτά ασθενείς με καρκίνο πώς νιώθουν μετά από μια συνεδρία χημειοθεραπείας να παρακολουθεί πώς εξελίσσεται η ασθένεια του Πάρκινσον σε κάποιον ασθενή 16 Εφαρμογές (3) Παρακολούθηση πρόωρων βρεφών (Digi-NewB)  Τα πρόωρα νεογνά πρέπει να ολοκληρώσουν την ανάπτυξή τους έξω από τη μήτρα της μητέρας τους, ενώ το ανοσοποιητικό τους σύστημα δεν είναι πλήρως λειτουργικό, γεγονός που αυξάνει τον κίνδυνο λοιμώξεων. Η γρήγορη διάγνωση χωρίς επεμβατική παρακολούθηση είναι καίριας σημασίας.  Η Digi-NewB εργάζεται σε ένα μη επεμβατικό σύστημα παρακολούθησης το οποίο βοηθά τους γιατρούς και τους νοσηλευτές να λαμβάνουν καλύτερες αποφάσεις, γρηγορότερα, για την αποτροπή λοιμώξεων.  Το σύστημα αναπτύχθηκε βασιζόμενο σε μια μεγάλη βάση δεδομένων με δεδομένα καταγραφών ζωτικών σημείων, δεδομένα κλινικών αρχείων υγείας και δεδομένα που προέρχονται από βίντεο και ήχο από περισσότερα από 700 νεογνά. 17 Επαγγελματίες των big data  Δεν είναι σημαντική μόνο η κατοχή των δεδομένων, αλλά και να υπάρχουν τα άτομα που να μπορούν να εξάγουν γνώσεις από αυτά.  Πρέπει να μπορούν να εκτιμήσουν ποια είναι η καλύτερη λύση για τον τύπο δεδομένων που έχουν, ποιες είναι οι ανάγκες (δηλαδή τι θέλει κάποιος να πετύχει με την ανάλυση αυτών των δεδομένων) και ποια είναι τα κατάλληλα εργαλεία  Οι επαγγελματίες των μεγάλων δεδομένων πρέπει επίσης να κατανοούν τις νομικές και οικονομικές πλευρές των δεδομένων, ώστε να μετατρέπουν τις γνώσεις σε αξία και να επικοινωνούν συχνά με ανώτερα στελέχη και διαχειριστές προϊόντων σχετικά με όσα έχουν μάθει και τον τρόπο που μπορούν να χρησιμοποιηθούν προς νέες επιχειρηματικές κατευθύνσεις (πχ. νέες υπηρεσίες και νέα προϊόντα, πιο αποτελεσματικά μοντέλα λειτουργίας ή νέες αγορές). 18 Cloud computing  Όταν κάτι βρίσκεται στο cloud, σημαίνει ότι είναι αποθηκευμένο σε διακομιστές στους οποίους αποκτάτε πρόσβαση μέσω του διαδικτύου αντί για τοπικά.  Η φιλοξενία στο cloud προσφέρει υπολογιστικούς πόρους κατ' απαίτηση – τα πάντα, από εφαρμογές, λογισμικό, βάσεις δεδομένων – που εκτελούνται σε αυτούς τους διακομιστές, οι οποίοι συχνά βρίσκονται σε κέντρα δεδομένων (data centers). 19 Χαρακτηριστικά (1) Αυτοεξυπηρέτηση κατ' απαίτηση (On-demand self-service): Οι χρήστες μπορούν να αποκτήσουν πρόσβαση σε πόρους στο cloud (όπως επεξεργαστική ισχύ, χώρο αποθήκευσης και δίκτυο) όταν απαιτείται μέσω μιας διασύνδεσης χωρίς να απαιτείται η παρέμβαση του παρόχου υπηρεσιών. Ευρεία πρόσβαση στο δίκτυο (Broad network access): Η πρόσβαση σε αυτούς τους πόρους cloud computing γίνεται μέσω του δικτύου, μέσω τυπικών μηχανισμών και πλατφορμών όπως τα κινητά τηλέφωνα, τα tablet, οι φορητοί υπολογιστές και οι σταθμοί εργασίας. 20 Χαρακτηριστικά (2) Κοινή διάθεση πόρων (Resource pooling): Είναι το κλειδί για κλιμακωτές και οικονομικά αποδοτικές υπηρεσίες. Οι υπολογιστικοί πόροι κατανέμονται και ανακατανέμονται δυναμικά σύμφωνα με τη ζήτηση και εξυπηρετούν πολλούς καταναλωτές. Άμεση ελαστικότητα (Rapid elasticity): Οι χρήστες μπορούν να έχουν πρόσβαση σε περισσότερους πόρους όταν τους χρειάζονται και να αποδεσμεύονται όταν δεν τους χρειάζονται, επειδή οι πόροι παρέχονται και αποδεσμεύονται με ελαστικότητα. Τιμολόγηση βάσει χρήσης (Measured service): Οι χρήστες πληρώνουν μόνο για τους πόρους που χρησιμοποιούν ή έχουν δεσμεύσει– αν δεν τους χρησιμοποιήσουν, δεν πληρώνουν. Η χρήση των πόρων παρακολουθείται, καταμετράται και αποτυπώνεται σε αναφορές με διαφάνεια με βάση τη χρήση, όπως και κάθε άλλη υπηρεσία κοινής ωφέλειας. 21 Τεχνολογία ως υπηρεσία  Το cloud computing είναι τεχνολογία «ως υπηρεσία»: Μπορεί κάποιος να χρησιμοποιεί απομακρυσμένους πόρους κατ' απαίτηση μέσω του ανοιχτού διαδικτύου, να αυξάνει και να μειώνει την κατανάλωση πόρων ανάλογα με τις απαιτήσεις και να πληρώνει για ό,τι χρησιμοποιεί.  Αυτό το επαναστατικό μοντέλο βοηθά οργανισμούς να γίνουν πιο ευέλικτοι καθώς ανταποκρίνονται στις αλλαγές της αγοράς. 22 Σύμβολο του νέφους  Η ονομασία cloud computing είναι εμπνευσμένη από το σύμβολο του νέφους το οποίο συχνά χρησιμοποιείται για να αναπαραστήσει το διαδίκτυο στα διαγράμματα ροής.  Με το cloud computing, η τοποθεσία του παρόχου υπηρεσιών, το υλικό και το υποκείμενο λειτουργικό σύστημα είναι συνήθως αδιάφορο για τον χρήστη 23 Εικονικοποίηση (virtualisation)  Με τις εικονικές μηχανές, είναι σαν να λειτουργούν πολλοί υπολογιστές εντός ενός υπολογιστή.  Κάθε εικονική μηχανή μπορεί να εγκατασταθεί με το απαιτούμενο λειτουργικό σύστημα από τον κάθε χρήστη (όπως Microsoft Windows, macOS, Linux) και να λειτουργεί σαν να είχε τους δικούς της πόρους (μνήμη, επεξεργαστή, σκληρούς δίσκους και δικτύωση) – αν και αυτά βρίσκονται υπό κοινή χρήση.  Αυτό ονομάζεται εικονικοποίηση (virtualisation) και έπαιξε καταλυτικό ρόλο για πολλές σημαντικές εξελίξεις στις επικοινωνίες και την υπολογιστική. Είναι επίσης η κύρια τεχνολογία γενικής εφαρμογής για το cloud computing. 24 Τύποι υπηρεσιών (1)  Οι τρεις κύριες λύσεις cloud computing είναι οι εξής: υποδομή ως υπηρεσία (IaaS), πλατφόρμα ως υπηρεσία (PaaS) και λογισμικό ως υπηρεσία (SaaS). Βασίζονται στα τρία επίπεδα μιας υπολογιστικής στοίβας – υποδομή, πλατφόρμα και εφαρμογές.  Σε ένα μοντέλο υποδομής ως υπηρεσία, οι χρήστες μπορούν να αποκτούν πρόσβαση σε υποδομή και φυσικούς υπολογιστικούς πόρους όπως οι διακομιστές, η δικτύωση, ο χώρος αποθήκευσης και ο χώρος σε κέντρα δεδομένων – χωρίς να απαιτείται η κατοχή, η διαχείριση ή η λειτουργία της από τους ίδιους. 25 Τύποι υπηρεσιών (2)  Σε ένα μοντέλο πλατφόρμας ως υπηρεσία, οι χρήστες αποκτούν πρόσβαση στο υλικό και στα εργαλεία λογισμικού – συνήθως αυτά που απαιτούνται για την ανάπτυξη και εγκατάσταση εφαρμογών στους χρήστες μέσω του διαδικτύου.  Το λογισμικό ως υπηρεσία είναι ένα μοντέλο παραχώρησης άδειας χρήσης και διανομής λογισμικού, όπου το λογισμικό και οι εφαρμογές φιλοξενούνται κεντρικά και η άδεια χρήσης παραχωρείται βάσει συνδρομής, ενώ αναφέρεται επίσης και ως «λογισμικό κατ’ απαίτηση». Τέλος Ενότητας