Predavanja o Informacijskih tehnologijah (PDF)

5. Informacijske tehnologije Vsebina poglavja: – 5.1 Uvod – 5.2 Internet – 5.3 Poslovno obveščanje in poslovna analitika – 5.4 Dokumentacijski sistemi in elektronski arhiv – 5.5 Varnost – 5.6 Tehnologije veriženja blokov – 5.7 Virtualizacija – 5.8 Računalništvo v oblaku – 5.9 Internet stvari – 5.10 Generativna UI v podjetjih Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.1 Uvod Pojem informacijsko komunikacijske tehnologije (IKT) vključuje vse raznovrstne tehnologije za obdelavo in prenos podatkov. Pogosto se kot sinonim uporablja tudi izraz informacijske tehnologije (IT) Fakulteta za računalništvo in informatiko Univerza v Ljubljani 1 5.2 Internet ARPANET 1/2 – ARPA (Advanced Research Project Agency) je v 1960ih letih za potrebe ministrstva za obrambo ZDA oblikovala ARPANET. – ARPANET je bilo prvo delujoče paketno omrežje in je pričelo delovati leta 1969. – ARPANET je že vključeval vse bistvene elemente, ki jih dandanes srečamo v okviru Interneta. – Ključna ideja je bila delitev podatkov v pakete, ki nato od pošiljatelja do prejemnika potujejo po poljubni fizični poti. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.2 Internet ARPANET 2/2 – ARPANET je za komunikacijo uporabljal protokol 1822 in Network Control Program (NCP) – NCP je zagotavljal naslednje standardne storitve: E-pošto Prenos datotek (FTP) Glasovni promet (voice traffic), ki pa zaradi tehničnih težav ni nikoli zaživel – paketni prenos glasu je postal v praksi delujoč šele nekaj desetletij pozneje v okviru Interneta – Leta 1983 se je vojaški del omrežja ločil in postal MILNET, ARPANETov NCP pa je nadomestil TCP/IP s čimer je ARPANET postal le eno od vozlišč Interneta. ARPANET je s prehodom na TCP/IP na Internet prenesel tudi ključne storitve (e-mail, FTP). Fakulteta za računalništvo in informatiko Univerza v Ljubljani 2 5.2 Internet Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.2 Internet Internet in svetovni splet – Internet je do 90ih let ostajal v domeni državnih ustanov in univerz. Velik razmah je doživel z nastankom svetovnega spleta. – Začetki svetovnega spleta segajo v 1989. Leta 1991 je Tim Berners-Lee s CERNa objavil kratek poveztek projekta svetovnega spleta (World Wide Web). – Osnovne zamisli hiperteksta so razvili že prej, Berners-Lee pa je zamisli hiperteksta združil z internetom. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 3 5.2 Internet Internet in svetovni splet – Pomembna razlika svetovnega spleta in predhodnih hipertekstnih sistemov je, da svetovni splet ne zahteva dvosmernih povezav, zadoščajo enosmerne. Kdorkoli lahko doda povezavo na določeno stran, ne da bi upravnik te strani moral karkoli storiti. – Svetovni splet je odprt in prost brez licenčnine (za razliko od sistemov HyperCard ali Gopher). Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3 Poslovno obveščanje in poslovna analitika Poslovno obveščanje (ang. Business intelligence) predstavlja tehnologijo, ki temelji na uporabi: – podatkovnega skladišča in – raznovrstnih orodij (aplikacij) za izvajanje (kompleksnih) poizvedb. Namen poslovnega obveščanja je zbiranje, shranjevanje, analiziranje in omogočanje dostopa do podatkov vodilnim kadrom, tako da lahko ti sprejemajo boljše odločitve. Poslovno analitiko (ang. Business analytics) je mogoče obravnavati kot področje poslovnega obveščanja, ki se osredotoča na statistiko, napovedovanje in optimizacijo. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 4 5.3 Poslovno obveščanje in poslovna analitika Poslovno obveščanje (BI) Poslovna analitika (BA) Odgovarja na vprašanja: Odgovarja na vprašanja: – Kaj se je zgodilo? – Zakaj se je zgodilo? – Kdaj? – Ali se bo ponovilo? – Kdo? – Kaj se bo zgodilo (, če nekaj – Koliko? spremenim)? – Ali nam podatki povejo še kaj, česar Vključuje: se sicer ne bi spomnili vprašati? – Poročanje (kazalniki, merila) – Avtomatiziran nadzor in Vključuje: opozarjanje – Statistično analizo – Nadzorne plošče – Podatkovno rudarjenje – OLAP – Napovedno modeliranje – Ad hoc poizvedovanje – Multivariantno testiranje (več – Operativno in sprotno poslovno odvisnih spremenljivk) obveščanje – Analitiko velikih podatkov (Big data) – Besedilno analitiko Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3 Poslovno obveščanje in poslovna analitika Predpisovalna analitika Kaj naj naredimo, da se bo zgodilo? Napovedna analitika Kaj se bo zgodilo? Koristi Diagnostična analitika Zakaj se je zgodilo? Opisna analitika Kaj se je zgodilo? Zahtevnost Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5 5.3 Poslovno obveščanje in poslovna analitika Ključni gradniki poslovnega obveščanja: – 5.3.1 Podatkovna skladišča – 5.3.2 Orodja za večdimenzionalno analizo podatkov (OLAP) – 5.3.3 Analitične aplikacije – 5.3.4 Sistemi za zgodnje obveščanje – 5.3.5 Nadzorne plošče (Dashboard) Poslovna analitika: – 5.3.6 Veliki podatki – 5.3.7 Poslovna analitika in podatkovno rudarjenje – 5.3.8 Predpisovalna analitika Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.1 Podatkovna skladišča Podatkovno skladišče je enotna zbirka podatkov, ki zajema najpomembnejše podatkovne entitete področja organizacije, celotne organizacije ali več organizacij. Podatkovno skladišče je podatkovna baza optimizirana za izvajanje analiz. Iz stališča arhitekture predstavlja temelj sistemov za podporo odločanju oz. poslovnemu obveščanju. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 6 5.3.1 Podatkovna skladišča Uporaba skupnega podatkovnega skladišča pomeni manjšo verjetnost za nastop neusklajenih ali celo nasprotujočih rezultatov dela s podatki, saj vsi uporabniki dostopajo do enotnega vira podatkov. Osnovna naloga podatkovnega skladišča je shranjevanje enotnih podatkov in omogočanje skupnega dostopa do podatkov. Podatki iz različnih virov se po vnaprej določenem urniku pretvarjajo v enotno obliko in vnašajo v podatkovno skladišče. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.1 Podatkovna skladišča Glavna razloga za prenos in prevedbo podatkov iz obstoječih transakcijskih sistemov v podatkovno skladišče: 1. Konsistentnost podatkov: Podatki, ki jih želimo vključiti v analizo, pogosto prihajajo iz več različnih sistemov ter so shranjeni v različnih oblikah zapisa (npr. datum 04/31/99 je lahko zapisan tudi kot 31-04- 1999), so odvečni (npr. več vnosov istega kupca), nesmisel ni oziroma lahko del zapisa celo manjka. Podatki v podatkovnem skladišču so zapisani v enotni obliki, prečiščeni in združeni na enem mestu. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 7 5.3.1 Podatkovna skladišča 2. Optimizacija za procesiranje kompleksnih poizvedb: Podatkovne baze, ki shranjujejo transakcijske podatke so optimizirane za procesiranje transakcij, doseganje čim krajših odzivnih časov ter nemoteno – 24-urno – delovanje. Nasprotno so podatkovna skladišča optimizirana za hitro izvajanje analiz kar pomeni podvajanje in agregiranje podatkov, saj je to osnovni način za pohitritev in poenostavitev zapletenih poizvedb. Podatkovna skladišča so se oblikovala kot posledica spoznanja o različnih potrebah transakcijsko usmerjenih sistemov in sistemov za podporo odločanju. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.1 Podatkovna skladišča Lastnosti podatkovnih skladišč: – Področna usmerjenost: podatkovno skladišče hrani podatke o najpomembnejših področjih poslovanja, ki so skupni celotni organizaciji. – Statičnost podatkov: podatki v podatkovnem skladišču so namenjeni poizvedovanju. Podatkovno skladišče ni operativna baza! – Zgodovina podatkov: v podatkovnem skladišču hranimo podatke za daljšo zgodovino. – Integriranost podatkov: podatkovno skladišče se polni iz različnih virov. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 8 5.3.1 Podatkovna skladišča Primerjava s transakcijskimi PB: – Transakcijske PB: Optimizirane za obdelavo transakcij Čim krajši odzivni časi Nemoteno 24-urno delovanje – Podatkovna skladišča: Optimizirana za poizvedovanja in analizo Velike količine podatkov Denormalizacija in agregacija podatkov Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.1 Podatkovna skladišča Transakcijsko usmerjeni sistemi Sistemi za podporo odločanju Arhitektura  normalizirana,  pogoste denormalizacije,  čim manjše število podvojenih  uporaba prilagojenih tabel za podatkov, posebne zahteve analize, ki  veliko kartezičnih produktov med vsebujejo tudi podvojene podatke, tabelami,  malo kartezičnih produktov,  podatki so zapisani v atomarni obliki  združevanje podatkov na vsebinskem nivoju Število transakcij več tisoč do več deset tisoč na dan več deset do več sto poizvedb na dan Število uporabnikov več sto do več tisoč uporabnikov od deset do nekaj sto uporabnikov Zgradba transakcij transakcija je omejena in vodljiva zapletene in dolge poizvedbe, poizvedba lahko traja več ur Pomembnost sistema odločilen za delovanje podjetja, 24 ur na pomemben za delovanje podjetja, dan 7 dni na teden nekateri deli so lahko tudi odločilni, 24 urna razpoložljivost tipično ni potrebna Učinkovitost čas za izvršitev transakcije naj ne bo večji poizvedba lahko traja od nekaj minut pa kot nekaj sekund, pri bolj zapletenih do več ur transakcijah pa ne več kot nekaj minut Ažuriranje podatkov sproten, dinamičen proces paketno procesiranje:Fakulteta večkrat dnevno, za računalništvo in informatiko dnevno, tedensko ali mesečno Univerza v Ljubljani 9 5.3.1 Podatkovna skladišča Lokalne PB Analiza, Polnjenje podpora odločanju Podatkovno skladišče Zunanji viri Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.1 Podatkovna skladišča Polnjenje podatkovnega skladišča: – Polnjenje PS je kompleksna aktivnost. Podatki se polnijo iz različnih lokalnih PB in drugih virov periodično. – Polnjenje = ekstrakcija, transformacija, čiščenje in agregacija. – Čisti podatki: potrebne pretvorbe zaradi različnih standardov lokalnih PB. Uvajanje novih ključev... – Pretvorba podatkov potrebna tudi zaradi priprave strukture, ki omogoča hitro in učinkovito analitično delo. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 10 5.3.1 Podatkovna skladišča Področna PS (Data Mart) so PS, ki obsegajo določeno področje (npr. trženje, finančno poslovanje, materialno poslovanje ipd.) Področno podatkovno skladišče zajema manj podatkov, manjše pa je tudi število virov, iz katerih podatke črpa. Omogoča hitrejši dostop in je laže za izvedbo. V praski znana dva pristopa: – Glavno PS se polni iz področnih – Področna se polnijo iz glavnega Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.2 OLAP Orodja OLAP (On-line Analytical Processing) omogočajo večdimenzionalni vpogled v podatke. Za analizo so zanimivi zlasti pregledovalniki OLAP. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 11 5.3.2 OLAP V klasičnem OLAP (MOLAP) se izbrani podatki iz običajnega normaliziranega podatkovnega modela tipično pretvorijo v zvezdno shemo. Zvezdno shemo sestavljajo tabela dejstev (fact) in tabele dimenzij (dimension). Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.2 OLAP Primer pretvorbe v zvezdno shemo Primer: Fakulteta za računalništvo in informatiko Univerza v Ljubljani 12 5.3.2 OLAP Dimenzije organiziramo v hierarhije pri katerih gre za odnos otrok – oče. Primer: – leto > četrtletje > mesec > datum naročila Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.2 OLAP Primer: -3 dimenzije: vir (source), pot (route) in čas (time) - vse tri dimenzije so organizirane v hierarhije - vsebino tabele dejstev sestavlje: število paketov in datum zadnje transakcije Fakulteta za računalništvo in informatiko Univerza v Ljubljani 13 5.3.2 OLAP Primer pregledovanja različnih dimenzij: Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.2 OLAP Trije načini delovanja pregledovalnikov OLAP: – Pregled v globino (drill down): prehajamo med različnimi nivoji od povzetka do podrobnih podatkov – Pregled različnih dimenzij (slicing and dicing): analiziramo podatke po različnih dimenzijah (npr. prodaja po regijah po izdelkih ali prodaja po regijah po strankah – Analiza medsebojne odvisnosti podatkov: preverjanje enostavnejših hipotez. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 14 5.3.2 OLAP Orodja OLAP omogočajo: – primerjavo obstoječih povezav med podatkovnimi spremenljivkami, – odkrivanje novih povezav med podatkovnimi spremenljivkami in – analizo podatkov iz različnih dimenzij. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.2 OLAP S pomočjo OLAP iz enostavnih začetnih predpostavk odkrivamo zapletene vzorce. Prmer: – Predpostavka: “Ob sobotah se poraba električne energije po gospodinjstvih poveča.” – Po uporabi OLAP: “Ob sobotah v poletnih mesecih se poraba električne energije v gospodinjstvih, po 19. uri poveča za 20 odstotkov.” Fakulteta za računalništvo in informatiko Univerza v Ljubljani 15 5.3.2 OLAP Orodje za analitike, ki uporablja kocko za pripravo različnih predstavitev podatkov Orodje za izgradnjo OLAP “kocke” Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.3 Analitične aplikacije Analitične aplikacije vključujejo in zbirajo podatke iz široke množice notranjih in zunanjih virov ter omogočajo vnaprej oblikovan dostop do informacij ter analiz znotraj ciljnega poslovnega segmenta. Analitične aplikacije pomenijo logično razširitev splošno namenskih orodij OLAP. Analitične aplikacije omogočajo končnemu uporabniku pridobiti informacije visoke vrednosti. Omogočajo mu merjenje, nadzorovanje in upravljanje poslovnega procesa v smislu doseganja čim boljših rezultatov. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 16 5.3.3 Analitične aplikacije Tipična področja uporabe analitičnih aplikacij (1/2): – Analiza poslovanja (Enterprise Analytics) Analiza finančnega poslovanja Analiza področja operativnih nalog oz. proizvodnje Analiza kadrovskega področja – Analiza odnosov s strankami (CRM Analytics) – Analiza nabavne verige (SCM Analytics) Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.3 Analitične aplikacije Tipična področja uporabe analitičnih aplikacij (2/2): – Delitev vertikalno/horizontalno: Vertikalno glede na področje (npr. za področje prodaje, nabave, itd.) Glede na sektor (npr. za področje telekomunikacij, bančništva, itd.) – Analiza elektronskega poslovanja Fakulteta za računalništvo in informatiko Univerza v Ljubljani 17 5.3.3 Analitične aplikacije Glavni sestavni deli analitičnih aplikacij so vnaprej izdelane poizvedbe in procesi, ki so prilagojeni za posamezne segmente uporabnikov (glede na vertikalno ali horizontalno delitev). Primer: aplikacija za analizo zvestobe strank telekomunikacijskega operaterja Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.3 Analitične aplikacije Analitične aplikacije postajajo vedno bolj splošno namenske. Tako je za določeno podjetje potrebno vedno manj prirejanja in razvoja, kar pomeni veliko hitrejše vračanje naložbe in nižje stroške razvoja. Obstajajo tudi širše opredelitve analitičnih aplikacij, ki kot analitične aplikacije obravnavajo tudi OLAP. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 18 5.3.4 Sistemi za zgodnje obveščanje Sistemi za zgodnje obveščanje (Decision Early Warning) omogočajo nadzor kazalnikov učinkovitosti in uspešnosti podjetja. Osnovni namen sistemov za zgodnje obveščanje je "pogasiti iskre, še preden zanetijo požar". Npr. na podlagi predvidevanj o slabih rezultatih vodstvo določenemu oddelku dodeli dodatne vire, ustavi proizvodnjo nekonkurenčnega izdelka, itd. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.4 Sistemi za zgodnje obveščanje Poznamo več različnih načinov zgodnjega obveščanja, ki se razlikujejo po stopnjah kompleksnosti in učinkovitosti. Delitev glede na stopnjo kompleksnosti: – Merjenje učinkovitosti v času – Merjenje učinkovitosti s pomočjo analiz trenda – Samodejno merjenje učinkovitosti Fakulteta za računalništvo in informatiko Univerza v Ljubljani 19 5.3.4 Sistemi za zgodnje obveščanje Merjenje učinkovitosti v času Merjenje učinkovitosti v času: – Je najenostavnejša oblika sistema za zgodnje obveščanje. – Prikaz kazalnikov o delovanju podjetja v časovnih obdobjih. – Podatke lahko prikažemo v obliki grafa ali tabele. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.4 Sistemi za zgodnje obveščanje Merjenje učinkovitosti v času Primer: Prodaja v prvih treh četrtletjih narašča dokaj stalno. V zadnjem se naraščanje močno zmanjša. Potrebno bo ukrepati! Fakulteta za računalništvo in informatiko Univerza v Ljubljani 20 5.3.4 Sistemi za zgodnje obveščanje Merjenje učinkovitosti v času Merjenje učinkovitosti v času je mogoče izvajati z orodji OLAP in "ročnim" pregledovanjem. Težava takega merjenja učinkovitosti je, da temelji le na preteklih podatkih, ki jih primerja s trenutnim stanjem, ničesar pa ne pove o prihodnjih (pričakovanih) gibanjih. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.4 Sistemi za zgodnje obveščanje Analiza trenda Merjenje učinkovitosti s pomočjo analize trenda: – Omogoča napovedovanje gibanja kazalnika. – Trend lahko napovemo z metodami za napovedovanje na podlagi preteklih dejanskih vrednosti kazalnika. – Poleg dejanskih vrednosti kazalnika in izračunanega trenda moramo poznati tudi želeno oziroma ciljno gibanje kazalnika. – Na podlagi odstopanj trenda od ciljnega gibanja sprožimo opozorilo o odstopanju od pričakovanega rezultata. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 21 5.3.4 Sistemi za zgodnje obveščanje Analiza trenda Primer: Izmerjene (dejanske) vrednosti kazalnika so na voljo za obdobja 1,2,3,4 in 5. Na podlagi linearnega trenda napovedujemo, da bo vrednost kazalnika že v 6. obdobju padla pod spodnjo dovoljeno mejo Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.4 Sistemi za zgodnje obveščanje Analiza trenda Napoved je bolj točna in lahko seže dlje v prihodnost, če imamo na voljo več zgodovinskih podatkov. Ta vrsta analize je zelo primerna za programsko implementacijo, čeprav jo lahko izvajajo tudi “ročno”. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 22 5.3.4 Sistemi za zgodnje obveščanje Samodejno merjenje Samodejno merjenje učinkovitosti: – Temelji na analizi trenda. – Sistem ob kritični vrednosti kazalnika samodejno izda opozorilo. – Da je kazalnik dosegel kritično vrednost ugotovimo na podlagi kritičnega intervala in zadnje izmerjene vrednosti – Kritični interval se konča v točki kjer trend preseka mejo, začetek kritičnega intervala pa je določen z njegovo širino. – Širino kritičnega intervala določi uporabnik. – Čim širši je kritični interval tem bolj občutljiv je sistem za zgodnje obveščanje. – Kazalnik doseže kritično vrednost, ko zadnja izmerjena vrednost pade v kritični interval. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.4 Sistemi za zgodnje obveščanje Samodejno merjenje Primer: V primeru, ko kazalnik preseže kritično mejo, sistem samodejno izda opozorilo Fakulteta za računalništvo in informatiko Univerza v Ljubljani 23 5.3.5 Nadzorne plošče Pri upravljavskih informacijskih sistemih predstavlja nadzorna plošča (dashboard) uporabniški vmesnik, ki je predvsem enostavno berljiv. Podatki pri nadzornih ploščah lahko sledijo toku poslovnega procesa, ki ga nadzorujejo. Uporabnik lahko s pomočjo grafičnega uporabniškega vmesnika pregleduje procese na najvišjem nivoju in se po potrebi odloči za pregled v globino za podrobnejšimi podatki. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.5 Nadzorne plošče Namen nadzornih plošč je zbiranje, analiziranje in integriranje podatkov znotraj in zunaj poslovnega sistema. Podatki se zbirajo v profile ključnih indikatorjev (Key Profile Indicators), ki so prilagojeni potrebam posameznih profilov uporabnikov. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 24 5.3.5 Nadzorne plošče Osnovne oblike nadzornih plošč: – Samostojne programske rešitve – Spletne aplikacije – Namizne aplikacije Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.5 Nadzorne plošče Primer nadzorne plošče: Fakulteta za računalništvo in informatiko Univerza v Ljubljani 25 5.3.5 Nadzorne plošče Nekaj prednosti nadzornih plošč: – vizualna predstavitev meritev učinkovitosti, – možnost identifikacije negativnih trendov, – merjenje učinkovitosti, – zmožnost generiranja podrobnih poročil, ki prikazujejo nove trende, – povečana produktivnost, – zmožnost sprejemanje boljših odločitev glede na zbrane podatke na področju poslovnega obveščanja, – povezava strategij in organizacijskih ciljev, – prihranek časa pri izvajanju večkratnih poročil. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.6 Veliki podatki Prehod v „digitalno dobo“ – eksplozija podatkov Fakulteta za računalništvo in informatiko Univerza v Ljubljani 26 5.3.6 Veliki podatki V poslovnih in akademskih podatkovnih zbirkah je prišlo do ogromne rasti količine podatkov zaradi napredka tehnologij generiranja in zbiranja podatkov Kibernetska varnost E-poslovanje Trend: zbiraj vse podatke, ki jih lahko. Kadarkoli in kjerkoli. Pričakovanja: zbrani podatki bodo imeli vrednost za namen za katerega jih zbiramo ali za namene v prihodnosti, ki jih še ne Vzorci v prometu Socialna omrežja: Twitter poznamo. Senzorska omrežja Simulacije Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.6 Veliki podatki Novi načini shranjevanja podatkov Pomembna je vloga t.i. ne- Key-value velikost Wide column relacijskih podatkovnih baz (NoSQL) Dokumentna PB PB na osnovi grafov Relacijske baze ostajajo zelo pomembne, vendar RSUPB niso univerzalna rešitev kompleksnost Posodobitve relacijskih podatkovnih baz (NewSQL) Fakulteta za računalništvo in informatiko Univerza v Ljubljani 27 5.3.6 Veliki podatki Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.6 Veliki podatki Napredna vseprisotna analitika: – Skoraj vsaka aplikacija je dandanes namenjena tudi analitiki (tipično zbiranje podatkov o uporabnikih) – Analitika postaja vseprisotna a kljub temu nezaznavna; postaja integralni del vseh IS. – Prenos fokusa na razmišljanje o „velikih vprašanjih“ in „velikih odgovorih“ na prvem mestu in šele na drugem o „velikih podatkih“ (BigData) Novi varnostni izzivi, vse večji pomen varnosti! Fakulteta za računalništvo in informatiko Univerza v Ljubljani 28 5.3.7 Poslovna analitika in podatkovno rudarjenje Zakaj podatkovno rudarjenje? Zbiramo in shranjujemo ogromne količine podatkov – Spletni podatki Peta bajti podatkov s spleta (Yahoo, Google) Milijarde uporabnikov (facebook) – Nakupi v trgovinah / e-poslovanje Milijoni obiskov na dan – Kartične transakcije Vedno večja računska moč za vedno nižjo ceno Pritisk konkurence – Zagotoviti želimo prilagojene storitve (npr. CRM) Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.7 Poslovna analitika in podatkovno rudarjenje Podatki v obliki za Podatkovna Izbira Ciljni Prevedba podatkovno skladišča in podatki rudarjenje drugi viri Interpretacija in evalvacija Uporaba tehnik Informacije za Posamezne zakonitosti, podatkovnega učinkovito odločanje povezave, vzorci rudarjenja Fakulteta za računalništvo in informatiko Univerza v Ljubljani 29 5.3.7 Poslovna analitika in podatkovno rudarjenje Kaj je podatkovno rudarjenje? Različne opredelitve – Ne-tirvialno pridobivanje potencialno uporabnih informacij iz podatkov – Raziskovanje in analiza velikih količin podatkov z uporabo (delno) avtomatiziranih pristopov z namenom odkrivanja smiselnih in relevantnih vzorcev, ki se pojavljajo v podatkih Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.7 Poslovna analitika in podatkovno rudarjenje Temelji podatkovnega rudarjenja: Podatkovno rudarjenje temelji na idejah, pristopih in tehnologijah statistike, strojnega učenja, umetne inteligence, razpoznavanja vzorcev in podatkovnih baz Tradicionalni pristopi so manj primerni, ko imamo opravka z: – Velikimi količinami podatkov – Podatki z veliko dimenzijami – Heterogenimi podatki – Kompleksnimi podatki – Porazdeljenimi podatki Vir: Tan et al., Introduction to Data Mining, 2nd ed. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 30 5.3.7 Poslovna analitika in podatkovno rudarjenje Podjetja uporabljajo orodja za podatkovno rudarjenje za probleme, ki se jih ne da rešiti z orodij OLAP. Ključna težava je zahtevna uporaba orodij za odkrivanje zakonitosti iz podatkov. Orodja zato ostajajo v domeni specializiranih analitikov in ne vodstvenih ali prodajnih kadrov. Zaradi visoke zahtevnosti, so bila razvita tudi enostavnejša orodja, ki pa niso tako vsestranska. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.7 Poslovna analitika in podatkovno rudarjenje Naloge podatkovnega rudarjenja… Podatki Milk Fakulteta za računalništvo in informatiko Univerza v Ljubljani 31 5.3.7 Poslovna analitika in podatkovno rudarjenje Napovedno modeliranje: Klasifikacija Cilj: Poišči model, ki bo klasifikacijski atribut predstavil kot funkcijo (klasifikator) vrednosti ostalih atributov Model za predvidevanje kreditne sposobnosti Klas.a. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.7 Poslovna analitika in podatkovno rudarjenje Napovedno modeliranje: Klasifikacija Testna množica Učenje Učna klasifikatorja Model množica Fakulteta za računalništvo in informatiko Univerza v Ljubljani 32 5.3.7 Poslovna analitika in podatkovno rudarjenje Primeri uporabe klasifikacije: – Klasifikacija transakcij s kreditnimi karticami kot poštene ali goljufive – Klasifikacija prosilcev za kredit – Klasifikacija novic v različne vrste (finančne, vremenske, športne, itd.) Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.7 Poslovna analitika in podatkovno rudarjenje Napovedno modeliranje: Regresija – Namen: napovedati vrednost zvezne spremenljivke na podlagi vrednosti drugih spremenljivk ob predpostavke linearne ali ne-linearne odvisnosti. – Podrobno raziskana v okviru statistike in na področju umetnih nevronskih mrež. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 33 5.3.7 Poslovna analitika in podatkovno rudarjenje Regresija je postopek ocenjevanja odvisne spremenljivke (y) kot funkcije (F) ene ali več neodvisnih spremenljivk (x1 , x2 ,..., xn) in množice parametrov (θ1 , θ2 ,..., θn) ter napake (e): y = F(x,θ) + e Proces učenja regresijskega modela v osnovi pomeni iskanje takšnih vrednosti za parametre θ, da bo napaka e najmanjša Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.7 Poslovna analitika in podatkovno rudarjenje Napovedno modeliranje: Regresija Linearna regresija (ena neodvisna spremenljivka) y = θ2 x + θ1 Primer: θ2 = 0,7; θ1 = 1,5 y = 0,7x + 1,5 Interpretacija! Predpostavke! Fakulteta za računalništvo in informatiko Univerza v Ljubljani 34 5.3.7 Poslovna analitika in podatkovno rudarjenje Primeri uporabe regresije: – Napovedovanje prodajnih količin novega izdelka na podlagi izdatkov za oglaševanje. – Napovedovanje tečajev delnic na podlagi časovnih vrst. – Napovedovanje hitrosti vetra v odvisnosti od temperature, vlage, zračnega tlaka itd. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.7 Poslovna analitika in podatkovno rudarjenje Gručenje – Iskanje skupin elementov, tako da bodo elementi v skupini podobni (ali sorodni) drug drugemu in se razlikujejo od (ali niso povezani z) elementi v drugih skupinah Razdalje med Razdalje znotraj skupinami so skupine so maksimizirane minimizirane Fakulteta za računalništvo in informatiko Univerza v Ljubljani 35 5.3.7 Poslovna analitika in podatkovno rudarjenje Primeri uporabe gručenja: – Segmentacija trga (primer: razdeli trg v podmnožico specifičnih trgov za različne tipe strank, kjer vsaka od podmnožic lahko predstavlja trg s specifičnimi značilnostmi) – Gručenje dokumentov (primer: poišči skupine medsebojno podobnih dokumentov na podlagi ključnih besed, ki se pojavljajo v njih) Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.7 Poslovna analitika in podatkovno rudarjenje Odkrivanje asociacijskih pravil: – Za dano množico zapisov od katerih vsak vključuje nekaj elementov iz dane zbirke pripravi pravila odvisnosti, ki napovejo pojavljanje določenega elementa na osnovi pojavljanja drugih elementov Rules Discovered: {Milk} --> {Coke} {Diaper, Milk} --> {Beer} Fakulteta za računalništvo in informatiko Univerza v Ljubljani 36 5.3.7 Poslovna analitika in podatkovno rudarjenje Primeri uporabe asociacijskih pravil: – Analiza nakupovalne košarice (primer: Pravila se uporabljajo za pospeševanje prodaje, upravljanje prodajnih polic, upravljanje zalog) – Diagnostika opozoril (uporaba pravil za iskanje kombinacij opozoril, ki se pogosto pojavijo znotraj skupnega časovnega okvira) Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.7 Poslovna analitika in podatkovno rudarjenje Zaznavanje odstopanj, nepravilnosti, sprememb: – Cilj je zaznati statistično značilna odstopanja od pričakovanega rezultata Primeri uporabe: – Zaznavanje goljufij – Zaznavanje vdora v omrežje – Zaznavanje nepravilnosti z uporabo nadzornih senzorskih omrežij Fakulteta za računalništvo in informatiko Univerza v Ljubljani 37 5.3.7 Poslovna analitika in podatkovno rudarjenje Standardiziran pristop: Faze CRISP-DM: Cross-industry standard process for data mining (CRISP-DM) (zasnovana konec 90ih) Analytics Solutions Unified Method for Data Mining/Predictive Analytics (ASUM-DM) (2015, IBM) – nadgradnja CRISP-DM Vir: Kenneth Jensen, wiki Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.7 Poslovna analitika in podatkovno rudarjenje Problem: Interpretacija, zlasti pri – Nesmiselni rezultati neizkušenih analitikih – Nezadostno testiranje pripravljenega modela – Napačna interpretacija vzrok-posledica – Uporaba podatkovnega rudarjenja za – Nerelevantna „odkritja“ vsak problem – Nekakovostni podatki – Zanemarjanje ugotovitev ostalih – Preveč „raztegnjeni“ zaključki analitičnih pristopov Vir: http://www.tylervigen.com Fakulteta za računalništvo in informatiko Univerza v Ljubljani 38 5.3.8 Predpisovalna analitika V veliki meri gre za naprednejšo uporabo tehnik napovedne analitike: – Ne gre več le za napovedovanje s pomočjo napovednih modelov, ampak za pripravo predlogov ukrepov in napoved njihovih potencialnih rezultatov. – Ker napovedna analitika omogoča napoved posledic glede na izbirane ukrepe, lahko priporoči tudi najboljše sosledje ukrepov za doseganje želenega rezultata. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.3.8 Predpisovalna analitika Predpisovalna analitika kot zadnja (najvišja) stopnja poslovne analitike Človeška Opisna analitika obravnava Končna Ukrep Kaj se je zgodilo? odločitev rezultatov Človeška Diagnostična analitika obravnava Končna Ukrep Zakaj se je zgodilo? odločitev rezultatov Človeška Podatki Napovedna analitika obravnava Končna Ukrep Kaj se bo zgodilo? odločitev rezultatov Predpisovalna analitika kot podpora odločanju Končna Ukrep Kaj storiti? – brez sprejete končne odločitve odločitev Predpisovalna analitika kot avtomatizacija odločanja Ukrep Kaj storiti? – s sprejeto odločitvijo Fakulteta za računalništvo in informatiko Univerza v Ljubljani 39 5.4 Dokumentacijski sistemi in elektronski arhiv Z vse večjo količino dokumentov, ki nastajajo v poslovnih sistemih ali prispejo po pošti (navadni ali elektronski) se pojavi potreba po uvedbi dokumentacijskega sistema (Document Management System). Z uvedbo dokumentacijskega sistema spremenimo neorganizirane in razpršene zbirke dokumentov v bolj pregledne in dostopne zbirke znanja. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.4 Dokumentacijski sistemi in elektronski arhiv Dokumentacijski sistem omogoča: – elektronsko upodabljanje papirnih dokumentov, – hranjenje vseh dokumentov na enem mestu, s čimer je zagotovljen centralen nadzor nad različicami dokumentov in zagotavljanje varnosti (nadzor nad dostopom in varnostne kopije), – hitro iskanje dokumentov, – pretok vseh dokumentov v elektronski obliki, kar omogoča bolj učinkovito izvajanje poslovnih procesov (avtomatizacija), – elektronsko arhiviranje dokumentov, – vključevanje generativne UI za generiranje odgovorov Fakulteta za računalništvo in informatiko Univerza v Ljubljani 40 5.4 Dokumentacijski sistemi in elektronski arhiv Dokumentacijske sisteme je potrebno obravnavati v tesni povezavi s sistemi za avtomatizacijo poslovnih procesov: – Ti omogočajo avtomatizacijo pretoka dokumentov v poslovnem proces. – Pravice uporabnikov za delo z dokumenti se uskladijo z vlogami in poslovnimi pravili, definiranimi za posamezne poslovne procese. Dokumentacijski sistem mora biti ustrezno povezan tudi s transakcijskim sistemom, kjer se hranijo še drugi podatki, ki so potrebni pri izvajanju poslovnih procesov. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.4 Dokumentacijski sistemi in elektronski arhiv Ključni vidiki vzpostavitve dokumentacijskega sistema (1/3): – Lokacija: Kje bodo dokumenti shranjeni? Iz katere lokacije bodo lahko uporabniki dostopali do dokumentov? – Polnjenje: Kako se bo dokumentni sistem polnil? Na kakšen način bodo dokumenti organizirani oz. indeksirani? – Iskanje: Kako bo mogoče iskati oz. brskati med obstoječimi dokumenti? – Varnost: Kako bo zagotovljena varnost dokumentov? Kako bo preprečeno nepooblaščeno branje, spreminjanje ali brisanje dokumentov? – Obnova: Kako bo poskrbljeno za obnovo dokumentov po morebitni nesreči? Fakulteta za računalništvo in informatiko Univerza v Ljubljani 41 5.4 Dokumentacijski sistemi in elektronski arhiv Ključni vidiki vzpostavitve dokumentacijskega sistema (2/3): – Dolžina hranjenja: Kako dolgo bo potrebno hraniti dokumente? Kadar je temu področju namenjena še posebna pozornost ne govorimo več le o dokumentacijskih sistemih ampak o elektronskih arhivih. – Časovni vidik, spreminjanje tehnologij: Kako bo poskrbljeni, da bo dokumente mogoče brati tudi v prihodnje (spremembe standardov strojne in programske opreme, fizično propadanje medijev, itd.)? – Razpečevanje: Kako bo poskrbljeno, da bodo dokumenti na voljo ljudem, ki jih potrebujejo? Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.4 Dokumentacijski sistemi in elektronski arhiv Ključni vidiki vzpostavitve dokumentacijskega sistema (3/3): – Delovni tok – Ali je potrebno, da dokumenti prehajajo med osebami? Kakšna so pravila za prehajanje dokumentov? – Izdelava – Kako bodo dokumenti nastajali? Ali bo pri nastanku enega dokumenta sodelovalo več ljudi (nadzor nad različicami, avtorstvo, id.)? – Avtentičnost dokumentov in časovni žig – Ali je mogoče potrditi avtentičnost dokumentov? Ali je mogoče dokumente časovno žigosati**? **časovni žig bo predstavljen v nadaljevanju Fakulteta za računalništvo in informatiko Univerza v Ljubljani 42 5.4 Dokumentacijski sistemi in elektronski arhiv Elektronski arhiv je za razliko od dokumentacijskega sistema namenjen predvsem hranjenju pravno veljavnih dokumentov Zakonska podlaga za pravno veljavnost elektronskih dokumentov, ki nastanejo iz papirnih izvirnikov in so pretvorjeni v elektronsko obliko in arhivirani na ustrezen način. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.4 Dokumentacijski sistemi in elektronski arhiv Dokumentacijski sistem Elektronski arhiv – Izdelava dokumentov – Hranjenje pravno veljavnih – Spreminjanje dokumentov dokumentov – Hranjenje dokumentov – Zagotavljanje – Delo z dokumenti avtentičnosti dokumentov tudi v prihodnosti – Časovni žig Dokumentacijski sistem in elektronski arhiv se ne izključujeta, ampak dopolnjujeta. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 43 5.4 Dokumentacijski sistemi in elektronski arhiv Varni časovni žig lahko opredelimo kot digitalni podpis, ki potrjuje obstoj dokumenta v določenem časovnem trenutku. Pristnost potrdila je vedno mogoče preveriti pri ponudniku storitve časovnega žigosanja. Časovni žig dokazuje, da je elektronski dokument obstajal v času, navedenem v časovnem žigu, ter se od časa žigosanja ni spremenil. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.4 Dokumentacijski sistemi in elektronski arhiv Varno časovno žigosanje dokumenta: Opomba: Podroben potek varnega časovnega žigosanja je predstavljen v okviru poglavja o varnosti Fakulteta za računalništvo in informatiko Univerza v Ljubljani 44 5.4 Dokumentacijski sistemi in elektronski arhiv Vzpostavitev, upravljanje in vzdrževanje elektronskega arhiva je relativno zahtevno in drago. Zato so se pojavila specializirana podjetja, ki nudijo storitve elektronskega arhiviranja. Takšna oblika arhiviranja je še posebej zanimiva za manjše poslovne sisteme, ki jim vzpostavljanje lastnega elektronskega arhiva pomeni prevelik strošek. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Problem zagotavljanja varnosti obsega več vidikov. Zanima nas varnost prenosa podatkov prek omrežja internet. Svetovno omrežje internet omogoča dostop do množice računalnikov ter IS. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 45 5.5 Varnost Pri prenosu podatkov po javnem omrežju je varnost ogrožena... Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Ogrožena varnost podatkov pri vključevanju v internet (1/2): – Skoraj vsaka mrežna povezava med dvema računalnikoma poteka preko vmesnih točk - verige računalnikov, ki uspešno prejemajo in oddajajo podatke naprej, dokler le- te ne dosežejo svojega cilja. Temu procesu pravimo usmerjanje (routing). – Varnost podatkov pri tovrstni komunikaciji je vprašljiva, saj ima vsak računalnik v verigi dostop do podatkov, ki jih usmerja. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 46 5.5 Varnost Ogrožena varnost podatkov pri vključevanju v internet (2/2): – Podatki potujejo prek interneta pakirani v pakete, ti pa ne potujejo nujno vsi po isti poti. Ko vsi prispejo na cilj, se sestavi nazaj originalno sporočilo. Za potrebe odkrivanja napak pri usmerjanju paketov so bili razviti programi, ki pakete berejo ter jih preverjajo. – Te programe je mogoče zlorabiti za prisluškovanje (sniffing) ter iz paketov izvedeti pomembne podatke (npr. uporabniška imena, gesla, zneske transakcij, spreminjati sporočila, itd.). – Prisluškovanje še zdaleč ni edina nevarnost. S povezavo v omrežje se namreč močno razširi krog potencialnih napadalcev, ki imajo dostop do računalniškega sistema. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Kakšno varnost želimo, ko komuniciramo prek javnega omrežja? – Zagotovitev, da ne bo nihče prestregel podatkov, ki so del transakcije med strankama, – Zagotovitev, da je stranka res ta, za katero se predstavlja, – Zagotovitev, da so sprejeti podatki res ti, ki so bili poslani, – Zagotovitev oziroma dokaz, da smo res komunicirali z določeno stranko. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 47 5.5 Varnost Kriptografija ali tajnopisje je študija, ki se ukvarja s tehnikami in aplikacijami za omogočanje: – zasebnosti komunikacije, – kodiranja ter dekodiranja, – overjanje, – podatkovne integritete ter – neovrgljivosti dejanj. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Simetrična kriptografija: – uporablja za kriptiranje in dekriptiranje isti ključ – udeleženca v povezavi, se za ključ dogovorita – Ključ mora ostati poznan le udeležencema – pozitivno: hitrost kriptiranja in dekriptiranja – slabost: dogovarjanje za ključ (varnost, smiselnost?) – DES, FEAL, SAFER, RC5 Fakulteta za računalništvo in informatiko Univerza v Ljubljani 48 5.5 Varnost Simetrična kriptografija: Skriti ključ - skupen Št. kartice: 771908 #$!&?!?##!()$”=) Št. kartice: 771908 Geslo: fa12jj21 Vrednost: 250 EUR Algoritem #(“//(&!#/łŁˇ”$łŁ” #/”(!=#)!ß¤”$”¤”# Algoritem Geslo: fa12jj21 Vrednost: 250 EUR Trans.: AC12111X za ¤¤¤”#”) za Trans.: AC12111X kriptiranje dekriptiranje Ne-kriptirano sporočilo Kriptirano sporočilo Dekriptirano sporočilo Pošiljatelj Omrežje Prejemnik Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Asimetrična kriptografija (1/2): – kriptografija z javnim ključem – različna ključa za kriptiranje in dekriptiranje – matematična povezava med ključema zagotavlja, da je sporočilo kodirano z enim ključem moč dekodirati le z drugim – narava relacije je taka, da je iz enega ključa skoraj nemogoče ugotoviti drugega – vsak uporabnik ima dva ključa: javni ključ - dostopen vsem privatni ključ – samo za uporabnika Fakulteta za računalništvo in informatiko Univerza v Ljubljani 49 5.5 Varnost Povezava med javnim in zasebnim ključem: Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Asimetrična kriptografija (2/2): – če nekdo želi komunicirati z omenjenim uporabnikom, uporabi za kriptiranje svojega sporočila njegov javni ključ – tako sporočilo lahko dekodira le omenjeni uporabnik, s svojim privatnim ključem – slabost: počasnost pri kriptiranju in dekriptiranju, kot posledica kompleksne matematične relacije med ključema Fakulteta za računalništvo in informatiko Univerza v Ljubljani 50 5.5 Varnost Asimetrična kriptografija: Prejemnikov Prejemnikov javni ključ zasebni ključ Št. kartice: 771908 #$!&?!?##!()$”=) Št. kartice: 771908 Geslo: fa12jj21 Vrednost: 250 EUR Algoritem #(“//(&!#/łŁˇ”$łŁ” #/”(!=#)!ß¤”$”¤”# Algoritem Geslo: fa12jj21 Vrednost: 250 EUR Trans.: AC12111X za ¤¤¤”#”) za Trans.: AC12111X kriptiranje dekriptiranje Ne-kriptirano sporočilo Kriptirano sporočilo Dekriptirano sporočilo Pošiljatelj Omrežje Prejemnik Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost + Rešitev slabosti simetričnih in asimetričnih algoritmov je kombinirana uporaba simetričnega in asimetričnega kriptiranja: 1. Poseben algoritem na strani pošiljatelja generira naključni skriti ključ, s katerim kriptira sporočilo. 2. Skriti ključ kriptira z javnim ključem prejemnika. 3. Kriptiran skriti ključ pošlje skupaj s kriptiranim sporočilom prejemniku. 4. Prejemnik s svojim privatnim ključem dekriptira skriti ključ. 5. Dekriptiran skriti ključ nadalje uporabi za dekriptiranje sporočila. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 51 5.5 Varnost Asimetrična kriptografija (kriptografija z javnim ključem) poleg zagotavljanja zasebnosti omogoča tudi: – zagotavljanje integritete podatkov – overjanje podatkov Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Pomembno vlogo v okviru Kolizija: kriptografije ima zgoščevalna Dva ključa se funkcija (hash function) kot preslikata v isto npr. MD5, SHA-1, SHA-2 (v zgoščeno okviru tega SHA-256,SHA-512,…) vrednost. Zgoščevalne funkcije preslikajo zgoščevalna zgoščene poljubno dolg niz znakov v blok ključi funkcija vrednosti konstantne dolžine, ki je nekakšen prstni odtis oziroma povzetek vhodnega niza Pomembna lastnost je visoka odpornost na kolizije, torej da se kolizij s sedanjo tehnologijo ne da najti dovolj hitro. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 52 5.5 Varnost Asimetrični algoritmi se uporabljajo tudi za potrebe elektronskega podpisovanja. Digitalni podpis se uporablja za različna elektronska pravna dejanja. Npr.: – sklepanje elektronskih pogodb, – oddajanje in sprejemanje elektronskih ponudb, – vlaganje zahtevkov, – potrjevanja prejema elektronskih dokumentov, – izdajanje e-računov, – itd. Digitalni podpis je pod v zakonu določenimi pogoji enakovreden lastnoročnemu. V okviru zakona o elektronskem poslovanju in elektronskem podpisu (ZEPEP) se v tem kontekstu uporablja pojem varen elektronski podpis oz. elektronski podpis. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Digitalni podpis: Aneks k ponudbi Aneks k ponudbi št. 10124 št. 10124 Skupna cena vseh Cena izvedbe vseh Zgoščevalna v osnovni ponudbi del navedenih navedenih del v osnovni ponudbi funkcija znaša: znaša 350.000,00 EUR 350.000,00 EUR A055F36B 1CDDEF20 Ne Sporočilo Zgoščevalna Pošiljateljev Pošiljateljev ni pravo! funkcija zasebni ključ javni ključ Zgoščena vrednost sporočila Enako? A055F36B Algoritem CDA32256 Algoritem Sporočilo A055F36B 1CDDEF20 za FFF10206 za 1CDDEF20 Da je pravo. kriptiranje dekriptiranje Zgoščena vrednost Kriptirana zgoščena Dekriptirana zgoščena sporočila vrednost sporočila vrednost sporočila Pošiljatelj Omrežje Prejemnik Fakulteta za računalništvo in informatiko Univerza v Ljubljani 53 5.5 Varnost + S kombiniranjem prej opisanih pristopov lahko sporočilo podpišemo in hkrati Zgoščena vrednost tudi kriptiramo. Zgoščena vrednost Zgoščena vrednost Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost + S predhodno opisanimi pristopi sicer lahko do neke mere zagotovimo, da sporočilo zares prihaja od pošiljatelja, saj lahko le pošiljateljev javni ključ dekriptira digitalni podpis, ki je kriptiran z njegovim zasebnim ključem. Vendar… – kako vemo, da je pošiljatelj (t.j. lastnik zasebnega ključa) zares ta, za kogar se izdaja? – kako vemo, da ključ zares pripada določeni osebi? – kako vemo, da tisti, ki ima zasebni ključ v resnici ni prevzel identitete nekoga drugega? Fakulteta za računalništvo in informatiko Univerza v Ljubljani 54 5.5 Varnost Da bi lahko potrdili identiteto pošiljatelja je potreben overitelj (CA – certification authority). Overitelj izdaja digitalna potrdila na osnovi overovitve identitete stranke, npr. z osebnim dokumentom. Digitalno potrdilo (certifikat) je dokument, ki potrjuje, da je določen javni ključ dejansko last določenega uporabnika. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Digitalno potrdilo: CERTIFIKAT Pri Certification Authority ABC potrjujemo, da je lastnik javnega ključa 49H23EFF1AC oseba z imenom Janez Novak. Certification Authority ABC (Podpis CA) Fakulteta za računalništvo in informatiko Univerza v Ljubljani 55 5.5 Varnost Digitalno potrdilo: – Osnovni format potrdila vsebuje javni ključ ter naziv lastnika. – Velikokrat vsebuje še podatke o serijski številki, datumu veljavnosti ter naziv in podpis organizacije, ki je certifikat izdala. – Trenutno najbolj uporabljen format certifikata je opisan v mednarodnem standardu ITU-T X.509. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Še vedno pa se postavi vprašanje, ali lahko zaupamo overitelju: – načeloma zaupamo overiteljem, ki jih poznamo. Vendar ni nujno, da zaupamo le tem. – zaupamo lahko tudi vsem overiteljem, ki jim zaupajo overitelji, ki jih poznamo. – zaupamo lahko tudi vsem overiteljem, ki jim zaupajo overitelji, ki jim zaupajo overitelji, ki jih poznamo. – itd. Na ta način lahko gradimo hierarhije overiteljev, ki jim zaupamo. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 56 5.5 Varnost Primer: Ali lahko zaupamo certifikatu Borja Sotomayor, če zaupamo CA BAR? Preverimo: – CA FOO podpiše potrdilo za Borja SotoMayor – CA BAR podpiše potrdilo za CA FOO – CA BAR podpiše lastno potrdilo Ker zaupamo CA BAR, zaupamo tudi CA FOO in posledično tudi Borja Sotomayor. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Overitelj, ki sam podpiše svoje potrdilo nad seboj nima drugega overitelja. Takemu overitelju pravimo korenski overitelj (root CA). Nad njim ni drugega overitelja. Da bi zaupali potrdilu korenskega overitelja moramo obvezno zaupati korenskemu overitelju, saj nad njim ni drugega overitelja. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 57 5.5 Varnost Ponovitev – časovni žig: – Varni časovni žig lahko opredelimo kot digitalni podpis, ki potrjuje obstoj dokumenta v določenem trenutku. – Pristnost potrdila je vedno mogoče preveriti pri ponudniku storitve časovnega žigosanja (Timestamping Authority – TSA). – Časovni žig dokazuje, da je elektronski dokument obstajal v trenutku, navedenem v časovnem žigu, ter se od časa žigosanja ni spremenil. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.5 Varnost Varno časovno žigosanje: + A055F36B Aneks k ponudbi 1CDDEF20 Časovni žig št. 10124 Zgoščena vrednost Skupna cena vseh Zgoščevalna A055F36B v osnovni ponudbi 1CDDEF20 sporočila navedenih del funkcija znaša: 350.000,00 EUR Zgoščena vrednost sporočila Zgoščevalna funkcija Časovni žig + Aneks k ponudbi št. 10124 + 20527FB3 Skupna cena vseh Časovni žig 55EDD0AC v osnovni ponudbi + ED0344AA navedenih del F102837B Zasebni ključ TSA znaša: 350.000,00 EUR Zgoščena vrednost Kriptirana zgoščena zg.vr. in žiga ED0344AA vrednost zg.vr. in žiga F102837B Algoritem Kriptirana zgoščena za Dokument z varnim časovnim žigom vrednost zg.vr. in žiga kriptiranje Uporabnik storitve varnega TSA Fakulteta za računalništvo in informatiko Univerza v Ljubljani časovnega žigosanja (Timestamping authority) 58 5.5 Varnost Preverjanje varnega časovnega žiga: Aneks k ponudbi št. 10124 Skupna cena vseh Zgoščevalna A055F36B v osnovni ponudbi 1CDDEF20 navedenih del funkcija Dokument z varnim časovnim žigom znaša: 350.000,00 EUR Zgoščena vrednost Zgoščevalna 20527FB3 + sporočila 55EDD0AC funkcija Zgoščena vrednost Ne Dokument ni Časovni žig zg.vr. in žiga pravi oz. žig + ni veljaven! Enako? ED0344AA F102837B Algoritem Dokument je 20527FB3 Kriptirana zgoščena za pravi, ima vrednost zg.vr. in žiga 55EDD0AC Da veljaven dekriptiranje Dekriptirana zgoščena časovni žig vrednost zg.vr. in žiga Javni ključ TSA TSA Fakulteta za računalništvo in informatiko (Timestamping authority) Univerza v Ljubljani 5.6 Tehnologija veriženja blokov (Blockchain) Veriženje blokov: – Stalno naraščajoč seznam zapisov – blokov, ki so med seboj povezani in zaščiteni pred spreminjanjem – Deljena (v smislu uporabe) in porazdeljena (v smislu lokacije shranjevanja) evidenca (ledger ~ glavna knjiga), ki omogoča shranjevanje transakcij in sledenje sredstev (denar, nepremičnine, vozila, patenti, avtorske pravice,…) v poslovnem omrežju. – Temelji na uporabi obstoječih kriptografskih tehnologij Fakulteta za računalništvo in informatiko Univerza v Ljubljani 59 5.6 Tehnologija veriženja blokov (Blockchain) Kaj omogoča: – Uporabniki se brez prisotnosti neodvisne avtoritete uskladijo glede tega, kateri dokument je pristen, kdaj je bil ustvarjen, kdo je njegov lastnik itd. – Pred tem je bila za ta namen potrebna neodvisna avtoriteta, ki so ji morali zaupati vsi udeleženci. Uporaba: – Digitalni denar, pogodbe, potrdila, sledljivost zdravil, izmenjava dobrin, itd. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 5.6 Tehnologija veriženja blokov (Blockchain) Princip delovanja: Blok 43 Blok 44 Blok 45 Dokaz dela Dokaz dela Dokaz dela 000000a53jsgy 000000x11e4q9 000000kr1r467 naključna vred. (nonce) naključna vred. (nonce) naključna vred. (nonce) Predhodni blok Predhodni blok Predhodni blok 0000009z223rq 000000a53jsgy 000000x11e4q9 Transakcija 1x Transakcija 1y Transakcija 1z Transakcija 2x Transakcija 2y Transakcija 2z Transakcija 3x Transakcija 3y Transakcija 3z …. …. …. Opomba: v blokih se hranijo še drugi atributi, kot npr. časovni žig. Tega slika ne prikazuje. Dokaz dela (proof-of-work) kot rezultat rudarjenja (mining): Rezultat računsko zahtevne operacije, ki se izračuna kot: SHA-256(T, D, R) = zgoščena vrednost ; pri čemer je: T - besedilo še nepotrjenih transakcij, D – dokaz opravljenega dela zadnje potrjene transakcije oz. sprejeta zgoščena vrednost, R – naključna vrednost (nonce) Ustrezna je le naključna vrednost (nonce) za katero velja, da dobimo z njeno uporabo zgoščeno vrednost z dovolj vodilnimi ničlami. Fakulteta za računalništvo in informatiko Univerza v Ljubljani 60 5.

Predavanja o Informacijskih tehnologijah (PDF)

Document Details

Tags

Related

Summary

Full Transcript