Forelesning 5. Geodatakvalitet og standardisering PDF

Forelesning 5, LAD102, mandag 7.10.24 Gunnars rånotater Så langt har vi gått gjennom - Hva er gis, hvordan lagres og representeres geodata – som vektor og raster, hvordan få den runde jordkula ned på et flatt ark/skjerm og helt til tre UTM- soner med akseptable feil, sist om datakilder og datafangs...

Forelesning 5, LAD102, mandag 7.10.24 Gunnars rånotater Så langt har vi gått gjennom - Hva er gis, hvordan lagres og representeres geodata – som vektor og raster, hvordan få den runde jordkula ned på et flatt ark/skjerm og helt til tre UTM- soner med akseptable feil, sist om datakilder og datafangst (geovekst, Norgedigitalt, www.geonorge.no, GPS-er fra vanlige håndholdte til differensielle, litt om teodolitt/kikkert/totalstasjon (trigonometri), litt om laserscanning fra fly, litt om ortofoto..) I dag om (geo)data-kvalitet og (geodata)standardisering og neste gang om «alle» de vanlige GIS-operasjonene vi kan regne med å finne i et GIS-program. Geodatakvalitet Boka s. 60-63 Kvalitet er viktig for dem som lager geodasett, jf. de store nasjonale geodatainstitusjonene (Kartverket, kommuner, NGU etc.) Kvalitet kalles også nøyaktighet. Avhengig av hva de geografiske dataene skal brukes til vil det være forskjellige krav til nøyaktighet. Kvalitet er det like viktig å ha et forhold til for dem som bruker geodata og GIS. Ved bestilling av geodata, mens man jobber med geodataene, ved tolking av analyseresultater, ved utarbeidelse av plankart, temakart og andre kart, og i dokumentasjonen av jobber gjort med GIS. Geodatakvalitet er flere ting: Geometrisk nøyaktighet/stedfestingsnøyaktighet, eg. +/- 2m, +/- cm, ca det samme som målestokk (Husk at FKB er de mest nøyaktige kartdataene). Angies i SOSI med …Målemetode og …Nøyaktighet Egenskapsnøyaktighet/attributtnøyaktighet – eg1. en egenskapsfeil er for eksempel en linje angitt med egenskapen Europavei, mens det i virkeligheten er en toglinje. eg2. et tettsted er angitt med 5000 innbyggere, mens det i virkeligheten har 50 000 innbyggere. Egenskapsnøyaktighet sier også noe om hvordan egenskapene er samlet inn, hva som er registrert pr. objekt etc. se metadata under. Topologisk nøyaktighet – hvordan dataene henger sammen, eg. ingen hull i polygoner, veinett henger sammen etc. Aktualitet-/ajourføringsnøyaktighet – hvor aktuelle/hvor gamle geodataene er. Når er de fra, eg. fra 2007 Fullstendighet – eg. er alle hus med, er alle biologisk mangfold områder med, er alle kulturminner med, alle hus er målt inn, men er alle kodet riktig? Ufullstendig eller ”ikke kartlagt alt sammen” er altså noe annet enn ”kartlagt, men det var ingen ting der” (Biologiskmangfold- og kulturminne-geodatasett er ofte nevnt som geodatasett som er ufullstendige, mens for eksempel eiendomsgrense- og hus-geodatsettene stort sett er fullstendige) Eksempel: Kulturminner vs. Miner. La oss si at alle kulturminner som er kartlagt i en kommune og har god geometrisk nøyaktighet, men alle er dessverre ikke kartlagt. I skog og nord i kommunen er det ikke lett i det hele 1  tatt, ikke kartlagt, altså et ufullstendig geodatasett med kulturminner. Dumt med greit nok. Men tenkt hvis dette var miner? Her innrømmer RA at de har ufullstendige data om kulturminner Hva inneholder Askeladden? :: Riksantikvaren Og da er det egentlig greit nok. De har beskrevet kvaliteten i sine metadata, se under. Slik er dette geodatasettet. Metadata er data om dataene. Her vil det stå opplysninger om hvordan dataene er samlet inn (kanskje i henhold til en kjent instruks som det er link til), noen ganger hvilket formål de er samlet inn for (eg. et stort veiprosjekt), hvilken informasjon som finnes i dataene (hvilke egenskaper er samlet inn for hvert objekt eg. hus – med grunnflate, høyde, alder, eier, takst), når dataene er samlet inn, noe om geometrisknøyaktighet, hvem som gjorde kartleggingen, hvordan er for eksempel inndelingen i klasser gjort, hvilken koordinatsystem dataene er målt i… Eksempel på metadata for Arealressursdatasettet (dette har dere brukt en del på datasalene) Gå til kartkatalogen i Geonorge (startstedet for å lete etter geodata i Norge, nevnt i forrige time). https://kartkatalog.geonorge.no/ Skriv «FKB-AR5» i søkefeltet, kommer opp en del treff, men trykk på «Arealressurskart FKB-AR5». Her finner du tre nivåer av metadata 1. på «forsiden» kan du lese en kort og grei beskrivelse av hva FKB-AR5 er 2. ved å trykke på «Vis produktark», får du frem et pdf-dokument med noe mer tekst, men fremdeles enkelt og greit. He finnes også tegneregler ved å trykke på «Vis tegneregler». 3. ved å trykke på «Vis produktspesifikasjon», stuper du rett inn i en veldig detaljert «SOSI-standard-dokument» for FKB-AR5 … en 60 siders pdf https://sosi.geonorge.no/produktspesifikasjoner/FKB-AR5/5.0.1/FKB-AR5_5.0.1.pdf få av dere vil gå mye inn her, men her finner dere f.eks. etter en del trykking hva ARTYPE-kodene, som dere har lekt med i øvingene, betyr 2  https://register.geonorge.no/sosi- kodelister/fkb/ar5/5.0/arealressursarealtype?sorting=codevalue SOSI blir forklart under standarder lenger ned i notatene. Geomatikere blir ofte de som lager gode geodatasett, mens dere som blir landskapsplanleggere eller naturforvaltere eller mange av dere andre som tar kurset, blir ofte mer bestillere/brukere av geodatasett. Bestillere av geodatasett starter gjerne med at dere gjør dere opp en mening om hvilken kvalitet dere trenger på geodataene til den jobben som skal utføres. Må få tak i gode nok data av kjent kvalitet. Kvaliteten må være beskrevet. Det er viktig å gjøre en god bestilling av geodata, derfor er punktene under uthevet. Bestill så det du trenger til din oppgave. Beskriv i bestillingen - den geometrisknøyaktigheten du trenger, helst som for eksempel +/- 2m eller som målestokk for eksempel 1:5000. - den ajurføringsnøyaktigheten (aktualitet) du trenger, årstall for kartlegging, hva slags ajourholdsregime er det – daglig, en gang i året, hvert tiende år… - den egenskapsnøyaktigheten du trenger, eg. Jeg trenger høyde, byggeår og hustype på husene. Jeg trenger fartsgrense på veiene.. og det må være riktig. I tillegg kan du gjerne si at du vil ha en beskrivelse av hvordan data er samlet inn og kodet. - det koordinatsystemet du trenger, eg. utm32 euref89 eller geografiske koordinater WGS84 - det området du trenger, gjerne hjørnekoordinatene i et kjent koord.sys. eller et kartbilde hvor området er tydelig avmerket - det data-formatet du trenger, sosi, shp, gml, dxf, etc. og/eller raster eller vektor - at du vil ha fullstendige data. Er de ikke det så be om en beskrivelse av hvor det ikke er kartlagte objekter og hvor det er ufullstendige egenskaper. Forvent å få med metadata som beskriver dataene du har bestilt Det jobbes for at alt av kartdatasett skal kunne finnes og bestilles i www.geonorge.no. Der skal man kunne søke seg frem til det man trenger, lese i metadataene og laste ned geodatasettene til egen pc, men man er ikke helt der ennå. De vanligste geodatasettene er klare i geonorge, noen er passordbeskyttet, men en del er ikke søkbart på geonorge i det hele tatt (som konsesjonsbelagte data - se forrige uke). Så huskelisten over vil være nyttig i mange år fremover. Når en ”GIS-jobb” er gjort er det også viktig å beskrive kvaliteten til geodataene du har brukt. Altså beskrive kartdatakildene. For eksempel når plankartet er laget, konsekvensutredningen er ferdig, eller for så vidt når studentoppgaver er skrevet, skal geodatasettene du har brukt beskrives. Omtrent som når du bestilte. Kilde – hvem samlet inn og laget datasettene og hvor har du fått det fra Koordinatsystem brukt 3  Innsamlingsmetoden til datasettene du har brukt – eg. Iht. instruksen for biologisk mangfold, iht. folketellingsinstruksen … Geometrisk nøyaktighet – eg. ment for ca. 1:5000, +/- 5cm, fra vanlig håndholdt GPS.. Årstall for innsamling og registrering Dette for å kunne etterprøve arbeidet ditt og fordi det er en juridisk side her (åndsverkloven - hvem har rettighetene). Her syndes det mye i en del miljøer. Hvis du lager et eget/et nytt geodatasett er det akkurat like viktig å beskrive geodatasettet du har laget. Kanskje du lager en reguleringsplan en dag, eller et geodatasett med tiurobservasjoner, eller et geodatadatasett med døde trær, eller et geodatasett med sykdomstilfeller, eller måler inn en hyttetomt. Da må du skrive ned: - Hvem som har laget det og når - Hvor geometrisk nøyaktig er det, ofte kodes dette med hva slags utstyr/metode som er brukt eg. med «proff-gps», fra skjerm, med vanlig gps.. - Hvilket koordinatsystem det er målt i - Hvilke egenskaper er med og hva betyr de - Er dataene topologisk gode - Er dataene fullstendige Dette for at du og andre kan bruke disse geodataene til noe fornuftig senere. Standardisering Bla. s. 64-69, 76 Geografisk informasjon som kart har vært gjenstand for standardisering i mange hundre år. Eg. seile til sjøs lange avstander, bytter kartblad, kommer til nye kyster, symbolbruk og målestokk osv. må være ”rimelig” likt for at man skal kunne lese det fort. Går på fjelltur og bytter kartblad, nødvendig at symboliseringen er lik... Med datamaskiner er dette enda viktigere. De er utrolig mye dårligere enn mennesker til å gjette hva noe betyr. For at datamaskiner og programvare skal virke, og ikke minst hvis datamaskiner skal snakke sammen, må man ha standarder. Ordentlige standarder er et resultat av en åpen standardiseringsprosess og kalles derfor ofte åpne standarder. ”Ikke-åpne standarder” kalles ofte proprietære standarder, eller de facto standarder – er ikke et resultat av en åpen standardiseringsprosess, men gjerne et resultat av at de er størst i markedet. *.odt, html og xml og en hel masse kommunikasjonsprotokoller på lavt nivå er åpne standarder. *.docx (Word) er en typisk proprietær standard fra Microsoft, og det meste av softwaren i en Mac og kommunikasjonen med denne er ikke åpne standarder. Microsoft office har ikke en åpen beskrivelse av hvordan det er laget, mens Open office har det. Altså, Microsoft word er et ikke et Open source program, mens (Apache) OpenOffice Writer er et Open source program. 4 For geodata og GIS er også standarder veldig viktig. Nå har geodata og GIS og kommunikasjon med geodata fått en god del standarder. Det tar noen år før standardiseringsorganer som ISO (The International Organization for Standardization), CEN (The European Comittee for Standardization) og OGC (The Open Geospatial Consortium) og Kartverket får ferdig standarder. Og så tar det noen år før utviklere innen programvare og internettløsninger tar disse standardene i bruk. Nå har vi en mye og det sier også noe om at GIS-teknologien er moden. Geodatastandarder gir bla.: - en felles forståelse av geodataene – en omforent kode betyr f.eks. vann, eller planlagt for bolig - letter utveksling av data mellom ulike GIS-programmer - øker muligheten for å kombinere data Norge leder an. Vi har SOSI (helt norsk - samordnet opplegg for stedfestet informasjon), vi er aktive i Europa og verden (CEN og ISO) og sikkert i OGC også. https://www.geonorge.no/Geodataarbeid/standardisering/ Rull litt ned og se at dere finner linken til SOSI-standarder. Bare det at denne linken finnes, betyr at standarden er helt åpen. Noen viktige «kartdataformat»-standarder for GIS WMS – web map service, helt åpen, laget av OGC og godkjent av ISO, som gjør at vi kan se kart over internett i mange kartløsninger. Får opp en bildefil (et rasterbilde) av et kart som vi enkelt sagt bare kan se på. Brukt i flere øvinger som bakgrunnskart. WFS – web feature service, helt åpen, laget av OGC og godkjent av ISO, som gjør at vi kan se kart over internett i mange kartløsninger. Får opp de reelle vektordataene, som kan brukes til mye mer. Brukt i øvingen med registeringen av biler. WCS – igjen en OGC-standard – Web Coverage Service Interface Standard. Ny for meg i 2021, men fint OGC er på banen med slikt også https://en.wikipedia.org/wiki/Web_Coverage_Service SOSI- en helt åpen standard som Kartverket har jobbet med siden 1987. Inneholder regler for overføring av geometri, egenskaper, topologi og metadata. Norsk. Jobbes med at dette skal bli GML. https://no.wikipedia.org/wiki/SOSI-formatet Noen har f.eks. programmert et lite program slik at SOSI kan leses rett inn i Qgis (vel, det virker ikke lenger for nye sosi-filer). Da var de avhengige av å kunne ha beskrivelsen av formatet foran seg. Det finnes også et par frittstående open source programmer som konverterer fra SOSI til shp, som dere sannsynligvis skal teste i løpet av høsten. Det jobbes for at GML skal overta for SOSI i Norge. GML – Geography Markup Language som likner på XML (Extensible Markup Language) er omtrent det samme som html. XML is a set of rules for encoding documents electronically. All are fee-free open standards. XML’s design goals emphasize simplicity, generality, and usability over the Internet. Skal overta for SOSI i Norge. Er laget av OGC. Altså et tekstbasert standardisert format alle kan bruke. 5 Shp er for så vidt også et åpent format, siden ESRI, som lager ArcGis, har frigitt beskrivelsen av formatet. Det kan kalles en åpen de facto standard. Og er vel det mest populære geodataformatet for tiden. Kml ble laget for google earth, men er likevel en OGC-standard Gpx er et åpent format som vanlige GPS’er produserer. Det var et spor på Gpx-format jeg lastet ned fra Polar Flow i en liten demo i slutten av forrige uke og la rett inn i Qgis. Ifc – helt åpen standard, ISO-standard, for lagring av BygningsInformasjonsmodeller, BIM http://no.wikipedia.org/wiki/Industry_Foundation_Classes altså avanserte 3d-modeller av særlig bygg, men også veier, rør og andre anlegg. Alle disse kalles også overføringsformater. Alle som utvikler GIS-programmer forsøker å programmere seg frem til at disse formatene skal kunne leses og vises som kart på en skjerm. Det jobbes hardt med å lage gode internasjonale standarder for flere områder av GIS. Bl.a. hadde det vært fint om man hadde en OGC-standard for metadata. Mulig det har kommet… Og det hadde vært fint om alle navigeringsknappene i forskjellige GIS-programmer var like (bla. irriterende at det finnes mange forskjellige zoom-knapper), om geodatabaser var organisert likt, om alle flybilder var komprimert likt, etc. Ikke nødvendigvis likt, men i alle fall med en åpen standard, som alle kan få tilgang til, slik at man kan lese data fra alle GIS- systemer. Det går den veien. Men fremdeles er det mye proprietær programvare og proprietære geodataformater å forholde seg til. GISLINE har sine formater, WinMap har sine formater, Esri (ArcMap) har sine formater (i tillegg til shp som dere har testet på lab’en). Autocads dxf og dwg format er typiske ikke-åpne defacto-standarder for CAD-tegninger. Autocad er dog presset hardt de siste årene for å frigi den tekniske beskrivelsen av dxf og dwg, men mange mener det ikke er bra nok, slik at det fremdeles er vanskelig for andre programvareutviklere å lese og skrive dxf/dwg. Gratis åpen progamvare for GIS (free open source GIS – FOSS-GIS): her har det skjedd veldig mye de siste årene. Innen geodatalagring/GIS-serverprogramvare er allerede (gratis)open source løsninger tatt i brukt av veldig mange. Også innen programmering av internettkartløsninger er (gratis)open source programvare meget populært. Google gjerne «foss-gis» kommer fort til http://www.osgeo.org/ (Open Source Geospatial Foundation). Spesielt interessant for dem som vil programmere selv, sette opp geodataservere, etc. Geomatikerne vil høre mye mer om dette. Gratis opensource desktop-programvare har derimot vært for dårlig inntil omtrent nå (vel, ca. 8 år siden). Derfor brukte vi ArcMap fra et amerikansk kommersielt selskap på NMBU tidligere. Så brukte vi en del tid på å teste gratis open source desktop-programvare vi kunne bruke til studentøvinger, og for så vidt forskning, som i tillegg følger alle standarder definert av OGC. Det mest interessante ble Qgis. Kan lastes ned gratis herfra http://www.qgis.org/ 6 (og dere er den sjuende-åttende LAD102-gjengen hvor alle bruker dette programmet. Det samme er valgt på NTNU og mange andre steder.) En liten sammenlikning mellom commercial- og open source-GIS: (mest for Geomatikerne) https://eomag.eu/10-differences-between-commercial-and-open-source-gis-software/ Og en av mange treff på «who is paying the bill» for å utvikle open source programvare: https://blog.tidelift.com/open-source-whos-paying-the-bills Mer om SOSI De neste avsnittene brukte jeg for mange år siden da dette kurset bare var for landskapsplanleggere, men velger å ta det med da det illustrerer et fagområde/et «digitalt kartlag» i Norge. Det finnes tilvarende opplegg for andre fagområder/«digitale kartlag». Disse fagområdene ble gjerne kalt kapitler i SOSI-standarden og nå kalles det Produktspesifikasjoner. I sosi-standarden finnes det et ”kapittel”/produktspesifikasjon, som heter PLAN - beskriver hvordan ett ”digitalt Plankart” skal lagres og kodes. (datamodell, lovlige objektverdier, objektenes geometri, etc) - Innholder bla. en liste med lovlige arealformålverdier eg. 1110 – Boligbebyggelse, 5000 – LNFR https://www.regjeringen.no/globalassets/upload/md/vedlegg/planlegging/geografisk- informasjon/sosi_prodspek_del_3_1_sosi_kommuneplan_45_ver20120417.pdf Her står det f.eks. på side 33 og 34 om lovlige koder for arealformål Viktig å bruke standarden for Plan for å kunne sammenlikne kommuneplaner og for å sammenstille kommuneplaner mellom kommuner i en region for eksempel. Innen planfaget finnes det også en presentasjonsstandard PLAN. Det er en symboliseringsstandard. Den er ikke en del av SOSI-standarden. - Regler for hvordan plankart skal se ut - Sier noe om anbefalte målestokker, kommuneplan ca. 1:20000, kommunedelplan ca. 1:10000, og om anbefalt utseende, design, plantekst, plassering av tegnforklaring, bakgrunnskart etc. - Og ikke minst om symbol/farge-standard eg. Nåværende boligområde – gul, fremtidig boligområde – mørk gul. Sammendrag Geodata må være av kjent kvalitet og være standardisert for at de i det hele tatt skal kunnes brukes til noe fornuftig. Er geodataene av ukjent kvalitet og ikke standardisert er det er mulig man klarer å se på dem på dataskjermen, men de bør brukes med stor varsomhet. Free open source GIS-programvare har kommet for å bli. En Quiz til uke 4 og 5 legges ved siden av dette dokumentet i Canvas. 7