Nationella datavärdskap
Omvärlden efterfrågar bättre och snabbare tillgång till kvalitetssäkrade data från miljöövervakningen. Systemet med datavärdar är vårt sätt att möta denna efterfrågan. Datavärdarna som arbetar på uppdrag av Naturvårdsverket och Havs- och vattenmyndigheten svarar för leveranskontroll, lagring och presentation av data.
Bra att veta
För de vattenrelaterade datavärdarna är Havs- och vattenmyndigheten beställare. För övriga datavärdskap inklusive datavärdskap för miljögifter är Naturvårdsverket beställare.
Data görs tillgängliga
Utgångspunkten är att kvalitetssäkrade data ska kunna hämtas av alla på ett så enkelt och smidigt sätt som möjligt. I de fall datavärden upplever användarnas önskemål som svåra att tillgodose ska datavärden lyfta frågan till beställaren, som får hantera önskemålet och förhoppningsvis lösa problemet. Vi bedömer att datavärdskap är en kostnadseffektiv lösning som medger att data kan lagras på ett distribuerat sätt nära källan och där kunskap om datainnehållet finns.
De nationella datavärdarna är framför allt andra myndigheter och olika institutioner vid universiteten som på uppdrag från Naturvårdsverket och Havs- och vattenmyndigheten tillgängliggör data från olika undersökningar.
Vår vision för nationella datavärdskap
- Alla data som samlas in med hjälp av skattemedel är allmänt tillgängliga.
- Data används och kommer till nytta.
- Alla insamlade data levereras till någon datavärd. Med ”alla” menas data från nationell övervakning, regional övervakning, kalkeffektuppföljning, samfinansierad övervakning (till exempel samordnad recipientkontroll, SRK) samt data från Basinventeringen och Naturvårdsuppföljningen i vissa fall.
- Alla data samlas in med gemensamma metoder.
- Alla data är tillgängliga via webben.
- Kvalitetsinformation finns för alla data.
Termer och begrepp
Beställare: Den organisation som skriver avtal med utförare eller datavärd.
Provtagande organisation: Den som utför provtagning, datafångst eller motsvarande.
Dataleverantör: Den som levererar data till datavärden.
Datavärd: Den organisation som fått i uppdrag att driva ett datavärdskap.
Datavärdskap: Dataförvaltning med funktionen att ta emot och utföra leveranskontroll, lagring och tillgängliggörande av miljödata inom ett tematiskt område.
Nationellt datavärdskap: Långsiktigt datavärdskap inrättat med statliga medel i syfte att vara den nationella noden för miljödata inom ett tematiskt område. Internationell rapportering ingår ofta som en del av tillgängliggörandet.
Övervakningsmanual (tidigare undersökningstyp): En övervakningsmanual är ett dokument som ger vägledning om hur en undersökning inom miljöövervakningen ska genomföras. En viktig del av innehållet är metoder, referenser till metoder och råd om hur metoderna ska användas. En annan viktig del är att den vägleder i fråga om datakvalitet och datahantering. En övervakningsmanual kan när det är lämpligt användas även för angränsande områden t ex inom vattenförvaltningen, samordnad recipientkontroll, för inventeringar och andra uppdrag.
Programområde: Den nationella och regionala miljöövervakningen är organiserad enligt tio programområden som följer en tematisk indelning.
Delprogram: En finare indelning av ett programområde. Kan liknas vid ett projekt som löper över en längre tid och som har en långsiktig beställning och finansiering.
Övervakningsprogram: Ett övervakningsprogram kan liknas vid ett projekt som löper över en längre tid och som har en långsiktig beställning och finansiering. Innehåller minst en (1) undersökning. Begreppet övervakningsprogram är synonymt med delprogram, program, kontrollprogram.
Undersökning: En undersökning beskriver en konkret aktivitet, inventering eller projekt. Kan liknas vid ett projekt som löper över en kortare eller längre tid och som har en kort- eller långsiktig beställning och finansiering. En undersökning har ofta en relation till ett överordnat övervakningsprogram men kan också existera självständigt. En undersökning har alltid en relation till metoddokument ofta kallade övervakningsmanualer eller undersökningstyper. Begreppet undersökning är synonymt med inventering och projekt.
Nationell miljöövervakning: Miljöövervakning som finansierats med statliga medel för att ge en övergripande bild av miljötillståndet i Sverige. Beställare är Naturvårdsverket eller Havs- och vattenmyndigheten.
Regional miljöövervakning: Miljöövervakning som finansierats med statliga medel för att ge en övergripande bild av miljötillståndet på länsnivå. Beställare är en länsstyrelse.
Lokal miljöövervakning: Miljöövervakning som finansieras av en kommun.
Dataproduktspecifikation: Dokumentation som definierar en dataprodukt och de krav som kan ställas på dataprodukten
Dataprodukt: Datamängd som beskrivs i en dataproduktspecifikation enligt ISO 19131.
Datavärdarna presenteras
Vilka som är datavärdar för miljöövervakningsdata, och information om vilka data som finns hos värdarna, framgår på sidan Miljöövervakningsdata.
Leverans av data till datavärd
Utförare som Naturvårdsverket eller Havs- och vattenmyndigheten har avtal med ska leverera kvalitetssäkrade data till datavärden. Datavärden gör olika rimlighetskontroller och kontaktar utföraren om något verkar fel eller orimligt.
När leveransen är godkänd läggs det nya datat in i datavärdens databas och datat blir offentligt. Hur lång tid denna process tar varierar från några timmar upp till ett år. Vår gemensamma strävan är att snabba på denna process ytterligare.
Regionala data bör utnyttjas mer
Vårt mål är även att användningen av regionala miljöövervakningsdata ska öka. För att åstadkomma detta tror vi att de nationella datavärdarna i större utsträckning bör användas för lagring och spridning av regionala miljöövervakningsdata. Länsstyrelser, vattenvårdsförbund eller motsvarande ansvarar dock för att data är kvalitetssäkrade innan de levereras till datavärd.
Från kommunerna levereras data från bland annat badvattenprovtagningar samt luftkvalitetsmätningar i tätort. Dessa data rapporteras till HaV respektive datavärden för luftkvalitet i tätort.
Fristående tjänst för validering av miljödata
För att förenkla hanteringen av miljöövervakningsdata och snabba på processen från insamling till tillhandahållande av miljödata har Naturvårdsverket och Havs- och vattenmyndigheten låtit utveckla en maskinell valideringstjänst för i första hand miljöövervakningsdata. Valideringstjänsten utför kontroller av data samt förbereder data för lagring i databas och frigör därmed resurser från datavärdarna. Datavärdarna kan istället göra mer kvalificerade kontroller av data med stöd av deras erfarenhet och ämnesområdeskunskap.
Bakgrunden till att NV och HaV utvecklar denna tjänst är att Datavärdarna under en rad år har meddelat Naturvårdsverket att manualer/undersökningstyper inte är tillräckligt precisa för att de ska kunna veta om en leverans är godkänd eller inte. Och då blir hela kvalitetsgranskningen alltför personberoende och inte särskilt spårbar varken för beställaren av datavärdskapet eller för slutanvändaren av data.
Tjänsten togs i drift under 2019. Dataflöden som omfattas är Grundvatten (SGU), Provfiske (SLU), Luftkvalitet (SMHI), Miljögifter (SGU). Vid lyckat resultat kan vi gå vidare med flera dataflöden/typer. Tjänsten är starkt kopplad till andra komponenter som t ex Stationsregistret.
Valideringstjänsten har tre syften:
- Att tjänsten på ett standardiserat och spårbart sätt ska kunna beskriva mätdatas kvalitet för inrapporterad datafil och om filen kan godkännas eller inte enligt ställda krav.
- Att datatjänsten automatiskt ska göra de kontroller som idag görs av människor och som är en av de främsta orsakerna till att data inte kommer ut på webben i den takt som användarna förväntar sig.
- Att skapa en starkare koppling mellan undersökningstyper/manualer och validering. Denna koppling kommer i tjänsten att utgöras av en dataspecifikation som följer en internationell standard: "ISO 19131:2007 Geographic information - Data product specifications". (DPS)
Inom miljöövervakningen och annan övervakning finns ett ständigt återkommande problem med övervakningsstationer som byter namn, hamnar fel, hamnar rätt, förväxlas, får nya namn, aggregeras, splittras beroende på vad det konkreta syftet för stunden är. Åtskilliga mängder data rapporteras vidare till EU, Helcom, Ospar, FN och andra organisationer. Rätt vad det är säger något IT-system ifrån och meddelar att vi inte kan ha samma ID för två olika stationer. Inte minst i samband med omrapporteringar till EU uppstår dessa konflikter. Denna hantering kostar onödigt mycket pengar och tid och skapar osäkerhet, särskilt för slutanvändaren.
Därför utvecklar Naturvårdsverket och Havs och Vattenmyndigheten sedan en tid ett gemensamt och fristående stationsregister i samarbete med datavärdarna och Strålsäkerhetsmyndigheten. Själva kärnan av registret innehåller en minimal uppsättning attribut och information. Provplatsernas och övervakningsstationernas ID:n och dess position är det centrala. All övrig information kommer att kunna hämtas via API:er hos datavärdarna i ett senare skede. Dagens möjligheter att länka data gör detta möjligt. En unik identifierare är dock nyckeln.
Stationsregistret skall användas av samtliga beställare, utförare och datavärdar och syftar till att höja kvalitén i miljöövervakningsdata, förenkla den internationella rapporteringen och göra det möjligt att söka efter och kombinera information som förvaltas av olika datavärdar. Datavärdarna som idag förvaltar stationsinformationen i sina respektive databaser ska vara den primära innehållsförvaltaren av registret i en central tjänst. Datavärdarna är införstådda med denna förändring.
Stationsregistret ska dessutom utgöra den centrala svenska noden som visar "placering och användning av anläggningar och platser för miljöövervakning" som INSPIRE-direktivet kräver. Stationsregistret löser uppgiften med central tjänst för NV, HaV, Länsstyrelserna, SGU, SMHI, SLU samt SSM. Genom denna centrala tjänst underlättas framtagandet av andra INSPIRE-tjänster då vi kan vara säkra på att vi alltid använder den officiella provplatsens eller övervakningsstationens ID och position.
Stationsregistret är i drift för de nya provplatser som skapas. De äldre provplatser/stationer som finns i registret kommer kvalitetssäkras successivt. Under 2020 var 75% kvalitetssäkrade.
Stationsregistret i sin nuvarande form är en så kallad WFS-tjänst (Web Feature Service) men en webbsida för manuell utsökning finns också. Stationsregistret uppfyller de krav som Inspire-direktivet ställer på medlemsstaterna att hålla tjänster som redovisar var miljöövervakning utförs.
Format, kvalitet och metoder
I avtalet med datavärdarna ingår att datavärden ska tillhandahålla tydliga anvisningar för utförare, länsstyrelser, konsulter med flera, så att dessa från början vet hur data ska levereras till datavärden. I anvisningarna ska även förekommande termer, begrepp, artlistor etcetera anges. Anvisningarna kan laddas hem från respektive datavärds datasida.
För att användarna av Naturvårdsverkets miljöövervakningsdata ska kunna bedöma såväl användbarhet som begränsningar måste även information om datas kvalitet finnas tillgänglig. Då våra dataserier blir alltmer nåbara genom olika typer av externa webbtjänster och sökgränssnitt måste kvalitetsinformationen följa datat och lagras i samma databas.
Handledning för miljöövervakning och andra manualer
En viktig komponent i kvalitetsarbetet är Naturvårdsverkets handledning för miljöövervakning. Flertalet undersökningar är beskrivna i denna handledning, och den kvalitetskontroll datavärden gör ska i första hand utgå från dessa rekommendationer. I de fall en mätmetod inte är beskriven i handledningen kan dataleverantören/utföraren tillämpa andra metoder.
Dataproduktspecifikationer
Sedan flera år pågår ett arbete med att beskriva data, överföringsformat mm med hjälp av Dataproduktspecifikationer (DPS). Syftet är att förbättra datakvalitén och göra det enklare att både leverera data och ladda ner data från en datavärd. Detta görs bäst om kraven på data är kända redan vid beställning av datainsamling. En DPS kan beskriva krav på format, kvalitet, överföringsformat och informationsmodell mm. I arbetet stöder vi oss på en standard som heter ISO 19131:2008. Dokumentet riktar sig till beställare av datainsamling, utförare av datainsamling, datavärdar och användare av data. Dokumentet utgör själva definitionen av den datakvalitet som beställaren i samråd med datavärden bestämt ska gälla. Därmed blir dokumentet även en referens till datakvalitén. DPS:en ersätter inte övervakningsmanualer utan kompletterar dessa med bl. a tekniska specifikationer och informationsmodeller.
För närvarande är två Dataproduktspecifikationer klara. DPS:erna kommer uppdateras vid behov och efter önskemål.
Dataåtkomst
Särskilda beställningar kan göras om man har vissa specifika önskemål. Vår strävan är dock att erbjuda så likartade nerladdningssätt och dataformat som möjligt, och att dessa är anpassade till omvärldens behov.
För att våra datalager ska kunna utnyttjas i flera sammanhang måste därför dataformat, beskrivningar av metadata och tekniska lösningar följa de ISO-standarder och andra standarder som utvecklas. Detta är ett absolut krav vid utveckling av till exempel webservices eller karttjänster där data från olika källor ska kunna kopplas ihop eller visas i samma vy.
Användarnas behov ska tillgodoses
Vi strävar efter att så långt som möjligt tillgodose användarnas behov av data och att via våra datavärdar erbjuda en blandning av datatjänster, förklarande presentationer och möjligheter att ladda ner data. Fördelen med datatjänster för data eller kartskikt är att användaren alltid har tillgång till den senaste versionen.
Öppna API:er underlättar åtkomsten
Ett sätt att möta nya behov hos användarna är att förbättra direktåtkomsten till våra datakällor via ett så kallat API (Application programming interface). Med bra och öppna API:er tror vi att användningen av miljödata kommer att öka, samtidigt som det ställs högre krav vad gäller standardiserade format, termer och begrepp. Detta är ett arbete under snabb utveckling just nu. Har du något önskemål, kontakta oss gärna.