Data Mesh – hype eller ikke?

David Aas Correia, dataingeniør, informasjonsarkitekt og konsulent i Crayon Consulting

En balansert tilnærming til dataarkitektur og organisering

I stedet for å samle all data i én sentral plattform, bygger data mesh på prinsipper om desentralisering, domeneorientert eierskap og data som produkt. Målet er å gjøre data mer tilgjengelig, relevant og skalerbar – ikke bare teknisk, men også organisatorisk.

Data mesh er ikke en teknologi, men en tilnærming til dataarkitektur og organisering. Konseptet ble introdusert av Zhamak Dehghani, særlig gjennom boken Data Mesh: Delivering Data-Driven Value at Scale, O'Reilly Media (2022), og bygger på fire prinsipper:

1. Domeneorientert eierskap:

Data forvaltes i forretningsområdet som genererer og bruker dataene. De får ansvar for sin egen datainfrastruktur og -kvalitet.

2. Data som produkt:

Data behandles som produkter med klare eiere, kvalitetskrav og tilgjengelighet. Hvert domene må sikre at dataene er tilgjengelige, dokumenterte og pålitelige.

3. Selvbetjent infrastruktur: 

Hvert domene må ha tilgang til en plattform med verktøy og tjenester som gjør det mulig å publisere, dele og sikre data. Dette inkluderer blant annet datakataloger (register som beskriver data som finnes, hvor de kommer fra og hvordan de kan brukes), tilgangsstyring, datakontrakter (spesifikasjon for struktur, kvalitet og bruk av data som utveksles) og databehandling.

4. Føderert styring og databehandling:

Felles standarder og regler på tvers av domener for hvordan data skal struktureres, sikres og deles. Styringen skjer sentralt for sikkerhet, personvern og interoperablitet med lokale tilpasninger og eierskap.

Data mesh arkitektur Bilde fra: Data mesh architecture www.datamesh-architecture.com/

Fordeler med data mesh

De fire prinsippene ovenfor er det som utgjør kjernen i data mesh og hvordan du kan organisere og skalere din dataarkitektur. Med denne tilnærmingen kommer det både fordeler og utfordringer, sammenliknet med alternativet en sentralisert dataplattform. Noen av de viktigste fordelene er:

• Skalerbarhet: Flere team kan jobbe parallelt med å utvikle, dele og forbedre sine egne dataressurser. Dette gir en mer horisontal modell, der kapasiteten vokser i og med domene.

• Bedre datakvalitet: Data forvaltes nær kilden og brukerne. Dette øker både relevans og kvalitet ved at brukerne har bedre innsikt i kontekst, forretningslogikk og bruksmønstre, noe som gir mer presise og nyttige datasett.

• Raskere innsikt: Når hvert domene har selvbetjente verktøy og ansvar for egne data, kan de eksperimentere, utvikle og levere løsninger raskere. Det er kortere vei fra idé til beslutning ved at du ikke må vente på sentral godkjenning eller utviklingskapasitet.

• Klarere ansvar: Data som produkt medfører tydelig eierskap, definert kvalitet og forventet tilgjengelighet. Dette skaper ansvarlighet og forutsigbarhet fra datakilde til sluttbruker. Det blir enklere å vite hvem du skal kontakte, hva du kan forvente, og hvordan data skal brukes.

Utfordringer med data mesh

Disse fordelene er svært attraktive og hovedgrunnen til at denne tilnærmingen er blitt så populær. Adopsjonen har økt de siste årene og mange har startet sin reise til en mer desentralisert dataforvaltning og -behandling. Det kommer likevel ikke uten utfordringer og noen av de mest relevante er:

• Kompleksitet i plattformbygging: Å bygge en selvbetjent dataplattform som støtter alle domener krever moden teknologi, god arkitektur og høy kompetanse. Det handler ikke bare om å sette opp verktøy, men å kontinuerlig skape en helhetlig plattform som er brukervennlig, sikker og skalerbar. Dette er svært komplisert og kan undervurderes.

• Kulturell motstand: Overgangen fra sentralisert til desentralisert modell utfordrer etablerte roller og maktstrukturer. Sentrale enheter kan oppleve tap av kontroll, mens forretningsområder får nye ansvar og myndigheter, som de kanskje ikke er vant med fra tidligere. Dette kan skape friksjon og forsinke implementering.

• Styring og samsvar: Føderert styring innebærer at du kombinerer lokal autonomi med sentrale standarder og retningslinjer. Dette er krevende å balansere og håndheve, spesielt med mange domener og varierende modenhet, og selv med tydelig styring, kan du ende opp med enten for mye kontroll (som hemmer innovasjon) eller for lite (som skaper risiko).

• Økonomisk usikkerhet: Desentralisering er en strategisk transformasjon som krever helhetlig innsats og krever samtidige investeringer i teknologi, opplæring og organisasjonsutvikling. Det kan være utfordrende å vise til konkrete gevinster som rettferdiggjør kostnadene, som videre kan gjøre det vanskelig med forankringen.

5 anbefalinger og tiltak for å lykkes med data mesh i praksis

Usikkerhet og risiko oppstår ofte fordi data mesh krever både teknologisk modenhet og organisatorisk endring. Det er krevende og kontinuerlig arbeid. Jeg deler noen av mine anbefalinger og tiltak, basert på egne erfaringer:

1. Start med modne domener

Å innføre data mesh i hele virksomheten kan være overveldende. Start med ett eller noen få domener som har høy datamodenhet, motivasjon og kompetanse. Disse pilotene kan fungere som læringsarenaer og demonstrere verdi tidlig, og kan bygges på for å gradvis skalere modellen til resten av organisasjonen.

2. Invester i tilrettelegging

Teknologi alene er ikke nok.Det trengs kompetanse, støtte og verktøy for å lykkes og tilrettelegging handler først og fremst om å bygge kapasitet gjennom dialog, opplæring og kontinuerlig utvikling og forvaltning av kultur og ansvar.

3. Definer eierskap og ansvar

Klare roller og ansvar er avgjørende for at en desentralisert tilnærming skal fungere. Hvert domene må vite hvem som eier hvilke data, hva som forventes av dem, og hvordan de skal samhandle med hverandre. Dette krever organisatorisk forankring, tydelige mandat og føderert styring som sikrer kvalitet og tilgjengelighet.

4. Bygg opp datastyring fra dag én

Føderert styring må etableres tidlig for å sikre felles retningslinjer for masterdata, sikkerhet, personvern, datakvalitet og interoperabilitet. Den må være fleksibel nok til å støtte lokal autonomi, men robust nok til å sikre helhet og samsvar. Den fødererte styringen kan deretter revideres og oppdateres jevnlig gjennom involvering av de ulike domenes erfaringer og behov.

5. Mål og kommuniser verdi

Å lykkes i å dokumentere og kommunisere verdi og gevinster er essensielt. Bruk KPI-er som eksempelvis tid til innsikt, forbedret datakvalitet, redusert avhengighet av sentrale team og økt innovasjon. Disse verdiene kan bidra til å bygge tillit og motivasjon i organisasjonen.

Fra hype til praksis – hva fremtiden kan bringe for data mesh

Data mesh markerer et fundamentalt skifte i hvordan du kan organisere, forvalte og skalere din databruk. Det er ikke bare en teknisk modell, men en strategisk og kulturell transformasjon som krever klare roller, kompetansebygging og tverrfaglig styring. Når det lykkes, gir det virksomheten evne til å levere raskere innsikt, høyere datakvalitet og mer effektiv samhandling på tvers av organisasjonen. Data mesh er definitivt ikke en universal- eller “plug-and-play"-løsning, men for mange, et nødvendig og riktig steg mot å lykkes bedre med sine data.

Hvis jeg kikker inn i spåkula tror jeg at trenden modner og at desentralisert dataforvaltning og behandling blir den nye «normalen» for (større) virksomheter som trenger å skalere sin databruk. Jeg tror potensiale og verdien av kunstig intelligens vil presse virksomheter i samme retning. Data vil fortsette å være en ressurs som skaper interne og eksterne økosystemer for datadeling og kommersialisering, hvor produkter og tjenester i en desentralisert struktur vil øke hastigheten og omfanget av dette. Til slutt, vil teknologien og leverandørene modne seg etter brukernes behov, men det vil fortsatt være organisatorisk, menneskelig og kulturell transformasjon som er den viktigste suksessfaktoren.

Fagartikkel skrevet av David Aas Correia

Denne artikkelen er skrevet av David Aas Correia og er basert foredraget “Data mesh – hot or not” som han holdt på årets Fagfestival i Crayon Consulting. Da var publikum delt 70% hot og 30% not, som også indikerer at tilnærmingen ennå mangler klare svar og erfaringer på en rekke punkter

14.05.2024

Bli bedre kjent med David

David er en dyktig dataingeniør, informasjonsarkitekt og konsulent hos oss som hjelper virksomheter med å bruke data til å få bedre innsikt i forretningen.

Se mer