Data Mesh – ett warehouse i moduler

Ett nytt koncept att bygga data warehouse är Data Mesh. I stället för att bygga ett stort monolitiskt data warehouse, så delar man upp det i flera mindre domän-drivna enheter. Det är en sedan länge beprövad teknik för att bygga it-system, men inom data warehouse är den dominerande arkitekturen att samla allt data i ett stort system.

Ett traditionellt data warehouse

Ett data mesh warehouse

Fördelen man vill uppnå är lättare förvaltning och mer flexibilitet, som möjliggör snabbare förändringar. En del data har kanske mycket höga krav på kvalitet och tillgänglighet, till exempel ekonomisk redovisning. Där kan de finnas skäl att inte göra snabba förändringar utan gedigna tester innan produktionssättning sker. Annat data behöver vara mer snabbrörligt, kanske analys av aktiviteter på en webb. Det kan därför vara vettigt att separera dessa informationsmängder i egna databaser och med egna laddningsflöden. Det hindrar inte att båda källorna kan förenas i gemensamma analyslager (data mart).

Viktigt är dock att masterdata som kunder, produkter, klassificeringar och den egna organisationen är gemensamma så att man lätt kan göra analyser över flera områden.

I små data warehouse med huvudsakligen en datakälla ger data mesh få fördelar, men har man flera större källsystem, till exempel ekonomisystem, CRM-system, projektuppföljning, HR-data och webstatistik, kan nyttan bli stor.

Behöver man byta systemet för projektuppföljning, kan det göras enklare, utan stor påverkan på annat data. En annan fördel är om man vill byta ut tekniska komponenter, så kan det göras mera stegvis och med mindre risk. Byter man ekonomisystem kan ett nytt dataflöde byggas upp parallellt med det befintliga. Då blir då enklare att växla över till det nya eller rulla tillbaka om något går fel.

Ibland är det viktigt att visst data är laddat tidigt på morgonen, medan annat data kan komma in senare. Har data olika skyddsklass, kan det vara enklare att separera data i åtskilda databaser med skilda behörigheter. Behöver man återställa en backup, kan det göras snabbare med mindre databaser.

Jag tror data mesh har stora fördelar och kommer bli ett vanligare designmönster framöver.

Johan Porsby – Grundare och BI-arkitekt