Een datawarehouse opzetten bestaat uit een aantal stappen die in ieder datawarehouse terugkomen. Deze taken kennen we onder de afkorting ETL (extraction, transformation and loading). ETL smeekt om automatisering.
De voordelen op een rij
- Sneller resultaat, binnen een week online
- Minder ontwikkeltijd, meer tijd voor analyse
- Actuele documentatie en automatische data lineage
- Meerdere bronsystemen inzichtelijk
- Monitoring en alerts
- Actuele data, ook gedurende de dag
- Duidelijke analyses en rapportages
De vulling van een datawarehouse
Een datawarehouse wordt gevuld door middel van ETL. Simpel gezegd bestaat het vullen van een datawarehouse uit een aantal stappen:
- Kopiëren van data uit het bronsysteem
- Vastleggen van historie (optioneel, indien u dit niet doet, noemen wij dit liever geen datawarehouse, maar een rapportageversneller)
- Omzetten van deze data naar bruikbare informatie
- Beschikbaar stellen voor rapportage en analyse
Houdt rekening met het service window
Het simpelweg overzetten van data is vrij eenvoudig te doen, het wordt pas echt leuk als het om grote hoeveelheden gaat en dus het kopiëren van een complete tabel niet wenselijk is omdat daarmee de service window in gevaar komt waarbinnen het laden afgerond moet zijn. Kortom er moet een manier gevonden worden om te zorgen dat niet alle data opgehaald hoeft te worden.
Naast het automatiseren van een stap, is het ook wenselijk om te zorgen dat de resources die ter beschikking staan optimaal gebruikt worden. Als er werk te doen is, is het wel prettig als de server gebruikt wordt en er geen processoren stil staan terwijl er één heel druk is. Het geautomatiseerde proces dient dus te zorgen dat taken parallel uitgevoerd worden en alle processoren aan het werk zetten.
Datawarehouse met wendbaar rapportage model
Door de grote toename van data is het automatiseren van een datawarehouse topprioriteit geworden. Voor veel mensen klinkt het woord datawarehouse als een grote logge olietanker. En in het verleden was dit ook zo. Maar door automatisering toe te passen is het datawarehouse snel aan te passen en dus wendbaar. Door het gebruiken van bestaande producten, hoeft u ook over zaken als documentatie en data lineage niet lang na te denken, dit is al automatisch gedaan.
Naast de toename van de data enerzijds merk ik ook dat gebruikers snel veranderen qua inzicht. Antwoorden leveren vaak weer nieuwe inzichten en dus nieuw vragen op. Daarop moet de rapportage weer uitgebreid worden. Hierbij verandert ook de manier waarop er naar de data wordt gekeken. Het is dan wel prettig als de analyse hier snel op aangepast kan worden. Het komt erop neer dat de rapportages of analyses makkelijk aangepast moeten kunnen worden. Doordat de front-end (het rapportage model) losgemaakt is van het datawarehouse (back-end) is dit beheersbaar te realiseren zonder dat uw volledige ETL aangepast hoeft te worden.
Software ontwikkelen of business insights leveren?
Veel bedrijven ontwikkelen zelf datawarehouse oplossingen. De vraag is of dit nog van deze tijd is. Daarom kijken wij ook naar oplossingen die al bestaan en die meteen ingezet kunnen worden. Wij hebben ervaring met het zelf ontwikkelen van datawarehouses, maar gebruiken steeds vaker bestaande oplossingen, waaronder WhereScape en BIML(flex). De eerste biedt met 3D ook een mooie manier om modelgedreven een datawarehouse op te zetten. Als u traditionele datawarehouse oplossingen gewend bent, is dit waarschijnlijk nieuw. Een voorbeeld hiervan is hier te vinden.
Het ultieme doel is als u zelf eenvoudig het datawarehouse en rapportage model kunt uitbreiden en daarbij ook nog kunt houden aan uw eigen architectuur principes. Hiermee zorgen we voor overdraagbare oplossingen die niet afhankelijk zijn van één slimme medewerker. Daarnaast bieden we contracten aan, zodat u helemaal ontzorgt voor wat betreft het data organisatie gedeelte.
