Vanaf de jaren ‘90 is Business Intelligence – en daarmee Data Warehousing – opgekomen binnen het vakgebied ICT. De resultaten van Business Intelligence / Data Warehouse (BI/DW) trajecten zijn wisselend. In sommige organisaties draagt het bij aan de sturing en doelstellingen van de organisatie, in andere organisaties is het initiatief stopgezet of wordt het met veel pijn en moeite in de lucht gehouden.
In de laatste anderhalf tot twee jaar zijn er steeds meer organisaties die zich afvragen wat de toegevoegde waarde van Business Intelligence (BI) is voor de organisatie, en meer dan voorheen kritisch kijken naar de business benefits voordat een BI initiatief wordt opgestart. Daarnaast zijn er bewegingen waar te nemen die duiden op een veranderende kijk op en aanpak van BI, die erop wijzen dat BI meer gemeengoed wordt.
Aan de hand van trends die gaande zijn, kijken we in dit artikel wat de impact van deze bewegingen is op de ontwikkeling van BI/DW oplossingen.
Trend 1: Roep om snellere time-to-market door globalisering
De trend van globalisering heeft enerzijds gezorgd voor fusies tussen bedrijven, die daarmee groter worden. Veel bedrijven leunen daarbij sterk op IT als ondersteunend hulpmiddel. Fusies tussen bedrijven hebben hun weerslag op de integratie van mensen en werkwijzen, maar ook IT systemen en de daarbij behorende data.
Anderzijds heeft globalisering er ook toe geleid dat bedrijven sneller moeten reageren op concurrentie. Heel vaak blijkt dat de IT hierbij een belemmering vormt, doordat de IT afdeling het tempo van de veranderingen niet kan bijbenen.
Steeds meer organisaties kiezen daarom voor standaardoplossingen zoals ERP toepassingen. BI/DW toepassingen bleven veelal maatwerk, omdat men vond dat de organisatie zich daarmee kon onderscheiden van de concurrentie.
Op dit moment zien we dat ook voor BI toepassingen de keuze voor standaardoplossingen niet meer wordt geschroomd, om daarmee het tempo van wijzigingen binnen de organisatie te kunnen bijbenen. Er gaat immers geen tijd zitten in het bedenken welke maatwerk oplossing past voor de organisatie. En de praktijk heeft uitgewezen dat de standaardoplossingen die worden geboden heel goed aansluiten bij de ERP toepassingen die eind jaren ’90 gemeengoed zijn geworden.
Voor die organisaties waarvoor een ERP toepassing een brug te ver is of niet past, blijven maatwerk systemen en maatwerk BI/DW oplossingen bestaan.
Wat we hier zien is dat de werkzaamheden voor de BI/DW oplossing worden uitbesteed door middel van off-shoring / near-shoring (al dan niet met communicatieproblemen) of intern worden uitgevoerd met automatisering van de bouwwerkzaamheden. Alles is gericht op een kortere tijd tussen vraag en levering.
Trend 2: Focus op business in plaats van techniek
De aandacht voor de business in plaats van de techniek zou eigenlijk geen trend mogen zijn bij Business Intelligence: Focus op business zou juist centraal moeten staan bij BI initiatieven. Maar zoals zo vaak met nieuwe ideeën en technologie, is er sprake van een bepaalde incubatietijd om de benodigde kennis en ervaring op te doen, waarbij de aandacht dan vooral uitgaat naar de techniek. Op die plaatsen waar een standaardoplossing wordt gebruikt gaat van nature de aandacht al meer uit naar de functionaliteit (business behoeften). Daar waar standaard oplossingen niet passen, is een DW nog steeds een manier om BI mogelijk te maken. Daarbij zien we dat de business kennis bij het BI team komt te liggen in plaats van exclusief bij de bronsystemen.
ETL / ELT / Geen laadprogrammatuur?
Deze verschuiving wordt voornamelijk ingegeven doordat de wijze van data acquisitie en data opslag door nieuwe inzichten is veranderd. In de beginperiode was het gemeengoed om op basis van informatiebehoeften data te vragen en deze te laden in een Data Warehouse, al dan niet met vastlegging van de wijzigingen in de gegevens. Daarbij werden dus gegevens uit de bronsystemen voorbewerkt gevraagd en geladen: ETL dus, waarbij de transformatielogica ligt voor het punt dat de gegevens worden geladen in het DW. Recente ontwikkelingen richten zich meer op het 1:1 laden van gegevens uit de bronsystemen in een DW datalaag, waarna met behulp van transformaties de feitelijke business data voor rapportage en analysedoeleinden wordt geladen: ELT, waarbij de transformatielogica ligt na het punt dat de brondata is geladen in het Data Warehouse.
Toekomstige ontwikkelingen zullen zelfs nog verder gaan en ETL/ELT overbodig maken, omdat ETL/ELT op dit moment eigenlijk alleen nog maar nodig is vanuit performance overwegingen. Als je data kunt integreren en in historisch perspectief kunt plaatsen, dan is de stap om deze acties in de rapportage tools uit te voeren nog maar klein. ELT leidt dus tot ontwikkeling van zogenaamde “stove-pipes” met data, waar het zaak is voor het BI team met business kennis deze stove-pipes met data om te zetten in relevante stuurinformatie. ELT maakt overigens het automatiseren van de laadprogrammatuur gemakkelijker, waardoor ook hier efficiencyverbeteringen mogelijk zijn (zie ook trend 1).
Data Vault
In 2002 is door Dan Linstedt over Data Vault gepubliceerd, en sindsdien zie je Data Vault steeds meer gebruikt worden als opslagmechanisme in een Data Warehouse.
Data Vault kent van nature al ondersteuning voor de opslag van de wijzigingen in de gegevens en biedt een flexibel en uit te breiden datamodel dat op elk moment in de tijd toestanden kan reproduceren. Door het inbedden van een Data Vault in een DW is het mogelijk om een geheugenfunctie voor data op te bouwen voor de organisatie, al dan niet in de eerder genoemde stove-pipes, om daarna de laag voor rapportage en analysedoeleinden op te bouwen vanuit de Data Vault. Deze laag is nog steeds gebaseerd op de dimensionele technieken zoals bedacht door Kimball. De dimensionele modellen zijn door de Data Vault wel meer wegwerp producten geworden; als het niet meer voldoet, dan maken we toch een nieuwe en vullen deze vanuit de Data Vault. Daarnaast zien we ook een tendens om deze sterschema’s virtueel te maken (views op de Data Vault), waardoor de noodzaak voor laadprogrammatuur om de dimensionele schema’s te vullen afneemt of zelfs komt te vervallen. Door de introductie van een Data Vault wordt een robuust fundament gelegd voor de opslag van data in historisch perspectief, waarmee de informatiebehoeften sneller en beter worden voorzien door het BI team.
Trend 3: Volgende fase in volwassenheid aanbieders en producten
De laatste trend die is te onderkennen en waarop we in dit artikel ingaan, is de consolidatie bij de aanbieders van BI/DW technologie. Op een paar niche-spelers na wordt ook de markt voor BI/DW technologie gedomineerd door vier grote spelers (Microsoft, Oracle, IBM en SAP), die ook allen een grote rol spelen in de overige IT segmenten. Daardoor zien we dat de hulpmiddelen zich niet erg meer onderscheiden, en de keuzes die bedrijven maken worden gedomineerd door bedrijfsstandaarden, ervaringen met leveranciers en inkoopvoordelen die te behalen zijn. Het is geen kwestie meer product-features die de keuze bepalen. Verder zien we dat alle leveranciers hun product-stacks aan het vernieuwen zijn, vooral ingegeven door de roep van afnemers om alles gemakkelijker te kunnen gebruiken: Iedereen kent de Google zoekmachine, iedereen kan er mee overweg, dus andere softwarehulpmiddelen moeten ook net zo gemakkelijk kunnen werken. En omdat de producten gemakkelijker worden in het gebruik, biedt dit ook de mogelijkheid om in een vroegtijdig stadium een snelle oplossing te bieden die de komende tijd vooruit kan, om daarmee te bepalen of het daadwerkelijk van toegevoegde waarde is voor de organisatie (dit sluit aan bij trend 2: Geen ETL). De leveranciers proberen verder allemaal dat klanten kiezen voor hun product-stack, zodat integratie van oplossingen gemakkelijker is te realiseren, waardoor ook BI oplossingen onderdeel gaan uitmaken van de IT oplossingen die bedrijven willen hebben.
Samenvatting
De belangrijkste steekwoorden bij BI/DW initiatieven zijn “standaardisatie” en “business kennis”.
Standaardisatie doordat:
- Pakketten worden gekocht
- Maatwerktrajecten volgens vaste kaders worden opgezet
- Softwarehulpmiddelen vrijwel allemaal hetzelfde kunnen, en daardoor een keuze wordt gemaakt voor een vaste leverancier uit de enkelen die overblijven.
Business kennis, dat tijdelijk ondergesneeuwd raakte door aandacht voor nieuwe technologie, maar dat mede door standaardisatie weer de aandacht krijgt die het altijd al had moeten krijgen.