Data integratie (in het Engels ‘data integration’) is een breed begrip. De markt voor producten die vallen onder noemer data integratie kent daarom ook verschillende doelgroepen.
De markt voor data integratie producten bestaat uit softwaretools die assisteren bij het bouwen en implementeren van dataverkrijging (‘data access’) en data levering (‘data delivery’). Dat is een vrij breed gebied, waaronder diverse onderwerpen vallen, zoals:
- Data acquisitie voor business intelligence en data warehousing. In dit geval worden gegevens uit transactiesystemen gelezen, omgevormd en samengevoegd met andere gegevens (ETL). Deze gegevens worden in een dusdanige vorm opgeslagen (stermodellen) die het eenvoudig en snel bevragen van gegevens mogelijk maakt. Business intelligence en data warehouse oplossingen zullen een belangrijk deel blijven uitmaken in de toepassingsgebieden voor data integratie tools. Op dit moment groeit het volume van gegevens dat in data warehouses wordt vastgelegd nog steeds, en bestaat er een toenemende mate vraag naar nieuwe technologieën om deze grote volumes te behappen. Elk data integratie tool zal deze nieuwe technologieën moeten ondersteunen.
- Consolidatie van gegevens om Master Data Management (MDM) te ondersteunen. In organisatie waar er meerdere systemen in gebruik zijn, zien we al snel duplicatie van gegevens op verschillende plaatsen. Zo kunnen bijvoorbeeld de klantgegevens op meerdere plaatsen bestaan, en niet allemaal dezelfde inhoud hebben. Datzelfde zien we ook al snel bij product- en medewerkersgegevens. Om gegevens van eenzelfde onderwerp eenduidig vast te leggen, bestaat er behoefte aan beheer in de vorm van Master Data Management. Data integratie tools zijn een belangrijk hulpmiddel in het consolideren van gegevens.
- Gegevensconversies. Bij de overgang van een bestaande naar een nieuwe applicatie, bestaat vaak de behoefte aan een conversie van de gegevens vanuit de oude naar de nieuwe situatie. Of bij overnames van bedrijven moeten bestaande gegevens vanuit de applicatie van een bedrijf worden toegevoegd aan een andere bestaande applicatie. Meestal denkt men dan aan het maken van maatwerkprogramma’s. Echter, data integratie tools spelen in toenemende mate een belangrijke rol om het omvormen en overzetten van de gegevens te realiseren.
- Gegevenssynchronisatie tussen transactiesystemen. Deze categorie valt eigenlijk uiteen in twee delen, namelijk:
- Gegevensuitwisseling tussen databases van dezelfde applicatie
- Gegevensuitwisseling tussen verschillende applicaties.
Waarbij in het eerste geval vooral sprake is van replicatie (spreiding van dezelfde gegevens om vooral geografische redenen), is in het tweede geval vooral sprake van messaging:
- Gegevensuitwisseling tussen databases van dezelfde applicatie
- Gegevensuitwisseling tussen verschillende applicaties.
- Data integratie hulpmiddelen zijn uitermate geschikt om deze vormen van gegevensuitwisselingen binnen de grenzen van één organisatie te ondersteunen. Het is feitelijk ook een traject van gegevensextractie en –transformatie (ET) bij de zendende applicatie, en gegevenstransformatie, inlezen en verwerken (TL) bij de ontvangende applicatie.
Net zoals er binnen de grenzen van een organisatie gegevens tussen applicaties worden uitgewisseld, zien we dat dit ook gebeurt tussen applicaties van verschillende bedrijven.
In het gunstigste geval gebeurt dit door middel van gestandaardiseerde berichten (EDI, XBRI).
Vanuit BICONOMICS kijken we vooral naar producten die het ETL stuk afdekken van een data warehouse binnen een business intelligence oplossing, de zogenaamde data acquisitie en data integratie. Daarbij komt de aandacht te liggen op vooral de producten van Oracle: ODI, GoldenGate, Enterprise Data Quality en Data Service Integrator.