kop
zoek login nieuwsbrief english
uw informatie, onze systemen
uw informatie, onze systemen

Meer ETL

mail
print
vergroten

ETL staat voor Extract, Transform en Load en wordt toegepast binnen het datawarehouse concept. Hoewel dit zwaar klinkt, is de toepassing zeker niet beperkt tot grotere organisaties.

Juist bij minder grote organisaties is sprake van een veel specialistische applicaties, die ofwel zelf binnen MS Access of Excel gebouwd zijn ofwel als onafhankelijke applicaties bij derden gekocht zijn. De grote geïntegreerde CRM, ERP of workflow pakketten worden in dergelijke organisaties minder toegepast. Dit geldt ook voor de grote GIS georiënteerde oplossingen van ESRI of Bentley.

Een datawarehouse kan een prima oplossing zijn voor kleine en middelgrote organisaties. Een centrale server wordt hiertoe ingericht met een database. In deze database wordt een kopie van de relevante data uit de bronapplicaties opgeslagen. Essentieel hierbij is dat de data in de centrale database op een eenduidige wijze wordt opgeslagen en dit is de taak van het ETL proces.

Het ETL proces verloopt als volgt. De data wordt opgehaald uit de bronapplicaties, de voornoemde specialistische onafhankelijke applicaties. De ETL tool moet hiertoe contact kunnen maken met een veelheid aan datastructuren: MS Access/Excel, AutoCad, Microstation, shapebestanden, Oracle, MySQL en vele andere formats. Dit wordt de Extract genoemd. B3Partners gebruikt hiervoor eigen ontwikkelde tools of SafeFME indien nodig.

Vervolgens moet de data getransformeerd (Transform) worden. Niet alle data uit de bronapplicatie hoeft overgebracht te worden naar het datawarehouse. Dit betekent dat sommige kolommen of tabellen van de brondatabase worden overgeslagen.

Ook worden tijdens de transformatie opzoeklijsten en de georeferentie eenduidig gemaakt. Een bronapplicatie gebruikt bijvoorbeeld RD-coördinaten om een plaats te bepalen en een andere applicatie gebruikt wegnummers en hectometrering. De transformatie zorgt er dan voor dat de hectometerpaaltjes worden omgerekend naar RD-coördinaten. Een voordeel wordt hier meteen duidelijk: de specialist kan zijn geprefereerde manier van plaatsbepalen handhaven, terwijl de rest van de organisatie toch vergelijkbare informatie krijgt.

Tenslotte wordt de getransformeerde data in de centrale database geladen (Load). Afhankelijk van de eisen kan de nieuwe data de oude data eenvoudigweg overschrijven. Of de nieuwe data wordt voorzien van een tijdsaanduiding geplaatst naast de oude de data, zodat een viewer of rapportagetool ook de historie kan weergeven.

ETL en datawarehousing kunnen zeer complex worden. Ook hier ligt het gevaar op de loer alles in een keer te willen oplossen. Maar dit is niet nodig, want het systeem leent zich bij uitstek voor een stapsgewijze implementatie. Steeds meer bronsystemen worden aangesloten en de data in de centrale database wordt steeds rijker. B3Partners gelooft in een incrementele implementatie.

 

07-06-2007
                  

Meer

B3P GIS ETL
B3Partners heeft als uitgangspunt dat de specialist binnen zijn organisatie gewoon met zijn favoriete applicatie blijft werken. Pogingen om deze specialisten binnen een overkoepelende, alles omvattende applicatie te laten samenwerken stuiten op verzet en zijn vaak tot mislukken gedoemd....