Generic description of the interface for the extraction of standardized data for the various consumers.

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.

Ophalen van data uit een databron t.b.v. een ETL proces in een DWH architectuur

Extract functionality for receiving data from the source systems. This has a XML format and the source is either a webservice or a XML file. The data is extracted and prepared to be transformed

Geo-functionaliteit en register in combinatie met extractie van data in combinatie met geodata en kaarten

Geo functionality and register in combination with the extraction of asset data in combination with geo data and maps

Database functionality for the transformation and extraction of data via an interface

Function for the registration and extractions of governance aspects of the datasets published over the logical services. For example data qualities, connection requirements and the standardized object or information model

Extraction of data to the society (unknown consumers like customers, citizens etc)

Onttrekken van documenten en omzetten naar een lijst van woorden in een relevante volgorde

Transformeren van data tbv ETL. Extract functie haalt de data op uit de bronwaarna de tranformatie functie de data omzet naar het model wat in het DWH geladen wordt. onderliggende functies zijn:

• Opslaan in een staging omgeving
• Validatie van data
• Transformeren van datatypes en waardes.
• Versleuteling
• integratie met andere datastromen
• Agrregatie van feiten en dimensies

Implementation of EDWH and Big Data functionality extracted via a virtualisation function. This virtualization acts as an encapsulation layer and API for the consumer applications

In the context of TDP is the logical application of transformation of data a characteristic pattern.. This pattern includes aspects like extract data from the source, transformation of the model or the protocol and selection of the source and the target model. Transformation exists at two levels in the hourglass. The first is transformation from the source data to the target data in a standardized model. The second is the transformation of the generic model to a specific model in use by the consumer. The last one is not explicitly modeled in the hourglass model because this is considered as an implementation of the consumer.

Serial integration is implemented by introducing a big data platform for the transformation and extraction of unstructured and semi structured data as source for the EDWH functionality. Characteristics - Introduction of the big data platform is relatively easy since it is an extra layer added to the DWH functionality - Relative easy big data patterns are available because the source is always the datawarehouse - Introducing big data solutions for other functionalities than DHW is not possible.

This integration pattern has a close relation with the parallel integration, however there is an extra layer introduced for the virtualisation and standardisation of data extraction to consumers of the data. Characteristics - Virtualisation layer encapsulate the internal confuguration of the two platforms - The virtualisation layer requires a standardized data or objectmodel for the extraction by the consumers - The virtualisation can become a bottleneck in a number of qualities like performance, integratability e.g. -

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.