Functionality for analysing the transformed and standardized data in a data analytics tool.

Voor de transformatie van woorden naar tref- en of stopwoorden kunnen transformatieregels ingezet worden. Denk hierbij bijvoorbeeld aan het herleiden van woorden naar een stam waarvoor geautomatiseerde transformatieregels opgesteld kunnen worden.

Verrijken en transformeren van data van en naar geo locaties bijvoorbeeld door gebruik van database logica en software

Transformatie ten behoeve van integratie is een veelvoorkomende bron van precisieproblemen bij integratie. Analyseer risico’s en zoek naar componenten en integratievormen die de gewenste precisie tijdens data transport kunnen handhaven.

Bij het bewaren van de log is een getrapte indeling te maken met de volgede indeling

• Laatste vijf minuten (hoge actualiteit, tijdigheid en beschikbaarheid) met name voor de inzet van signalering, monitoring en monitoring dashboards)
• Laatste half jaar (normale actualiteit, tijdigheid en beschikbaarheid) voor de inzet van rapportages omtrent het berichtenverkeer en het gebruik van de verschillende componenten
• Ouder dan een half jaar (lage actualiteit, tijdigheid en beschikbaarheid). Alleen te gebruiken voor toezichthouders en eventueel voor vergelijken van rapportages over een langere periode

Daarnaast is het van belang dat goed nagedacht wordt over wat bewaard wordt, alleen de berichtheaders of ook delen van de inhoud. Tevens dient nagedacht te worden wanneer de transformatie naar de signalering en rapportage structuren gedaan wordt

Data transformation represents a solution environment where the Big Data platform is exclusively used for transforming large amounts of data obtained from a variety of sources.

Data transformation represents a solution environment where the Big Data platform is exclusively used for transforming large amounts of data obtained from a variety of sources.

Opbouw van de boomstructuur naar een graaf of boom waarbij op basis van de transformatie regels en de interactie met de experts bepaald wordt welke associaties er horen bij de verschillende termen.

Transformeren van datastructuren in XML, HTML en Json naar interpreteerbare en valideerbare data tbv de kwaliteit

Consumer of data, in most situation the consumer gets access to processed data (cleaning, filtering, transforming) based on a standardized model

Converteren van datatypes naar andere datatypes (tekst {-} Numeriek). Inclusief transformatie naar datatypen op andere platformen zoals database, XML, softwaretalen en localisatie.

Transformatie van de data zoals opgeslagen in de asset data registratie en transformatie naar een model voor berichten (CGMES, datamarts of bestandsformaten).

Transformatie van de data zoals opgeslagen in de asset data registratie en transformatie naar een model voor berichten (CGMES, datamarts of bestandsformaten).

Transformation of the data as stored in the asset data registration and transformation to a model for messages (CGMES, data marts or file formats).

Processing activities for filtering, cleaning and transformation of datasets

Transformatie van data naar diverse protocollen, bijvoorbeeld voor de implementatie van webservices, REST maar ook naar een voor rapportages leesbaar formaat

Transformatie van data naar diverse protocollen, bijvoorbeeld voor de implementatie van webservices, REST maar ook naar een voor rapportages leesbaar formaat

Transformation of data to various protocols, for example for the implementation of webservices, REST but also to a format readable for reports

Transformation and transfer functionality from data sources to storage, processing and usage.

Deepsee is een replicatie van de ZIM data en is ingericht om de performance van de ZIM te handhaven. In Deepsee vinden complexe transformaties plaats naar fact en dimension modellen. In deepsee zijn ook de datamarts geimplementeerd.

Omdat er naar verwachting meerdere afnemers zijn van rapportage data bijvoorbeeld de leveranciers de interne beheerafdelingen binnen de infrastructuurleverancier en management en wellicht toezichthouders zal er bij deze rapportage interfaces een ETL inrichting gewenst zijn. Dit omdat iedere afnemende toepassing eigen wensen heeft rond de transformatie, selectie en filtering.

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.

Complex transformation between different database structures

Dit is een wat vreemde eend in de bijt omdat het een relatief klein onderdeel is van de gehele gewenste functionaliteit. Het is echter een specifiek project waarvoor subsidie aangevraagd is. Het heeft wel direct raakvlakken met het expertise netwerk omdat het een ontsluitingsvorm is. Bijkomend voordeel is dat het kan aansluiten op bestaande nderdelen in het applicatielandschap en alleen een extra functie is voor het transformeren van vrije tekst naar een onderwerpenboom en de relatie terug naar de brondocumenten

Extract functionality for receiving data from the source systems. This has a XML format and the source is either a webservice or a XML file. The data is extracted and prepared to be transformed

Transformation of a datafile (mostly semi structured) for example an XML file with an internal datamodel that has to be transformed to the standardized model.

Automatiseer datapipes om het proces van gegevensopname, gegevensintegratie, gegevenstransformatie en gegevensanalyse te stroomlijnen. Beheer en verwerk grote hoeveelheden gegevens efficiënt, verkrijg zinvolle inzichten, neem weloverwogen beslissingen.

De gegevenstransformatie en verrijking zorgt ervoor dat de gegevens voor opslag in een databank getransformeerd worden naar een formaat dat voor de afnemende toepassingen gewenst is. Daarbij spelen issues als beschikbaarheid en verwerkingstijd van de transformaties mede een rol.

Description of generic requirements for all the transformation functionalities

Import en handmatige transformatie van kantoordocumenten zoals Excel sheets etc.

Import en handmatige transformatie van kantoordocumenten zoals Excel sheets etc.

Import and manual transformation of office documents like excel sheets etc.

Deze functie biedt de mogelijkheid om data uit berichten verkeer of andere messaging protocollen op te halen en mee te nemen in de datatransformaties in een ETL proces

Zorg dat data die geproduceerd of getransformeerd wordt, zeker bij handmatige verwerking van data in een validatie activiteit beoordeeld wordt. Dit biedt een punt in het proces waar issues gesignaleerd kunnen worden, maatregelen genomen kunnen worden of waar signalen zijn dat er in andere data management processen aandachtspunten zijn rond de data kwaliteit.

Stored procedures en functions maken het mogelijk om transformaties, controles en validaties te automatiseren in de vorm van scripts binnen deze stored procedures en functions. Hiermee heb je vanuit deze programmatuur direct toegang tot de inhoud van de verschillende tabellen.

De kaderstellende architectuur is van groot belang voor het sturen van de verandering in een organisatie om van de baseline architectuur te transformeren naar de target architectuur. Het stellen van kaders wordt veelal uitgewerkt op basis van architectuur principes of tegenwoordig ook wel bindende architectuur afspraken genoemd. Daarnaast kun je ook de beschrijving van de viewpoints terugvinden omdat die ook beschouwd kunnen worden als kaderstellend.

Het laden van de getransformeerde data in het datawarehousein de vorm van een datamart of datacube.

View with a subset for classes to be transformed to source code or sql statements

Data modellering en meta modellering voor voorbeeldmodellen op basis van UBL en overheidsmodellen. Deze modellen worden gebruikt voor de opslag van de data maar ook voor de data integratie, - transformatie en - validatie

Data modellering en meta modellering voor voorbeeldmodellen op basis van UBL en overheidsmodellen. Deze modellen worden gebruikt voor de opslag van de data maar ook voor de data integratie, - transformatie en - validatie

Data modeling and meta modeling for example models based on UBL and CIM. These models are used for the storage of the data but also for the data integration, - transformation and - validation

XML message as a stream or file imported in a message transformation handler with the transformation function. The message should be structured and described for example with a XSD definition

Transformation of a XML stream (mostly semi structured) with an internal or specific datamodel that has to be transformed to the standardized model in the data target.

Transformeren van modellen en protocollen. Bijvoorbeeld van en naar een Canoniek Model transformeren en protocol transformeren XML naar JSoN vice versa.

For the transformation of source to target datamodels a description of the data elements has to be modeled.

Transformation of a NoSQL datasource to a standardized data target

Een Architectuur Repository staat niet op zich in een applicatielandschap. Data moet uitgewisseld worden van en naar de architectuur repository. Hierbij is modeltransformatie bijna altijd noodzakelijk.

Database functionality for the transformation and extraction of data via an interface

Processing of data for transformation, cleaning and filtering of data

Retrieval and querying function on the transformed and standardized datasets

Logische toepassingsfunctie voor de opslag en transformatie van stamgegevens in verschillende bronfuncties en de gegevensregisterfunctie

Logical application function for the storage and transformation of master data in various source function and the data register function

ETL processes for the transformation of data from relational to relational databases or structured files

Transformation of relational data entities (stored in a relational database) to the standardized data target.

ETL verwerkt voor de transformatie van data van relationele naar relationele databases of gestructureerde bestanden

ETL verwerkt voor de transformatie van data van relationele naar relationele databases of gestructureerde bestanden

(Traditionele) ETL voor het transformeren en overbrengen van data van relationele registers en consumenten. Voor NoSQL transformaties wordt veelal gebruik gemaakt van vergelijkbare ETL inrichting en daarom is dit niet nader gespecificiceerd

Transformeren naar atributen in datasets door omzetten naar samenvoegen tot een geaggregeerd kenmerk. Daarnaast het opsplitsen van delen van een attribuut op basis van een bepaald kenmerk. Splitsen opv komma of spatie.

Specific requirments for specific application functions like specific transformations

Een bijzonder ETL proces om specifieke data te transformeren van de bron naar de master data. Denk bijvoorbeeld aan een ETL proces ingericht op basis van XMI, AMEF of BPMN uitwisselformaten

Een bijzonder ETL proces om specifieke data te transformeren van de bron naar de master data. Denk bijvoorbeeld aan een ETL proces ingericht op basis van XMI, AMEF of BPMN uitwisselformaten vanuit de architectuur repository naar de consumerende informatiesystemen.

Opslaan van data uit de databron in een staging omgeving voordat deze getransformeerd en uitgemodelleerd wordt.

In dit document wordt nadat de solution voor het werken met een architectuur repository is uitgewerkt een aantal generieke stappenplannen uitgewerkt. Deze stappenplannen geven een team een leidraad welke activiteiten uitgevoerd dienen te worden om de transformatie van een document gedreven werkwijze naar een repository gedreven werkwijze te realiseren. De stappenplannen in dit document bestaan uit een aantal generieke activiteiten voor de introductie van een architectuur repository. Echter deze stappen kunnen eenvoudig worden uitgebreid in de specifieke context van de eigen organisatie. Uitwerking is op basis van de volgorde van uitwerken van de architectuur en vervolgens een stappenplan voor het introduceren van de tooling van de architectuur repository.

Applicatie functie die geautomatiseerd een document omzet naar een lijst van termen inclusief de juiste vulling van de koppeltabel voor termen en documenten

Transformation functionality for transforming the data content from a (application) specific datamodel to a generic datamodel based on a standardized datamodel (see the service diagrams). This can be impllemented either in an ETL transform process or in a message handler for example in a service bus.

Transformeren van data tbv ETL. Extract functie haalt de data op uit de bronwaarna de tranformatie functie de data omzet naar het model wat in het DWH geladen wordt. onderliggende functies zijn:

• Opslaan in een staging omgeving
• Validatie van data
• Transformeren van datatypes en waardes.
• Versleuteling
• integratie met andere datastromen
• Agrregatie van feiten en dimensies

Transformeren en modelleren van de bron data naar de gewenste rapportage vorm. Dit kan een sterschema of kubus zijn of een platte dataset in het geval van een data levering.

Transformation function from the specific source data model to the standardized target data model. This can be a model or a protocol transformation. Often this transformation is divided in sub steps and these sub steps will be analyzed and modeled in the architecture of a specific data pipe implementation and components

Functionality to design workflows to automatically perform transformations and cleaning of datasets.

Workflow management for the scheduling and iteration of transformation tasks

Transformation of an XML stream or file to a relational model

In the appliance integration of a big data platform with DWH functionality the appliance acts like a black box in which all functionality is integrated in a (proprietary) solution. This solution is configured for optimal performance of transformation and analysis. Characteristics - Appliance is developed, configured and often maintained by an external supplier - It is introduced as a fully integrated solution therefore existing implementations of the DWH have to migrate to this solution - Appliances are often introduced when a cloud solution is selected for the data platform

Layered or tiered architecture fortransformation of data from sources to utilisation. It includes three architectural columns that influence all layers

The hourglass model is a specific model for the transformation of data sources to a standardized model in a target datastore. It is the simplified implementation of a layered Big Data architecture. The hourglass model can be used to medel specific implementations of transformation of data in a pattern called the datapipe. In a number of other diagrams a detail view is given of these implementations in projects like Digital Transformation, TDP, MaxLimit and others.

In the context of TDP is the logical application of transformation of data a characteristic pattern.. This pattern includes aspects like extract data from the source, transformation of the model or the protocol and selection of the source and the target model. Transformation exists at two levels in the hourglass. The first is transformation from the source data to the target data in a standardized model. The second is the transformation of the generic model to a specific model in use by the consumer. The last one is not explicitly modeled in the hourglass model because this is considered as an implementation of the consumer.

In dit diagram zie je een uitwerking van het ETL patroon op basis van applicatiefuncties. Daarnaast zie je welke component zorgdraagt voor deze ETL verwerking. Je ziet hierbij ook dat er een aantal data objecten uitgelezen worden en getransformeerd worden naar een datamart in het datawarehouse.

Overview of the transformation from file based data to a data target

Overview of the transformation from a relational database to a data target

In this scenario the master data register collaborates with the various data producing application functions. This means that when data is modified in one of the systems these modifications are shared between all collaborating functions. Therefore the integration between these data producers is essential in this scenario An interesting scenario in this is where the Data Register is only used as a key store or key cabinet and the detailed data is kept in the other source systems Advantages - Data is gathered directly from source systems and thus it is always accurate and real time. - Data can be stored within the source systems in a specific format supporting the business processes within these systems - Differences in availability between consumers and sources can be handled by the Data Register - Reuse of screens, workflows and validations in the source systems - Data standardization within the Data Register - Introduction of a key store or key cabinet. Disadvantages - Managing the synchronization between systems is an extra piece of work and complexity. - Replication of data - Complex data transformations from sources to register and back

In this scenario data is collected form the various data producing applications and combined and standardized in the master data register. This means that data is modified in one of the data producing applications and eventually enriched in the data register. The data register is mainly a data replication with a standardized data model of the other data producers. An example is a datawarehouse Advantages - All data directly integrated at hand. - Standardization of data is possible within the Data Register - There is a possibility to enhance data by intelligently combing it to new information. - High availability only for the data register when consumers need a high availability - Data validation can be implemented in the system where it is most advantageous/efficient - Reuse of screens, validations, existing data integrations and workflows - Supports a iterative migration to a more centralized (register) scenario Disadvantages - When integration of data is asynchronous the data is not the same as in source systems on every moment. This will not be a problem if timing is not an issue. - When synchronization of data is synchronous high availability requirements for the registry systems is necessary - Data replication and need for extra storage - Fetching and distributing data back and forth is equally much work as with an MDM solution - Possible very complex data transformations necessary

In dit scenario werkt het masterdataregister samen met de verschillende dataproducerende applicatiefuncties. Dit betekent dat wanneer gegevens in een van de systemen worden gewijzigd, deze wijzigingen worden gedeeld tussen alle samenwerkende functies. Daarom is de integratie tussen deze dataproducenten essentieel in dit scenario Een interessant scenario hierbij is dat het Dataregister alleen als sleutelarchief of sleutelkast wordt gebruikt en de detailgegevens in de andere bronsystemen worden bewaard. Voordelen:

• Gegevens worden rechtstreeks uit bronsystemen verzameld en zijn dus altijd nauwkeurig en realtime.
• Gegevens kunnen in de bronsystemen worden opgeslagen in een specifiek formaat dat de bedrijfsprocessen binnen deze systemen ondersteunt
• Verschillen in beschikbaarheid tussen consumenten en bronnen kunnen worden opgevangen door het Dataregister
• Hergebruik van schermen, workflows en validaties in de bronsystemen
• Datastandaardisatie binnen het Dataregister
• Introductie van een sleutelkast of sleutelkast.

Nadelen:

• Het beheren van de synchronisatie tussen systemen is extra werk en complexiteit.
• Replicatie van gegevens
• Complexe datatransformaties van bronnen naar register en terug

In dit scenario is er geen dataregister maar worden alle masterdata opgeslagen binnen de dataproducenten zoals ERP en geofuncties. Voor de dataconsumenten zijn de data echter op gestandaardiseerde wijze beschikbaar via de asset data services. Dit betekent dat wanneer een consument assetdata nodig heeft, dit via de dataservices wordt opgevraagd en uit de verschillende dataproducerende applicaties wordt verzameld. De implementatie van de dataservices zorgt voor de standaardisatie van het masterdatamodel en het data-uitwisselingsprotocol Voordelen:

• Realtime afstemming van de gegevens.
• Eén punt van waarheid en onderhoud
• Geen replicatie van data (en de bijbehorende complexiteit)
• Hergebruik van bestaande gebruikersinterfaces, validaties en (verborgen) integraties

Nadelen

• Het serviceontwerp mag de gegevens niet verbeteren, dus de toepassing moet mogelijk opnieuw worden ontworpen.
• Elke verandering in datamodel in bronnen leidt tot verandering in service, dit moet op elkaar worden afgestemd.
• Verificatie en bedrijfsregels worden geïmplementeerd in bronsystemen.
• Hoge beschikbaarheid en prestatie-eisen voor alle producerende systemen
• Complexe modeltransformaties binnen de servicelaag om voor een specifiek producentensysteemmodel te transformeren naar het vereiste model door de consumenten
• Releases van de bronsystemen worden complexer door de nieuwe afhankelijkheden in de dataservices

In this scenario there is no data register but all master data is stored within the data producers like ERP and geo functions. However for the data consumers the data is available via the asset data services in a standardized manner. This means that when a consumer needs asset data this is requested via the data services and collected from the various data producing applications. The implementation of the data services handles the standardization of the master data model and the data exchange protocol Advantages - Real time alignment of the data. - Single Point of Truth and Maintenance - No replication of data (and the involved complexity) - Reuse of existing user interfaces, validations and (hidden) integrations Disadvantages - The service design should not enhance the data so the application might have to be redesigned. - Any change in data model in sources leads to change in service, this should be aligned. - Verification and business rules are implemented in source systems. - High availability and performance needs for all the producing systems - Complex model transformations within the service layer to transform for specific producer system model to the required model by the consumers - Releases of the source systems become more complex because of the new dependencies in the data services

In dit scenario worden data verzameld uit de verschillende dataproducerende applicaties en gecombineerd en gestandaardiseerd in het masterdataregister. Dit houdt in dat gegevens worden gewijzigd in een van de gegevensproducerende toepassingen en uiteindelijk worden verrijkt in het gegevensregister. Het dataregister is voornamelijk een datareplicatie met een gestandaardiseerd datamodel van de andere dataproducenten. Een voorbeeld is een datawarehouse Voordelen:

• Alle gegevens direct geïntegreerd bij de hand.
• Standaardisatie van data is mogelijk binnen het Data Register
• Er is een mogelijkheid om gegevens te verbeteren door deze intelligent te combineren tot nieuwe informatie.
• Hoge beschikbaarheid alleen voor het dataregister wanneer consumenten een hoge beschikbaarheid nodig hebben
• Gegevensvalidatie kan worden geïmplementeerd in het systeem waar dit het voordeligst/efficiëntst is
• Hergebruik van schermen, validaties, bestaande data-integraties en workflows
• Ondersteunt een iteratieve migratie naar een meer gecentraliseerd (register)scenario

Nadelen

• Wanneer integratie van data asynchroon is, is de data niet op elk moment hetzelfde als in bronsystemen. Dit zal geen probleem zijn als timing geen probleem is.
• Wanneer de synchronisatie van gegevens synchroon is, zijn hoge beschikbaarheidseisen voor de registersystemen noodzakelijk
• Gegevensreplicatie en behoefte aan extra opslagruimte
• Het heen en weer ophalen en distribueren van data is even veel werk als bij een MDM-oplossing
• Mogelijk zeer complexe datatransformaties nodig

Serial integration is implemented by introducing a big data platform for the transformation and extraction of unstructured and semi structured data as source for the EDWH functionality. Characteristics - Introduction of the big data platform is relatively easy since it is an extra layer added to the DWH functionality - Relative easy big data patterns are available because the source is always the datawarehouse - Introducing big data solutions for other functionalities than DHW is not possible.

Description of the generic aspectis of the transformation application function. This has the following elements - Data sources - Transformation functions - Data targets - Data or object modeling functions

Het mappingdiagram wordt gebruikt om inzichtelijk te maken hoe de datum van een brontabel naar een doeltabel stroomt. Daarbij worden mappings gemaakt. Dit zijn lijnen vanuit welke kolom uit de brontabel verbonden is met een kolom in de doeltabel. In een aantal gevallen dienen kolommen bij de transformatie uitgesplitst of samengevoegd te worden. Hoe dit wordt gedaan is te zien in tussen elementen in het mdoel mergers en splitters genoemd. In dit diagram zien we een aantal mapping voor vestigingdata.

In this diagram a description of the datapipe from an (webservice) or XML file source to the target datamodel is described. This is based on the transformation of a XML model to an intermediate tabular or relational model and this is then processed in an ETL process to transform the source data model in a number of steps to the required target model.

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.

Dit is een wat vreemde eend in de bijt omdat het een relatief klein onderdeel is van de gehele gewenste functionaliteit. Het is echter een specifiek project waarvoor subsidie aangevraagd is. Het heeft wel direct raakvlakken met het expertise netwerk omdat het een ontsluitingsvorm is. Bijkomend voordeel is dat het kan aansluiten op bestaande nderdelen in het applicatielandschap en alleen een extra functie is voor het transformeren van vrije tekst naar een onderwerpenboom en de relatie terug naar de brondocumenten

De kaderstellende architectuur is van groot belang voor het sturen van de verandering in een organisatie om van de baseline architectuur te transformeren naar de target architectuur. Het stellen van kaders wordt veelal uitgewerkt op basis van architectuur principes of tegenwoordig ook wel bindende architectuur afspraken genoemd. Daarnaast kun je ook de beschrijving van de viewpoints terugvinden omdat die ook beschouwd kunnen worden als kaderstellend.

In dit document wordt nadat de solution voor het werken met een architectuur repository is uitgewerkt een aantal generieke stappenplannen uitgewerkt. Deze stappenplannen geven een team een leidraad welke activiteiten uitgevoerd dienen te worden om de transformatie van een document gedreven werkwijze naar een repository gedreven werkwijze te realiseren. De stappenplannen in dit document bestaan uit een aantal generieke activiteiten voor de introductie van een architectuur repository. Echter deze stappen kunnen eenvoudig worden uitgebreid in de specifieke context van de eigen organisatie. Uitwerking is op basis van de volgorde van uitwerken van de architectuur en vervolgens een stappenplan voor het introduceren van de tooling van de architectuur repository.