Transformatie soorten overzicht

In de context van data gedreven werken is de logische toepassing van transformatie van data een karakteristiek patroon. Dit patroon omvat aspecten zoals het extraheren van data uit de bron, transformatie van het model of het protocol en selectie van het bron- en het doelmodel. transformatie bestaat op twee niveaus in de zandloper. De eerste is transformatie van de brondata naar de doeldata in een gestandaardiseerd model. De tweede is de transformatie van het generieke model naar een specifiek model dat door de consument wordt gebruikt. De laatste is niet expliciet gemodelleerd in het zandlopermodel omdat dit wordt beschouwd als een implementatie van de consument.

Diagram in standaardweergave

Bestand

Gegevens opgeslagen in een bestand, bijvoorbeeld semi-gestructureerd zoals: XML, XLS, JSon, edifact enz. Ongestructureerd zoals Word, Tekst enz.


Details van Bestand

Bericht

XML-bericht als een stroom of bestand geïmporteerd in een berichttransformatiehandler met de transformatiefunctie. Het bericht moet worden gestructureerd en beschreven met bijvoorbeeld een XSD-definitie


Details van Bericht

CSV-gebaseerde webservice

Gestructureerd bestand

Bestand met gevalideerde gestructureerde inhoud dat kan worden verwerkt tot een gestructureerd model en kan worden doorgestuurd naar een ETL-proces


Details van Gestructureerd bestand

Op XML gebaseerde webservice

Gegevensbron

Beschrijving van de gegevensbronnen in het algemeen. Is een aggregatie van specifieke typen gegevensbronnen. Deze generieke databron is aan het model toegevoegd om associaties met generieke eisen en uitgangspunten mogelijk te maken


Details van Gegevensbron

Relationele databases

Gegevensentiteiten opgeslagen in een relationele (staging) database


Details van Relationele databases

Relationele transformatie

Transformatie van relationele data-entiteiten (opgeslagen in een relationele database) naar het gestandaardiseerde datadoel.


Details van Relationele transformatie

Bestandstransformatie

Transformatie van een databestand (meestal semi-gestructureerd), bijvoorbeeld een XML-bestand met een intern datamodel dat getransformeerd moet worden naar het gestandaardiseerde model.


Details van Bestandstransformatie

Transformatie

Transformatiefunctie van het specifieke brondatamodel naar het gestandaardiseerde doeldatamodel. Dit kan een model- of een protocoltransformatie zijn. Vaak is deze transformatie onderverdeeld in substappen en deze substappen zullen worden geanalyseerd en gemodelleerd in de architectuur van een specifieke datapipe-implementatie en componenten


Details van Transformatie

Transformatie van berichten

Transformatie van een XML-stroom (meestal semi-gestructureerd) met een intern of specifiek datamodel dat moet worden getransformeerd naar het gestandaardiseerde model in het datadoel.


Details van Transformatie van berichten

CSV-transformatie