Voor de transformatie van woorden naar tref- en of stopwoorden kunnen transformatieregels ingezet worden. Denk hierbij bijvoorbeeld aan het herleiden van woorden naar een stam waarvoor geautomatiseerde transformatieregels opgesteld kunnen worden.

Verrijken en transformeren van data van en naar geo locaties bijvoorbeeld door gebruik van database logica en software

Verrijken en transformeren van data van en naar geo locaties bijvoorbeeld door gebruik van database logica en software

XML-bericht als een stroom of bestand geïmporteerd in een berichttransformatiehandler met de transformatiefunctie. Het bericht moet worden gestructureerd en beschreven met bijvoorbeeld een XSD-definitie

Transformatie ten behoeve van integratie is een veelvoorkomende bron van precisieproblemen bij integratie. Analyseer risico’s en zoek naar componenten en integratievormen die de gewenste precisie tijdens data transport kunnen handhaven.

Transformatie ten behoeve van integratie is een veelvoorkomende bron van precisieproblemen bij integratie. Analyseer risico’s en zoek naar componenten en integratievormen die de gewenste precisie tijdens data transport kunnen handhaven.

Transformatie van een webservicebericht of bestand naar een relationeel model

Transformatie van een databestand (meestal semi-gestructureerd), bijvoorbeeld een XML-bestand met een intern datamodel dat getransformeerd moet worden naar het gestandaardiseerde model.

Bouwsteen voor transformatie van op bestanden gebaseerde gegevens naar het gestandaardiseerde gegevensdoel (model)

Bij het bewaren van de log is een getrapte indeling te maken met de volgede indeling

• Laatste vijf minuten (hoge actualiteit, tijdigheid en beschikbaarheid) met name voor de inzet van signalering, monitoring en monitoring dashboards)
• Laatste half jaar (normale actualiteit, tijdigheid en beschikbaarheid) voor de inzet van rapportages omtrent het berichtenverkeer en het gebruik van de verschillende componenten
• Ouder dan een half jaar (lage actualiteit, tijdigheid en beschikbaarheid). Alleen te gebruiken voor toezichthouders en eventueel voor vergelijken van rapportages over een langere periode

Daarnaast is het van belang dat goed nagedacht wordt over wat bewaard wordt, alleen de berichtheaders of ook delen van de inhoud. Tevens dient nagedacht te worden wanneer de transformatie naar de signalering en rapportage structuren gedaan wordt

Data transformation represents a solution environment where the Big Data platform is exclusively used for transforming large amounts of data obtained from a variety of sources.

Een blauwdruk of grondplaat is een visuele weergave van delen van een data-architectuur die een vereenvoudigde weergave is van de datatoepassing. Deze vereenvoudiging dient er echter wel aan bij te dragen dat de verbanden van de toepassingen inzichtelijk worden en daarmee overzicht te krijgen over het gehele data-architectuur landschap. Een data-architectuur blauwdruk beschrijft hoe data wordt beheerd, van verzameling tot transformatie, distributie en consumptie . De blauwdruk is daarmee met name van belang om de gewenste situatie van de data architectuur te beschrijven.

Opbouw van de boomstructuur naar een graaf of boom waarbij op basis van de transformatie regels en de interactie met de experts bepaald wordt welke associaties er horen bij de verschillende termen.

Brondata is een generieke entiteit op basis waaraan specifieke brondata entiteiten gerelateerd gaan worden. Zo ontstaat een getrapt model van brondata data objecten die het in het Data omgeving applicatielandschap getransformeerd worden tot informatieproducten.

Het bronsysteem is gemodelleerd als een applicatiecomponent waarin data objecten zijn opgeslagen zijn die via dataverwerking worden getransformeerd naar een andere structuur of verschijningsvorm.

is de service in het ontsluitings- en transformatie proces voor data binnen Data omgeving.

Transformeren van datastructuren in XML, HTML en Json naar interpreteerbare en valideerbare data tbv de kwaliteit

Transformeren van datastructuren in XML, HTML en Json naar interpreteerbare en valideerbare data tbv de kwaliteit

Vorm van modeltransformatie waarbij twee of meer datasets worden samengevoegd tot één samengestelde dataset. Joining vindt plaats op rijniveau, Merge op kolom niveau

Consument van data, in de meeste situaties krijgt de consument toegang tot verwerkte data (opschonen, filteren, transformeren) op basis van een gestandaardiseerd model

Converteren van datatypes naar andere datatypes (tekst {-} Numeriek). Inclusief transformatie naar datatypen op andere platformen zoals database, XML, softwaretalen en localisatie.

Converteren van datatypes naar andere datatypes (tekst {-} Numeriek). Inclusief transformatie naar datatypen op andere platformen zoals database, XML, softwaretalen en localisatie.

Dit is de eerste verwerkingsstap bij de ontvangst van de data binnen het Data omgeving landschap. De eerste transformaties worden gedaan op de ontvangen data zodat deze geschikt voor verdere verwerking.

Activiteiten waarbij de getransformeerde data gebruikt wordt voor het zoeken naar verbanden, patronen of statistische verhoudingen

Container begrip voor rollen in een organisatie gericht op het verkrijgen van inzicht en het opbouwen van kennis in een organisatie. Dit op basis van transformatie van data naar informatie en de interpretatie naar kennis. Zij hebben daarmee een aantal specifieke concerns rond de data en met name de data kwaliteiten.

Regelen van het eigenaarschap en de beslissingsbevoegdheden rond de data die gebruikt en getransformeerd wordt in de stappen binnen de grondplaat

Transformatie van de data zoals opgeslagen in de asset data registratie en transformatie naar een model voor berichten (CGMES, datamarts of bestandsformaten).

Transformatie van de data zoals opgeslagen in de asset data registratie en transformatie naar een model voor berichten (CGMES, datamarts of bestandsformaten).

Transformatie van data naar diverse protocollen, bijvoorbeeld voor de implementatie van webservices, REST maar ook naar een voor rapportages leesbaar formaat

Transformatie van data naar diverse protocollen, bijvoorbeeld voor de implementatie van webservices, REST maar ook naar een voor rapportages leesbaar formaat

Data verwerken is een bewerking op de data objecten (afkomstig vanuit bronsystemen). Hierbij zal de data verwerking de data transformeren naar een andere data structuur of een ander protocol. Het doel van data verwerken is ervoor zorgdragen dat de data objecten worden omgezet naar een voor doelsystemen bruikbare vorm.

Transformatie, manipulatie en verrijking om het datamodel geschikt te maken voor een adequate data analyse, visualisatie en toepassing

Deepsee is een replicatie van de ZIM data en is ingericht om de performance van de ZIM te handhaven. In Deepsee vinden complexe transformaties plaats naar fact en dimension modellen. In deepsee zijn ook de datamarts geimplementeerd.

Omdat er naar verwachting meerdere afnemers zijn van rapportage data bijvoorbeeld de leveranciers de interne beheerafdelingen binnen de infrastructuurleverancier en management en wellicht toezichthouders zal er bij deze rapportage interfaces een ETL inrichting gewenst zijn. Dit omdat iedere afnemende toepassing eigen wensen heeft rond de transformatie, selectie en filtering.

ETL is een dataverwerkingsvorm waarbij de data op basis van drie bewerkingsstappen uit een bronsysteem wordt gehaald. Vervolgens wordt getransformeerd naar een ander datamodel of ander formaat. Daarna wordt de data geladen één of meerdere doelsystemen.

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.

Dit is een wat vreemde eend in de bijt omdat het een relatief klein onderdeel is van de gehele gewenste functionaliteit. Het is echter een specifiek project waarvoor subsidie aangevraagd is. Het heeft wel direct raakvlakken met het expertise netwerk omdat het een ontsluitingsvorm is. Bijkomend voordeel is dat het kan aansluiten op bestaande nderdelen in het applicatielandschap en alleen een extra functie is voor het transformeren van vrije tekst naar een onderwerpenboom en de relatie terug naar de brondocumenten

Extraheerfunctionaliteit voor het ontvangen van gegevens uit de bronsystemen. Deze heeft een XML-formaat en de bron is een webservice of een XML-bestand. De gegevens worden geëxtraheerd en voorbereid om te worden getransformeerd

Binnen fysieke datamodellen zijn volop data patronen beschikbaar. Veelal worden ze ook ingezet in modelleertools om het werk van de fysieke datamodelleur te vereenvoudigen met geautomatiseerde toepassingen. Daarnaast zijn er volop datamodellen die beschikbaar zijn om een start te maken met datamodellen voor een bepaald werkveld. Zoals bijvoorbeeld order registratie of gestandaardiseerde werkprocessen. In dit voorbeeld een eenvoudig voorbeeld van een fysiek model dat een transformatie is in een relationeel database management systeem op basis van een standaard modelleer concept in een logisch datamodel.

Automatiseer datapipes om het proces van gegevensopname, gegevensintegratie, gegevenstransformatie en gegevensanalyse te stroomlijnen. Beheer en verwerk grote hoeveelheden gegevens efficiënt, verkrijg zinvolle inzichten, neem weloverwogen beslissingen.

Automatiseer pijplijnen om het proces van gegevensopname, gegevensintegratie, gegevenstransformatie en gegevensanalyse te stroomlijnen. Beheer en verwerk grote hoeveelheden gegevens efficiënt, verkrijg zinvolle inzichten, neem weloverwogen beslissingen en bouw kennis op over het domein.

(Tijdelijke) opslag van gegevens ontvangen van de integratielaag voor verwerking van transformatie en andere manipulatie in het consumptiesysteem

Generieke functie voor datatransformatie

De gegevenstransformatie en verrijking zorgt ervoor dat de gegevens voor opslag in een databank getransformeerd worden naar een formaat dat voor de afnemende toepassingen gewenst is. Daarbij spelen issues als beschikbaarheid en verwerkingstijd van de transformaties mede een rol.

Omdat de verwerking van gegevens voor transformatie of filtering en selectie veel verwerkingskracht vergt, is de implementatie van deze functionaliteit dicht bij de opgeslagen ruwe gegevens belangrijk. Daarom is het belangrijk om deze functie dicht bij deze (ruwe) brongegevens te implementeren.

Dit is binnen de data-integratielaag de meest voorkomende functionaliteit. Voorbeelden zijn transformaties, filters etc.

Transformeren van de gegevens die worden ontvangen van de integratielaag voordat deze worden doorgegeven aan de gegevensgebruiker. Dit zijn functies zoals het omzetten naar leesbare formaten, gestandaardiseerde berichten etc.

Beschrijving van generieke eisen voor alle transformatiefunctionaliteiten

Data is geprepareerd voor verdere verwerking. Bij binaire data kan dit een complexe transformatie zijn waarbij op basis van patroonherkenning etc gezocht wordt naar bruikbare en afleidbare kenmerken in de geprepareerde data

Import en handmatige transformatie van kantoordocumenten zoals Excel sheets etc.

Import en handmatige transformatie van kantoordocumenten zoals Excel sheets etc.

Deze functie biedt de mogelijkheid om data uit berichten verkeer of andere messaging protocollen op te halen en mee te nemen in de datatransformaties in een ETL proces

Zorg dat data die geproduceerd of getransformeerd wordt, zeker bij handmatige verwerking van data in een validatie activiteit beoordeeld wordt. Dit biedt een punt in het proces waar issues gesignaleerd kunnen worden, maatregelen genomen kunnen worden of waar signalen zijn dat er in andere data management processen aandachtspunten zijn rond de data kwaliteit.

Zorg dat data die geproduceerd of getransformeerd wordt, zeker bij handmatige verwerking van data in een validatie activiteit beoordeeld wordt. Dit biedt een punt in het proces waar issues gesignaleerd kunnen worden, maatregelen genomen kunnen worden of waar signalen zijn dat er in andere data management processen aandachtspunten zijn rond de data kwaliteit.

Stored procedures en functions maken het mogelijk om transformaties, controles en validaties te automatiseren in de vorm van scripts binnen deze stored procedures en functions. Hiermee heb je vanuit deze programmatuur direct toegang tot de inhoud van de verschillende tabellen.

Stored procedures en functions maken het mogelijk om transformaties, controles en validaties te automatiseren in de vorm van scripts binnen deze stored procedures en functions. Hiermee heb je vanuit deze programmatuur direct toegang tot de inhoud van de verschillende tabellen.

De kaderstellende architectuur is van groot belang voor het sturen van de verandering in een organisatie om van de baseline architectuur te transformeren naar de target architectuur. Het stellen van kaders wordt veelal uitgewerkt op basis van architectuur principes of tegenwoordig ook wel bindende architectuur afspraken genoemd. Daarnaast kun je ook de beschrijving van de viewpoints terugvinden omdat die ook beschouwd kunnen worden als kaderstellend.

Het laden van de getransformeerde data in het datawarehousein de vorm van een datamart of datacube.

Data modellering en meta modellering voor voorbeeldmodellen op basis van UBL en overheidsmodellen. Deze modellen worden gebruikt voor de opslag van de data maar ook voor de data integratie, - transformatie en - validatie

Data modellering en meta modellering voor voorbeeldmodellen op basis van UBL en overheidsmodellen. Deze modellen worden gebruikt voor de opslag van de data maar ook voor de data integratie, - transformatie en - validatie

Data patronen zijn generieke oplossingen voor frequent terugkerende meta data problemen. Voor dataverwerking en -vergaring is dit kenmerkend rond meta data. Dataverwerking en -transformatie is van zichzelf al een uitdaging. De behoefte om op adequate wijze ook de meta data te verzamelen en te registreren is daarmee een extra complicerende factor. In onderstaande paragrafen worden daarom een aantal kenmerkende meta data patronen beschreven.

Transformeren van modellen en protocollen. Bijvoorbeeld van en naar een Canoniek Model transformeren en protocol transformeren XML naar JSoN vice versa.

Transformeren van modellen en protocollen. Bijvoorbeeld van en naar een Canoniek Model transformeren en protocol transformeren XML naar JSoN vice versa.

Voor de transformatie van bron- naar doeldatamodellen moet een beschrijving van de data-elementen worden gemodelleerd.

Adapter binnen de ODI of Open Source tooling om NoSql naar ETL te transformeren en omgekeerd

Transformatie van een NoSQL-databron naar een gestandaardiseerd datadoel

Een Architectuur Repository staat niet op zich in een applicatielandschap. Data moet uitgewisseld worden van en naar de architectuur repository. Hierbij is modeltransformatie bijna altijd noodzakelijk.

Databasefunctionaliteit voor het transformeren en extraheren van gegevens via een interface

Raw data layer als eerste stap bij de transformatie van het datamodel in de bronsystemen naar het model in het enterprise data ware house. In de Raw Layer is de structuur van de bronsystemen nog herkenbaar aanwezig.

Logische toepassingsfunctie voor de opslag en transformatie van stamgegevens in verschillende bronfuncties en de gegevensregisterfunctie

ETL verwerkt voor de transformatie van data van relationele naar relationele databases of gestructureerde bestanden

ETL verwerkt voor de transformatie van data van relationele naar relationele databases of gestructureerde bestanden

(Traditionele) ETL voor het transformeren en overbrengen van data van relationele registers en consumenten. Voor NoSQL transformaties wordt veelal gebruik gemaakt van vergelijkbare ETL inrichting en daarom is dit niet nader gespecificiceerd

Interface voor complexe modeltransformatie tussen verschillende databasestructuren en datatypes

Transformatie van relationele data-entiteiten (opgeslagen in een relationele database) naar het gestandaardiseerde datadoel.

Transformatie van een relationele databasegegevensbron naar het gestandaardiseerde gegevensdoel

Transformeren naar atributen in datasets door omzetten naar samenvoegen tot een geaggregeerd kenmerk. Daarnaast het opsplitsen van delen van een attribuut op basis van een bepaald kenmerk. Splitsen opv komma of spatie.

Transformeren naar atributen in datasets door omzetten naar samenvoegen tot een geaggregeerd kenmerk. Daarnaast het opsplitsen van delen van een attribuut op basis van een bepaald kenmerk. Splitsen opv komma of spatie.

Specifieke vereisten voor specifieke applicatiefuncties zoals specifieke transformaties

Een bijzonder ETL proces om specifieke data te transformeren van de bron naar de master data. Denk bijvoorbeeld aan een ETL proces ingericht op basis van XMI, AMEF of BPMN uitwisselformaten

Een bijzonder ETL proces om specifieke data te transformeren van de bron naar de master data. Denk bijvoorbeeld aan een ETL proces ingericht op basis van XMI, AMEF of BPMN uitwisselformaten vanuit de architectuur repository naar de consumerende informatiesystemen.

Toepassing voor het ontwikkelen van geautomatiseerde data transformaties binnen een SQL-Server omgeving.

Opslaan van data uit de databron in een staging omgeving voordat deze getransformeerd en uitgemodelleerd wordt.

In dit document wordt nadat de solution voor het werken met een architectuur repository is uitgewerkt een aantal generieke stappenplannen uitgewerkt. Deze stappenplannen geven een team een leidraad welke activiteiten uitgevoerd dienen te worden om de transformatie van een document gedreven werkwijze naar een repository gedreven werkwijze te realiseren. De stappenplannen in dit document bestaan uit een aantal generieke activiteiten voor de introductie van een architectuur repository. Echter deze stappen kunnen eenvoudig worden uitgebreid in de specifieke context van de eigen organisatie. Uitwerking is op basis van de volgorde van uitwerken van de architectuur en vervolgens een stappenplan voor het introduceren van de tooling van de architectuur repository.

Transformatie van datastromen naar kleine stukjes data die kunnen worden verwerkt met ETL- of SOA-tools

Applicatie functie die geautomatiseerd een document omzet naar een lijst van termen inclusief de juiste vulling van de koppeltabel voor termen en documenten

Transformeren van data tbv ETL. Extract functie haalt de data op uit de bronwaarna de tranformatie functie de data omzet naar het model wat in het DWH geladen wordt. onderliggende functies zijn:

• Opslaan in een staging omgeving
• Validatie van data
• Transformeren van datatypes en waardes.
• Versleuteling
• integratie met andere datastromen
• Agrregatie van feiten en dimensies

Transformeren en modelleren van de bron data naar de gewenste rapportage vorm. Dit kan een sterschema of kubus zijn of een platte dataset in het geval van een data levering.

Transformatiefunctie van het specifieke brondatamodel naar het gestandaardiseerde doeldatamodel. Dit kan een model- of een protocoltransformatie zijn. Vaak is deze transformatie onderverdeeld in substappen en deze substappen zullen worden geanalyseerd en gemodelleerd in de architectuur van een specifieke datapipe-implementatie en componenten

Transformatie van een XML-stroom (meestal semi-gestructureerd) met een intern of specifiek datamodel dat moet worden getransformeerd naar het gestandaardiseerde model in het datadoel.

Data omzetten naar een ander formaat binnen de verwerking van de data. Denk aan transformatie van CSV naar JSon of XML. Geen modeltransformatie, dat is een afzonderlijke applicatie functie

Transformatiefunctionaliteit voor het transformeren van de data-inhoud van een (applicatie)specifiek datamodel naar een generiek datamodel op basis van een gestandaardiseerd datamodel (zie de servicediagrammen). Dit kan worden geïmplementeerd in een ETL-transformatieproces of in een berichtenhandler, bijvoorbeeld in een servicebus.

Bij het gebruik van webservices die worden afgeleverd bij de berichttransformatiefunctie is een wachtrijmechanisme noodzakelijk omdat de Datapipe mogelijk niet beschikbaar is om de XML-gegevensstroom te transformeren. Dit is vooral relevant voor push-implementaties.

Workflowmanagement voor de planning en iteratie van transformatietaken

Het zandlopermodel is een specifiek model voor de transformatie van gegevensbronnen naar een gestandaardiseerd model in een doeldatastore. Het is de vereenvoudigde implementatie van een gelaagde big data-architectuur. Het zandlopermodel kan worden gebruikt voor specifieke implementaties van datatransformatie in een patroon dat de datapipe wordt genoemd. I

In dit diagram wordt een beschrijving gegeven van de datapipe van een (webservice) of (XML)-bestandsbron naar het doeldatamodel. Dit is gebaseerd op de transformatie van een XML-model naar een tussenliggend tabel- of relationeel model. Dit wordt vervolgens verwerkt in een ETL-proces om het brondatamodel in een aantal stappen te transformeren naar het gewenste doelmodel.

In dit diagram wordt een beschrijving gegeven van de datapipe van een (CSV-webservice) of CSV-bestandsbron naar het doeldatamodel. Dit is gebaseerd op de transformatie van een CSV-model naar een tussenliggend tabel- of relationeel model. Dit wordt vervolgens verder verwerkt in een ETL-proces om het brondatamodel in een aantal stappen te transformeren naar het gewenste doelmodel.

In dit diagram wordt een beschrijving gegeven van de datapipe van een (webservice) of XML-bestandsbron naar het doeldatamodel. Dit is gebaseerd op de transformatie van een XML-model naar een tussenliggend tabel- of relationeel model. Dit wordt vervolgens verwerkt in een ETL-proces om het brondatamodel in een aantal stappen te transformeren naar het gewenste doelmodel.

Deze grondplaat toont hoe de data stroomt vanuit de databronnen naar uiteindelijk de data toepassing waar de data gebruikt wordt. Tussen bron en toepassing zal data getransformeerd en geanalyseerd worden om uiteindelijk de toepassing te realiseren. Daarnaast worden deze data stromen gestuurd door data management en governance. Daarnaast worden de datastromen ondersteund door een aantal faciliterende functies. Je kunt dit model beschouwen als een whitebox Input Proces en Output model met daar aan gerelateerd de besturing en de ondersteuning.

In dit diagram kan gemodelleerd worden welke data objecten vanuit één of meerdere bronsystemen geextraheerd kunnen worden. Vervolgens wordt gevisualiseerd hoe deze data objecten verband houden met de conceptuele data entiteiten. Dit laatste is gewenst omdat de conceptuele data entiteiten gerelateerd zijn aan de kaderstellende architectuur, de governance dimensies en data management in het algemeen. Voor de data object wordt vervolgens inzichtelijk gemaakt hoe deze data verwerkt wordt. Vaak zullen dit transformaties zijn voor het model of het protocol. Maar ook andere data verwerkingen zijn mogelijk. Denk hierbij bijvoorbeeld aan aggregaties, cleansing of anonimiseren van de data afkomstig uit het datamodel. Hierbij kan vervolgens beschreven worden welke applicatie componenten deze dataverwerking uitvoeren. Voor de data objecten kan er vervolgens een koppeling gelegd worden naar diagrammen waarin het onderliggende logische of fysiekemodel gepresenteerd kan worden.

In dit diagram kan gemodelleerd worden welke data objecten vanuit één of meerdere bronsystemen geextraheerd kunnen worden. Vervolgens wordt gevisualiseerd hoe deze data objecten verband houden met de conceptuele data entiteiten. Dit laatste is gewenst omdat de conceptuele data entiteiten gerelateerd zijn aan de kaderstellende architectuur, de governance dimensies en data management in het algemeen. Voor de data object wordt vervolgens inzichtelijk gemaakt hoe deze data verwerkt wordt. Vaak zullen dit transformaties zijn voor het model of het protocol. Maar ook andere data verwerkingen zijn mogelijk. Denk hierbij bijvoorbeeld aan aggregaties, cleansing of anonimiseren van de data afkomstig uit het datamodel. Hierbij kan vervolgens beschreven worden welke applicatie componenten deze dataverwerking uitvoeren. Voor de data objecten kan er vervolgens een koppeling gelegd worden naar diagrammen waarin het onderliggende logische of fysiekemodel gepresenteerd kan worden.

In dit diagram kan gemodelleerd worden welke data objecten vanuit één of meerdere bronsystemen geextraheerd kunnen worden. Vervolgens wordt gevisualiseerd hoe deze data objecten verband houden met de conceptuele data entiteiten. Dit laatste is gewenst omdat de conceptuele data entiteiten gerelateerd zijn aan de kaderstellende architectuur, de governance dimensies en data management in het algemeen. Voor de data object wordt vervolgens inzichtelijk gemaakt hoe deze data verwerkt wordt. Vaak zullen dit transformaties zijn voor het model of het protocol. Maar ook andere data verwerkingen zijn mogelijk. Denk hierbij bijvoorbeeld aan aggregaties, cleansing of anonimiseren van de data afkomstig uit het datamodel. Hierbij kan vervolgens beschreven worden welke applicatie componenten deze dataverwerking uitvoeren. Voor de data objecten kan er vervolgens een koppeling gelegd worden naar diagrammen waarin het onderliggende logische of fysiekemodel gepresenteerd kan worden.

Gegevensverwerking omvat functies voor het transformeren, filteren, selecteren en routeren van gegevens. In dit diagram wordt geen onderscheid gemaakt tussen berichtgebaseerde verwerking en gegevensopslaggebaseerde verwerking. Zodra dit duidelijk wordt, zal dit onderscheid worden gemaakt.

In dit diagram zie je een uitwerking van het ETL patroon op basis van applicatiefuncties. Daarnaast zie je welke component zorgdraagt voor deze ETL verwerking. Je ziet hierbij ook dat er een aantal data objecten uitgelezen worden en getransformeerd worden naar een datamart in het datawarehouse.

In dit diagram zie je een uitwerking van het ETL patroon op basis van applicatiefuncties. Daarnaast zie je welke component zorgdraagt voor deze ETL verwerking. Je ziet hierbij ook dat er een aantal data objecten uitgelezen worden en getransformeerd worden naar een datamart in het datawarehouse.

In dit diagram zie je een uitwerking van het ETL patroon op basis van applicatiefuncties. Daarnaast zie je welke component zorgdraagt voor deze ETL verwerking. Je ziet hierbij ook dat er een aantal data objecten uitgelezen worden en getransformeerd worden naar een dataset in het datawarehouse voor verkoop en klimaat gegevens gerelateerd aan elkaar.

In dit diagram zie je een uitwerking van het ETL patroon op basis van applicatiefuncties. Daarnaast zie je welke component zorgdraagt voor deze ETL verwerking. Je ziet hierbij ook dat er een aantal data objecten uitgelezen worden en getransformeerd worden naar een dataset in het datawarehouse voor verkoop en klimaat gegevens gerelateerd aan elkaar.

Overzicht van de transformatie van bestandsgebaseerde data naar een datadoel

Overzicht van de transformatie van bestandsgebaseerde data naar een datadoel

Uitwerking in een eenvoudig model van een transformatie van een veel op veel model naar een implementatie in een relationeel model voor een database. (in dit geval een SQL server database).

Meta data harvesting wordt gedaan als dataverwerking reeds heeft plaatsgevonden in het verleden zonder dat men toen meta data over de transformatie verzameld heeft. In die situatie dient data harvesting met terugwerkende kracht dataverwerkingsalgoritmen te ontdekken en te analyseren. Data harvasting is vooral relevant in situaties waar het ontstaan van de huidige data architectuur evolutionair ontstaan is zonder rekening te houden met eisen en requirements die vanuit meta data management gesteld worden. Het analyseren van de programmatuur die zorgdragen voor de data transformaties kan complex zijn. Zeker in situaties waar weinig gebruik gemaakt is van standaardisatie van transformaties, meerdere data verwerkingstools zijn gebruikt of waar de geschreven software door meerdere professionals ontwikkeld zijn, waarbij logging e.d. niet is ontwikkeld, kan meta data harvesting een uitdaging zijn. Meta Data Harvesting is vooral relevant in de context van Business Intelligence, Master - en Referentie Data en data integratie relevant. Men dient met terugwerkende kracht meta data te verzamelen over de dataverwerking binnen deze werkvelden. In deze werkvelden zijn de kansen op succesvolle implementaties groot omdat hier de automatiseringsgraad van de dataverwerking hoog zal zijn gezien het repeterende en gestandaardiseerde karakter van de toepassingen die deze vormen van dataverwerking implementeren.

Dit patroon gaat in op het verzamelen van meta data bij de dataverwerking, bij voorkeur daadwerkelijk tijdens de dataverwerking zelf. Data transformatie en -verwerking tussen de data bron en -toepassing kent vele vormen en implementaties. Dat betekent feitelijk dat ook tussen de dataverwerking functionaliteiten en het meta data register als data toepassing een data transformatie implementatie ingericht moet worden naar het meta datamodel in het meta data register. Gezien de vele vormen van data verwerking is dit daardoor een complexe implementatie. De context van meta data insertion zit voornamelijk binnen de (technische) implementatie van datatransformatie toepassingen. Soms is dit als implementatie beschikbaar in data transformatie tools (ETL) of in (big) data platformen en data lakes. Echter veel organisaties kennen een divers data transformatie landschap van data transformaties en data verwerking waardoor meta data insertion bij de inrichting van een dergelijke omgeving speciale aandacht vraagt van onder andere de data architect.

Meta data harvesting wordt gedaan als dataverwerking reeds heeft plaatsgevonden in het verleden zonder dat men toen meta data over de transformatie verzameld heeft. In die situatie dient data harvesting met terugwerkende kracht dataverwerkingsalgoritmen te ontdekken en te analyseren. Data harvasting is vooral relevant in situaties waar het ontstaan van de huidige data architectuur evolutionair ontstaan is zonder rekening te houden met eisen en requirements die vanuit meta data management gesteld worden. Het analyseren van de programmatuur die zorgdragen voor de data transformaties kan complex zijn. Zeker in situaties waar weinig gebruik gemaakt is van standaardisatie van transformaties, meerdere data verwerkingstools zijn gebruikt of waar de geschreven software door meerdere professionals ontwikkeld zijn, waarbij logging e.d. niet is ontwikkeld, kan meta data harvesting een uitdaging zijn. Meta Data Harvesting is vooral relevant in de context van Business Intelligence, Master - en Referentie Data en data integratie relevant. Men dient met terugwerkende kracht meta data te verzamelen over de dataverwerking binnen deze werkvelden. In deze werkvelden zijn de kansen op succesvolle implementaties groot omdat hier de automatiseringsgraad van de dataverwerking hoog zal zijn gezien het repeterende en gestandaardiseerde karakter van de toepassingen die deze vormen van dataverwerking implementeren.

Overzicht van de transformatie van een NoSQL-database naar een datatarget. Aanvankelijk met een ETL-proces als tussenstap.

Overzicht van de transformatie van een NoSQL-database naar een datatarget. Aanvankelijk met een ETL-proces als tussenstap.

Overzicht van de transformatie vanuit een relationele database naar een data toepassing. Dit is op basis van batch gewijze verwerking van data.

Overzicht van de transformatie vanuit een relationele database naar een data toepassing. Dit is op basis van near realtime verwerking van data.

Overzicht van de transformatie vanuit een relationele database naar een data toepassing. Dit is op basis van real time verwerking van data.

Overview of the transformatie from a relational database to a data target

Overzicht van de aanwezige vormen van relationele database naar target transformaties

In dit scenario werkt het masterdataregister samen met de verschillende dataproducerende applicatiefuncties. Dit betekent dat wanneer gegevens in een van de systemen worden gewijzigd, deze wijzigingen worden gedeeld tussen alle samenwerkende functies. Daarom is de integratie tussen deze dataproducenten essentieel in dit scenario Een interessant scenario hierbij is dat het Dataregister alleen als sleutelarchief of sleutelkast wordt gebruikt en de detailgegevens in de andere bronsystemen worden bewaard. Voordelen:

• Gegevens worden rechtstreeks uit bronsystemen verzameld en zijn dus altijd nauwkeurig en realtime.
• Gegevens kunnen in de bronsystemen worden opgeslagen in een specifiek formaat dat de bedrijfsprocessen binnen deze systemen ondersteunt
• Verschillen in beschikbaarheid tussen consumenten en bronnen kunnen worden opgevangen door het Dataregister
• Hergebruik van schermen, workflows en validaties in de bronsystemen
• Datastandaardisatie binnen het Dataregister
• Introductie van een sleutelkast of sleutelkast.

Nadelen:

• Het beheren van de synchronisatie tussen systemen is extra werk en complexiteit.
• Replicatie van gegevens
• Complexe datatransformaties van bronnen naar register en terug

In dit scenario is er geen dataregister maar worden alle masterdata opgeslagen binnen de dataproducenten zoals ERP en geofuncties. Voor de dataconsumenten zijn de data echter op gestandaardiseerde wijze beschikbaar via de asset data services. Dit betekent dat wanneer een consument assetdata nodig heeft, dit via de dataservices wordt opgevraagd en uit de verschillende dataproducerende applicaties wordt verzameld. De implementatie van de dataservices zorgt voor de standaardisatie van het masterdatamodel en het data-uitwisselingsprotocol Voordelen:

• Realtime afstemming van de gegevens.
• Eén punt van waarheid en onderhoud
• Geen replicatie van data (en de bijbehorende complexiteit)
• Hergebruik van bestaande gebruikersinterfaces, validaties en (verborgen) integraties

Nadelen

• Het serviceontwerp mag de gegevens niet verbeteren, dus de toepassing moet mogelijk opnieuw worden ontworpen.
• Elke verandering in datamodel in bronnen leidt tot verandering in service, dit moet op elkaar worden afgestemd.
• Verificatie en bedrijfsregels worden geïmplementeerd in bronsystemen.
• Hoge beschikbaarheid en prestatie-eisen voor alle producerende systemen
• Complexe modeltransformaties binnen de servicelaag om voor een specifiek producentensysteemmodel te transformeren naar het vereiste model door de consumenten
• Releases van de bronsystemen worden complexer door de nieuwe afhankelijkheden in de dataservices

In dit scenario worden data verzameld uit de verschillende dataproducerende applicaties en gecombineerd en gestandaardiseerd in het masterdataregister. Dit houdt in dat gegevens worden gewijzigd in een van de gegevensproducerende toepassingen en uiteindelijk worden verrijkt in het gegevensregister. Het dataregister is voornamelijk een datareplicatie met een gestandaardiseerd datamodel van de andere dataproducenten. Een voorbeeld is een datawarehouse Voordelen:

• Alle gegevens direct geïntegreerd bij de hand.
• Standaardisatie van data is mogelijk binnen het Data Register
• Er is een mogelijkheid om gegevens te verbeteren door deze intelligent te combineren tot nieuwe informatie.
• Hoge beschikbaarheid alleen voor het dataregister wanneer consumenten een hoge beschikbaarheid nodig hebben
• Gegevensvalidatie kan worden geïmplementeerd in het systeem waar dit het voordeligst/efficiëntst is
• Hergebruik van schermen, validaties, bestaande data-integraties en workflows
• Ondersteunt een iteratieve migratie naar een meer gecentraliseerd (register)scenario

Nadelen

• Wanneer integratie van data asynchroon is, is de data niet op elk moment hetzelfde als in bronsystemen. Dit zal geen probleem zijn als timing geen probleem is.
• Wanneer de synchronisatie van gegevens synchroon is, zijn hoge beschikbaarheidseisen voor de registersystemen noodzakelijk
• Gegevensreplicatie en behoefte aan extra opslagruimte
• Het heen en weer ophalen en distribueren van data is even veel werk als bij een MDM-oplossing
• Mogelijk zeer complexe datatransformaties nodig

In dit diagram kan gemodelleerd worden welke data objecten vanuit één of meerdere bronsystemen geextraheerd kunnen worden. Vervolgens wordt gevisualiseerd hoe deze data objecten verband houden met de conceptuele data entiteiten. Dit laatste is gewenst omdat de conceptuele data entiteiten gerelateerd zijn aan de kaderstellende architectuur, de governance dimensies en data management in het algemeen. Voor de data object wordt vervolgens inzichtelijk gemaakt hoe deze data verwerkt wordt. Vaak zullen dit transformaties zijn voor het model of het protocol. Maar ook andere data verwerkingen zijn mogelijk. Denk hierbij bijvoorbeeld aan aggregaties, cleansing of anonimiseren van de data afkomstig uit het datamodel. Hierbij kan vervolgens beschreven worden welke applicatie componenten deze dataverwerking uitvoeren. Voor de data objecten kan er vervolgens een koppeling gelegd worden naar diagrammen waarin het onderliggende logische of fysiekemodel gepresenteerd kan worden.

Overzicht van de transformatie van een streamingbron naar een datadoel via een ETL-stap naar de dataconsumenten

Overzicht van de transformatie van een streamingbron naar een datadoel via een ETL-stap naar de dataconsumenten

Beschrijving van de generieke aspecten van de transformatie-applicatiefunctie. Deze heeft de volgende elementen

• Gegevensbronnen
• transformatiefuncties
• Gegevensdoelen
• Gegevens- of objectmodelleringsfuncties

Detailuitwerking van het patroon met een specificatie van de bewerkingen in de ETL stappen.

In de context van data gedreven werken is de logische toepassing van transformatie van data een karakteristiek patroon. Dit patroon omvat aspecten zoals het extraheren van data uit de bron, transformatie van het model of het protocol en selectie van het bron- en het doelmodel. transformatie bestaat op twee niveaus in de zandloper. De eerste is transformatie van de brondata naar de doeldata in een gestandaardiseerd model. De tweede is de transformatie van het generieke model naar een specifiek model dat door de consument wordt gebruikt. De laatste is niet expliciet gemodelleerd in het zandlopermodel omdat dit wordt beschouwd als een implementatie van de consument.

Het mappingdiagram wordt gebruikt om inzichtelijk te maken hoe de datum van een brontabel naar een doeltabel stroomt. Daarbij worden mappings gemaakt. Dit zijn lijnen vanuit welke kolom uit de brontabel verbonden is met een kolom in de doeltabel. In een aantal gevallen dienen kolommen bij de transformatie uitgesplitst of samengevoegd te worden. Hoe dit wordt gedaan is te zien in tussen elementen in het mdoel mergers en splitters genoemd. In dit diagram zien we een aantal mapping voor vestigingdata.

Dit diagram toont hoe data vanuit de verschillende bronnen in een aantal stappen de ruwe data transformeren tot informatieproducten. Ieder element bestaat uit een applicatie service waaronder een detaillering is uitgewerkt welke stappen en bewerkingen worden gedaan. Door op de elementen in het diagram te klikken krijg je de details te zien van deze bewerkingsstap.

Bouwsteen voor transformatie van op bestanden gebaseerde gegevens naar het gestandaardiseerde gegevensdoel (model)

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.

Dit is een wat vreemde eend in de bijt omdat het een relatief klein onderdeel is van de gehele gewenste functionaliteit. Het is echter een specifiek project waarvoor subsidie aangevraagd is. Het heeft wel direct raakvlakken met het expertise netwerk omdat het een ontsluitingsvorm is. Bijkomend voordeel is dat het kan aansluiten op bestaande nderdelen in het applicatielandschap en alleen een extra functie is voor het transformeren van vrije tekst naar een onderwerpenboom en de relatie terug naar de brondocumenten

Binnen fysieke datamodellen zijn volop data patronen beschikbaar. Veelal worden ze ook ingezet in modelleertools om het werk van de fysieke datamodelleur te vereenvoudigen met geautomatiseerde toepassingen. Daarnaast zijn er volop datamodellen die beschikbaar zijn om een start te maken met datamodellen voor een bepaald werkveld. Zoals bijvoorbeeld order registratie of gestandaardiseerde werkprocessen. In dit voorbeeld een eenvoudig voorbeeld van een fysiek model dat een transformatie is in een relationeel database management systeem op basis van een standaard modelleer concept in een logisch datamodel.

De kaderstellende architectuur is van groot belang voor het sturen van de verandering in een organisatie om van de baseline architectuur te transformeren naar de target architectuur. Het stellen van kaders wordt veelal uitgewerkt op basis van architectuur principes of tegenwoordig ook wel bindende architectuur afspraken genoemd. Daarnaast kun je ook de beschrijving van de viewpoints terugvinden omdat die ook beschouwd kunnen worden als kaderstellend.

Data patronen zijn generieke oplossingen voor frequent terugkerende meta data problemen. Voor dataverwerking en -vergaring is dit kenmerkend rond meta data. Dataverwerking en -transformatie is van zichzelf al een uitdaging. De behoefte om op adequate wijze ook de meta data te verzamelen en te registreren is daarmee een extra complicerende factor. In onderstaande paragrafen worden daarom een aantal kenmerkende meta data patronen beschreven.

Transformatie van een relationele databasegegevensbron naar het gestandaardiseerde gegevensdoel

In dit document wordt nadat de solution voor het werken met een architectuur repository is uitgewerkt een aantal generieke stappenplannen uitgewerkt. Deze stappenplannen geven een team een leidraad welke activiteiten uitgevoerd dienen te worden om de transformatie van een document gedreven werkwijze naar een repository gedreven werkwijze te realiseren. De stappenplannen in dit document bestaan uit een aantal generieke activiteiten voor de introductie van een architectuur repository. Echter deze stappen kunnen eenvoudig worden uitgebreid in de specifieke context van de eigen organisatie. Uitwerking is op basis van de volgorde van uitwerken van de architectuur en vervolgens een stappenplan voor het introduceren van de tooling van de architectuur repository.