Het zandlopermodel is een specifiek model voor de transformatie van gegevensbronnen naar een gestandaardiseerd model in een doeldatastore. Het is de vereenvoudigde implementatie van een gelaagde big data-architectuur. Het zandlopermodel kan worden gebruikt voor specifieke implementaties van datatransformatie in een patroon dat de datapipe wordt genoemd. I
Gegevens opgeslagen in een bestand, bijvoorbeeld semi-gestructureerd zoals: XML, XLS, JSon, edifact enz. Ongestructureerd zoals Word, Tekst enz.
Verschillende grafische gebruikersinterfaces zoals:
Consumenten in de TenneT-organisatie van de gestandaardiseerde TDP-dataproducten
Consument van data, in de meeste situaties krijgt de consument toegang tot verwerkte data (opschonen, filteren, transformeren) op basis van een gestandaardiseerd model
XML-bericht als een stroom of bestand geïmporteerd in een berichttransformatiehandler met de transformatiefunctie. Het bericht moet worden gestructureerd en beschreven met bijvoorbeeld een XSD-definitie
Externe verbruikers van de (gestandaardiseerde) data en masterdata geproduceerd door de TDP-oplossingen. Voor externe consumenten zijn extra eisen nodig, bijvoorbeeld op het gebied van beveiliging, privacy en governance.
Integratie van dataopslag naar dataopslag. Bijvoorbeeld de relationele database-integraties zoals
Beschrijving van de gegevensbronnen in het algemeen. Is een aggregatie van specifieke typen gegevensbronnen. Deze generieke databron is aan het model toegevoegd om associaties met generieke eisen en uitgangspunten mogelijk te maken
Gegevensentiteiten opgeslagen in een relationele (staging) database
Gestandaardiseerde gegevens of bedrijfsobject. Modellen zijn gebaseerd op (open) standaarden zoals CIM
Gegevens die worden ontvangen als een gegevensstroom. Bijvoorbeeld slimme metergegevens of gegevens die continu worden ontvangen van push-webservices
Eisen voor consumenten bij aansluiting op een dienst of dienstimplementatie (interface)
Verschillende typen applicatie-integratie voor applicatie - applicatie-integratie Bekende integratietypen zijn:
Zie verpakking met de omschrijving van deze DaMa kwaliteiten
Generieke beschrijving van de interface voor het extraheren van gestandaardiseerde gegevens voor de verschillende consumenten.
NoSQL is een nieuw dataplatform voor de implementatie van semi-gestructureerde data. Er zijn verschillende NoSQL-databasetypen, zoals kolom-, naamwaarde-, document- of grafiekdatabases
Transformatie van relationele data-entiteiten (opgeslagen in een relationele database) naar het gestandaardiseerde datadoel.
Functie voor de registratie en extractie van governance-aspecten van de datasets die via de logische services zijn gepubliceerd. Bijvoorbeeld datakwaliteiten, verbindingseisen en het gestandaardiseerde object- of informatiemodel
Transformatie van een databestand (meestal semi-gestructureerd), bijvoorbeeld een XML-bestand met een intern datamodel dat getransformeerd moet worden naar het gestandaardiseerde model.
Transformatiefunctie van het specifieke brondatamodel naar het gestandaardiseerde doeldatamodel. Dit kan een model- of een protocoltransformatie zijn. Vaak is deze transformatie onderverdeeld in substappen en deze substappen zullen worden geanalyseerd en gemodelleerd in de architectuur van een specifieke datapipe-implementatie en componenten
Transformatie van een NoSQL-databron naar een gestandaardiseerd datadoel
Transformatie van een XML-stroom (meestal semi-gestructureerd) met een intern of specifiek datamodel dat moet worden getransformeerd naar het gestandaardiseerde model in het datadoel.
Implementatie- en operationele processen voor het ontwikkelen en onderhouden van de geïmplementeerde datapipes
Data governance processen, vooral gericht op het realiseren van een datadoel met acceptabele datakwaliteiten
Dit is een logische dienst voor de publicatie van een bepaalde gestandaardiseerde dataset. In de huidige implementatie van TDP is plateau 1 een lijst met verschillen. Deze logische dataservice wordt geïmplementeerd in een of meerdere technische interfaces zoals gebruikersinterfaces of XML-webservices