Common Datasets (CDS) [ABB]

Laden/Toegang tot Common datasets

Diagram in standaardweergave

Geacquireerd en gecondioneerde data

De brondata is geacquireerd binnen het Data omgeving landschap en is opgenomen in de ontvangstzone, waar afhankelijk van het type data verschillende paden binnen het Data omgeving landschap voor verwerking gevolgd kunnen worden


Details van Geacquireerd en gecondioneerde data

Geen bijzondere persoonsgegevens (AVG) in Data omgeving omgeving, tenzij expliciete toestemming GLO

Data die volgens de AVG onder de categorie ' bijzondere persoonsgegevens' vallen, mogen niet in de Data omgeving omgeving beschikbaar zijn, tenzij expliciete toestemming is verleend door de GLO.


Details van Geen bijzondere persoonsgegevens (AVG) in Data omgeving omgeving, tenzij expliciete toestemming GLO

Geen PII data in niet-productie omgevingen

Deze requirement geeft aan dat privacy gevoelige data alleen beschikbaar mag zijn in het productionele deel van het Data omgeving landschap


Details van Geen PII data in niet-productie omgevingen

Common Data Sets

Common data sets zoals herbruikbare laag gestructureerde data en reference data entiteiten


Details van Common Data Sets

Metadata harvesting en ontsluiting

Metadata van de datasets en de verwerkingsstappen is essentieel voor traceerbaarheid. Vandaar dat voor data lineage en data provenance een aantal funtionaliteiten ingericht zijn in het Data omgeving landschap.


Details van Metadata harvesting en ontsluiting

Opvragen toegangsrechten

Autorisatie en het bepalen van de toegangsrechten tot verwerkende functies is relevant vanuit het perspectief van security en privacy.


Details van Opvragen toegangsrechten

Combineren data (joining)

Vorm van modeltransformatie waarbij twee of meer datasets worden samengevoegd tot één samengestelde dataset. Joining vindt plaats op rijniveau, Merge op kolom niveau


Details van Combineren data (joining)

Bufferen

Een buffer is een wachtrij die asynchrone communicatie mogelijk maakt. De buffer is en tijdelijke opslag van gegevens om later uit te lezen. Een buffer wordt ingezet zodat het schrijven en lezen van de gegevens niet tegelijk hoeft plaats te vinden.


Details van Bufferen

Ontsluiten Informatieproduct

Applicatie Dienstverlening van Data omgeving waarmee informatie beschikbaar gesteld wordt aan de primaire organisatie voor rapportage, dashboarding en data analyse


Details van Ontsluiten Informatieproduct

Synthetiseren (testdata)

Bij het synthetiseren van de testdata wordt de data van scratch af aan opgebouwd. Deze data is NIET afkomstig van een productie systeem.


Details van Synthetiseren (testdata)

Decompress / decrypt

decomprimeren en/of decrypten van in een eerdere fase encrypte of gecomprimeerde data


Details van Decompress / decrypt

Opslag CDS voorbereiding

Aanbieden Common datasets

Services voor algemene datasets binnen Data omgeving zoals ontsloten herbruikbare laag gestructureerde data en reference data entiteiten met de daarbij behorende logische applicatie functies


Details van Aanbieden Common datasets

Data kwaliteit controle

Op basis van de gedefinieerde kwaliteitsdimensies en voor deze dataset relevante kwaliteitsniveaus bepalen van de kwaliteit binnen deze dataset


Details van Data kwaliteit controle

CDS voorbereiding

Samengestelde applicatiefunctie voor een combinatie van functies relevant voor het verwerken van common data naar kwaliteit bruikbare datasets


Details van CDS voorbereiding

Raw layer datafundament

Raw data layer als eerste stap bij de transformatie van het datamodel in de bronsystemen naar het model in het enterprise data ware house. In de Raw Layer is de structuur van de bronsystemen nog herkenbaar aanwezig.


Details van Raw layer datafundament