Zoek trefwoord in element

Aanwijzen authentieke bronnen en registers

Aanwijzen van unieke bronnen, hiermee wordt bereikt dat de consistent groter wordt omdat deze unieke bron het aantal replica’s en schaduw registraties terugdringt. De data-integratie is vervolgens gebaseerd op het ontsluiten van deze unieke bron.

Aanwijzen authentieke bronnen en registers

Aanwijzen van unieke bronnen, hiermee wordt bereikt dat de consistent groter wordt omdat deze unieke bron het aantal replica’s en schaduw registraties terugdringt. De data-integratie is vervolgens gebaseerd op het ontsluiten van deze unieke bron.

API & Gateway voor dataconsumenten

Logische servicelaag voor de blootstelling van de gegevens die worden gepubliceerd vanuit de integratielaagsystemen aan het gegevensgebruik in rapportage en analyse enz

API & Gateway voor data-integratie

Dit is eigenlijk dezelfde applicatiefunctie als de servicelaag van de integratielaag naar de consumenten. In de meeste datapipes zullen er echter andere implementaties in deze servicelaag zijn vergeleken met die boven de integratielaag

Applicatie integratie

Applicatie integratie voor publicatie

Applicatie interfaces voor applicatie naar applicatie integratie. Dit omvat de volledig geautomatiseerde systeem integratieprocessen, ETL implementaties en de geautomatiseerde en beheerde bestandsoverdracht.

Applicatie integratie voor publicatie

Applicatie interfaces voor applicatie naar applicatie integratie. Dit omvat de volledig geautomatiseerde systeem integratieprocessen, ETL implementaties en de geautomatiseerde en beheerde bestandsoverdracht.

Applicatie integratie voor registratie

Applicatie integratie interfaces voor machine 2 machine integratie

Applicatie integratie voor registratie

Applicatie integratie interfaces voor machine 2 machine integratie

Applicatie-integratie

Verschillende typen applicatie-integratie voor applicatie - applicatie-integratie Bekende integratietypen zijn:
  • Webservices
  • Bestandsoverdracht en FTP enz.
Zie voor details de beschrijving in de TenneT-architectuur

Architectuurprincipes voor consistentie

Toepassen van architectuur principes, architectuur principes kunnen bij de uitwerking binnen projecten (bijvoorbeeld in een PSA) zorg dragen dat toegewerkt wordt naar een informatievoorziening die bijdraagt aan een hoge consistentie van data bij opslag, integratie en gebruik.

Architectuurprincipes voor consistentie

Toepassen van architectuur principes, architectuur principes kunnen bij de uitwerking binnen projecten (bijvoorbeeld in een PSA) zorg dragen dat toegewerkt wordt naar een informatievoorziening die bijdraagt aan een hoge consistentie van data bij opslag, integratie en gebruik.

B2B integratie

B2B-integratie

Beperk replica's

Beperken van replica’s brengt met zich mee dat de kans op verschillende inhoud van datasets kleiner wordt. Zeker de situaties waarbij replica’s veranderd en verrijkt worden tijdens de data integratie zijn veroorzakers van inconsistentie en moeten daardoor ontmoedigd worden.

Beperk replica's

Beperken van replica’s brengt met zich mee dat de kans op verschillende inhoud van datasets kleiner wordt. Zeker de situaties waarbij replica’s veranderd en verrijkt worden tijdens de data integratie zijn veroorzakers van inconsistentie en moeten daardoor ontmoedigd worden.

Bericht transformatie bij integratie

Transformatie ten behoeve van integratie is een veelvoorkomende bron van precisieproblemen bij integratie. Analyseer risico’s en zoek naar componenten en integratievormen die de gewenste precisie tijdens data transport kunnen handhaven.

Bericht transformatie bij integratie

Transformatie ten behoeve van integratie is een veelvoorkomende bron van precisieproblemen bij integratie. Analyseer risico’s en zoek naar componenten en integratievormen die de gewenste precisie tijdens data transport kunnen handhaven.

Beveiligen datastromen

Beveiliging van integratiestromen zal bijdragen aan de beveiliging van de gegevensset tijdens het transport. Dit gebeurd veelal door het versleutelen van de gegevensstroom en het authenticeren en autoriseren van bron- en afnemers. Houdt er rekening mee dat deze activiteiten een negatief effect kunnen hebben op de andere kwaliteiten als actualiteit en tijdigheid. Door het uitwerken van de verschillende beveiligingsvormen kan een adequate keuze van maatregelen gemaakt worden.

Beveiligen datastromen

Beveiliging van integratiestromen zal bijdragen aan de beveiliging van de gegevensset tijdens het transport. Dit gebeurd veelal door het versleutelen van de gegevensstroom en het authenticeren en autoriseren van bron- en afnemers. Houdt er rekening mee dat deze activiteiten een negatief effect kunnen hebben op de andere kwaliteiten als actualiteit en tijdigheid. Door het uitwerken van de verschillende beveiligingsvormen kan een adequate keuze van maatregelen gemaakt worden.

Bronsysteem overstijgende sleutels

Applicatie of organisatie overstijgende sleutels, bij data integratie kan een sleutel vanuit een bronsysteem onvoldoende uniek zijn. Zeker in het geval waar bijvoorbeeld gegevensset gecombineerd worden met andere sets kunnen aanvullende maatregelen noodzakelijk zijn. In die gevallen kan het benoemen van sleutels met voldoende uniekheid vanuit architectuur of de eigenaar van gegevenssets noodzakelijk zijn. Denk bijvoorbeeld aan het BSN en KvK nummer als organisatie overstijgende sleutel.

Bronsysteem overstijgende sleutels

Applicatie of organisatie overstijgende sleutels, bij data integratie kan een sleutel vanuit een bronsysteem onvoldoende uniek zijn. Zeker in het geval waar bijvoorbeeld gegevensset gecombineerd worden met andere sets kunnen aanvullende maatregelen noodzakelijk zijn. In die gevallen kan het benoemen van sleutels met voldoende uniekheid vanuit architectuur of de eigenaar van gegevenssets noodzakelijk zijn. Denk bijvoorbeeld aan het BSN en KvK nummer als organisatie overstijgende sleutel.

Catalogus

Statement Een collectie van logisch gerelateerde bouwblokken van dezelfde specialisatie (service, ABB of SBB). Omschrijving Een catalogus is een collectie of register van bouwblokken van eenzelfde type. Het is veelal gericht op een specifiek werkveld, denk hierbij bijvoorbeeld aan infrastructuur, geo, integratie. Binnen een catalogus zitten veelal bouwblokken van dezelfde specialisatie dus services, architectuur - of solution bouwblokken. Echter de bouwblokken hierbinnen zullen veelal eveneens samengesteld zijn. Een catalogus kan gezien worden als een etalage van generieke en herbruikbare architecturele producten. Wanneer deze bouwblokken door een project worden ingezet wordt voldaan aan een aantal architecturele eisen, principes en requirements. Voordeel voor architectuur is dat deze bouwblokken worden hergebruikt. Voordeel vanuit projectperspectief is dat er voldaan wordt aan de architecturele principes en dat implementatie gestandaardiseerd wordt en waarschijnlijk sneller kan. Vanuit veranderingen in de omgeving (projecten, LCM, innovaties) zal de inhoud van een catalogus regelmatig worden aangepast, uitgebreid of meer gedetailleerd worden uitgewerkt. Een catalogus en de daarin opgenomen entiteiten wordt daarmee een "levend" ecosysteem. In eerste instantie wordt gewerkt met een aanbod gestuurd catalogus model. Met andere worden. Iedere domein architect maakt voor zijn domein een bouwblokken catalogus. In een later stadium wordt dit aangepast naar een vraaggerichte uitwerking, het zogenaamde etalagemodel. Kenmerken
  • Collectie van bouwblokken.
  • Bouwblokken van hetzelfde (architectuur) concept kunnen opgenomen worden in een catalogus.
  • Catalogi worden gecategoriseerd op basis van een scope. (bijvoorbeeld, infrastructuur, integratie, geo).
  • Catalogi binnen een scope hebben een eigenaar.
  • Catalogi worden beschreven in een register (beheerd in Sparx Enterprise Architect en gepubliceerd naar HTML en PDF documenten)
  • Catalogi zijn veelal hiërarchisch cq gelaagd van opzet. Enerzijds door de indeling in Service, ABB en SBB, anderzijds door de opzet met samengestelde bouwblokken.

Configureerbaar in functionaliteiten

Functionaliteiten kunnen worden geconfigureerd zodat de werking aangepast kan worden naar de specifieke situatie van de gebruikende organisatie, relevant voor zaken zoals valideren, integratie en publiceren.

Data gedreven grondplaat

Rond data gedreven werken is een algemene grondplaat te gebruiken gebaseerd op een big data patroon de data pipe. Dit raamwerk is afkomstig van Arcitura en is een detaillering van de datalevensloop en wordt veel toegepast in (big) data integratie projecten. Het is feitelijk een grondplaat waarin je verschillende projectactiviteiten, deliverables en modelleervormen kunt afbeelden. Dit helpt om de complexiteit op eenvoudige wijze in kaart te brengen. Onderstaande afbeelding toont de data pipe grondplaat waarmee je een data gedreven toepassing kunt realiseren.

Data governance voor consistent

Beleggen eigenaarschap en beheerorganisatie. Hiermee wordt gerealiseerd dat de definitie van een gegevensentiteit bewaakt wordt door een eigenaar en dat de beheerorganisatie zorgdraagt voor de bewaking van deze consistentie op basis van de door de eigenaar benoemde definitie. De integratie is vervolgens gebaseerd op deze definitie.

Data governance voor consistent

Beleggen eigenaarschap en beheerorganisatie. Hiermee wordt gerealiseerd dat de definitie van een gegevensentiteit bewaakt wordt door een eigenaar en dat de beheerorganisatie zorgdraagt voor de bewaking van deze consistentie op basis van de door de eigenaar benoemde definitie. De integratie is vervolgens gebaseerd op deze definitie.

Data integratie

Data integratie is een data werkveld waar architectuur patronen veel waarde kunnen leveren aan de inrichting van een landschap met generieke en gestandaardiseerde koppelvlakken.

Data integratie maatregelen

Data integratie maatregelen

Data integratie model

Binnen de data-architectuur worden verschillende aspecten uitgewerkt in een model. Het data integratie model is een essentieel onderdeel van de data-architectuur. Binnen data gedreven organisaties zal data in de vorm van datastromen door de organisatie stromen. Ook zullen er ingaande en uitgaande datastromen zijn tussen de organisatie en de omgeving. Grip op deze datastromen krijgen is daardoor van belang om een beheerbaar, uitbreidbaar en betaalbaar integratie-landchap te introduceren. Een data integratie model opgebouwd uit architectuurkaders, blauwdrukken en bouwblokken en patronen is daarmee een essentieel onderdeel van zowel de domein- als solutionarchitecturen.

Data integratie professional

Data wordt op veel plaatsen geproduceerd en vaak op andere plaatsen binnen en buiten de organisatie gebruikt. Daarmee ontstaan datastromen waarop grip vanuit data-architectuur essentieel is. De data integratie professional zal daarom nauw samen moeten werken met de data-architect. Daarnaast zal de data-architect veelal kaders stellen aan data integratie en daarnaast zullen de data integratie professional en de data-architect veelal gezamenlijk bouwblokken en architectuur patronen introduceren.

Data integratie team

Data integratie zandloper patroon

Zandloperarchitectuurpatroon voor het modelleren van implementatie specifieke functies en entiteiten in een gestandaardiseerd architectonisch model.

Data-architectuur advies

Een data-architectuur advies is een specifiek en praktisch advies dat wordt gegeven door een data-architect om organisaties te helpen bij het optimaliseren van hun data-infrastructuur. Het richt zich op het oplossen van concrete problemen, zoals het verbeteren van datakwaliteit, het stroomlijnen van data-integratie, of het kiezen van de juiste technologieën voor data-opslag en -verwerking. Het advies is vaak gebaseerd op de unieke behoeften en doelen van de organisatie. De adviezen worden veelal gegeven op het moment dat binnen de organisatie veranderingen noodzakelijk zijn. Een data-architectuur kader daarentegen is een breder concept. Het is een raamwerk dat richtlijnen, principes en standaarden biedt voor het ontwerpen en beheren van data-architectuur binnen een organisatie. Het kader dient als een strategisch hulpmiddel om consistentie en samenwerking te bevorderen, en om ervoor te zorgen dat alle data-oplossingen binnen de organisatie aansluiten bij de lange-termijn doelen. Vanuit de architectuur kaders kan een advies opgesteld worden.

Database integratie

Integratie op basis van standaard database ontsluitingsvormen

Data-integratiesystemen

Applicatiefuncties voor de integratie van gegevens van producenten naar consumenten. Voorbeelden zijn op berichten gebaseerde functies, datastromen enz. Data-integratie omvat het combineren van gegevens uit verschillende bronnen en het bieden van een uniform beeld daarvan aan gebruikers.[1] Dit proces wordt van belang in een verscheidenheid aan situaties, waaronder zowel commerciële (zoals wanneer twee vergelijkbare bedrijven hun databases moeten samenvoegen) als wetenschappelijke (bijvoorbeeld het combineren van onderzoeksresultaten uit verschillende bio-informatica-opslagplaatsen) domeinen. Data-integratie komt steeds vaker voor naarmate het volume en de noodzaak om bestaande data te delen explosief toeneemt.[2] Het is de focus geworden van uitgebreid theoretisch werk, en talloze openstaande problemen blijven onopgelost.

Deelmodellen in andere tools

Zeker bij grote organisaties zullen er al diverse onderdelen van het architectuurmodel zijn uitgewerkt in andere tools. Deels door de architecten zelf, deels door andere stakeholders. Hier moeten afspraken over worden gemaakt over het gebruik van verwijzigingen of integratie hulpmiddelen.

Gangbare validaties in modelleerconventies

Stel generieke eisen aan gangbare validaties zoals datum en numerieke waarden, postcodes etc en beschrijf hoe en waar deze geïmplementeerd en getest moeten worden. Dit kan zowel op gegevensopslag als op gegevensintegratieval geïmplementeerd worden.

Gangbare validaties in modelleerconventies

Stel generieke eisen aan gangbare validaties zoals datum en numerieke waarden, postcodes etc en beschrijf hoe en waar deze geïmplementeerd en getest moeten worden. Dit kan zowel op gegevensopslag als op gegevensintegratieval geïmplementeerd worden.

Geautomatiseerde datastromen

Automatiseer datapipes om het proces van gegevensopname, gegevensintegratie, gegevenstransformatie en gegevensanalyse te stroomlijnen. Beheer en verwerk grote hoeveelheden gegevens efficiënt, verkrijg zinvolle inzichten, neem weloverwogen beslissingen.

Geautomatiseerde datastromen (pipes)

Automatiseer pijplijnen om het proces van gegevensopname, gegevensintegratie, gegevenstransformatie en gegevensanalyse te stroomlijnen. Beheer en verwerk grote hoeveelheden gegevens efficiënt, verkrijg zinvolle inzichten, neem weloverwogen beslissingen en bouw kennis op over het domein.

Gegevensintegratie

Integratie van dataopslag naar dataopslag. Bijvoorbeeld de relationele database-integraties zoals
  • views,
  • gematerialiseerde views
  • databaselogica in pakketten en opgeslagen procedures.
  • ETL: implementaties

Gegevensopslag in integratiesystemen

Opslag van gegevens in de functionaliteiten van de integratielaag is niet erg gebruikelijk, maar bijvoorbeeld voor tijdelijke opslag komt dit vaker voor. Bijvoorbeeld wachtrijen en verzameltabellen etc.

Gegevensopslag in verbruikende systemen

(Tijdelijke) opslag van gegevens ontvangen van de integratielaag voor verwerking van transformatie en andere manipulatie in het consumptiesysteem

Gegevensverwerking in integratie

Dit is binnen de data-integratielaag de meest voorkomende functionaliteit. Voorbeelden zijn transformaties, filters etc.

Gegevensverwerking in verbruikende systemen

Transformeren van de gegevens die worden ontvangen van de integratielaag voordat deze worden doorgegeven aan de gegevensgebruiker. Dit zijn functies zoals het omzetten naar leesbare formaten, gestandaardiseerde berichten etc.

Helder ontkoppelpunt bron

Er is een duidelijk (technisch) ontkoppelpunt voor integratie tussen bron (leverende partij) en de D&A omgeving (ontvangende partij). Kwaliteit van de geleverde data (volledigheid, juistheid, tijdigheid) is verantwoordelijkheid van de bron. Integratie is gestandaardiseerd en volgt de integratie architectuur principes.

Implementeer datavergaring

Als bronnen zijn geselecteerd en gefilterd dient de verwerking plaats te vinden. Verwerking is het omzetten van de ruwe data naar een structuur waarop data analyse mogelijk is. Vanwege het volume en de velocity is bij big data gedistribueerde verwerking veelal noodzakelijk Er is een nauwe relatie met data opslag en data integratie.

Integratie

Deze functie biedt de mogelijkheid om data uit berichten verkeer of andere messaging protocollen op te halen en mee te nemen in de datatransformaties in een ETL proces

Integratie AMEF

Uitwisselen van (deel)modellen op basis van de ArchiMate uitwissel standaard zodat uitwisseling met andere (ArchiMate) modelleertools mogelijk is

Integratie BPMN 2

Uitwisselen van (deel)modellen op basis van de BPMN uitwissel standaard zodat uitwisseling met andere (BPMN) modelleertools mogelijk is

Integratie Component (Application Component)

Component toegewezen aan de integratie functie als middleware functionaliteit.

Integratie Interface Afnemer (Application Interface)

Naamgeving: {naam van de service} Afnemer Bijvoorbeeld: Relatie_SRV Afnemer

Integratie Interface Bron (Application Interface)

Betreft de interface binnen de integratielaag die toegang geeft tot de bron. Dit kan een IMH of ORCH zijn. Naamgeving: {naam van de service} Bron Bijvoorbeeld: Relatie_SRV Bron

Integratie voor import en export van (deel)modellen

Voor de uitwisseling van data (import en export), met name voor incidentele uitwisseling via bijvoorbeeld CSV of XLS bestanden dienen configureerbare voorzieningen aanwezig te zijn

Integratie voor REST/JSON/XML

In een modern applicatielandschap staat een architectuur repository niet los van andere registers. Integratie met andere registers zoals bijvoorbeeld een CMDB op basis van moderne berichtgeorienteerde integratie is wenselijk.

Integratie XMI

Uitwisselen van (deel)modellen op basis van de UML uitwissel standaard zodat uitwisseling met andere (UML) modelleertools mogelijk is.

Integratievormen in (solution) architectuur

Integratievorm keuze bijvoorbeeld door inzet van beslisbomen opgesteld vanuit architectuur kunnen zorgdragen dat op het vlak van tijdigheid voldoende rekening gehouden wordt met de risico’s die gelden. Dit zal uitgewerkt worden in de projectdocumenten zoals de PSA e.d.

Integratievormen in (solution) architectuur

Integratievorm keuze bijvoorbeeld door inzet van beslisbomen opgesteld vanuit architectuur kunnen zorgdragen dat op het vlak van tijdigheid voldoende rekening gehouden wordt met de risico’s die gelden. Dit zal uitgewerkt worden in de projectdocumenten zoals de PSA e.d.

Interoperabiliteit en open standaarden

Naadloze gegevensuitwisseling tussen systemen en platforms. Inzet van open standaarden binnen interoperabiliteit. Data integratie is in veel organisaties een probleem, zeker als er weinig grip is op koppelvlakken en API's. Voor data gedreven toepassingen is grip door standaardisatie een mogelijkheid om grip te houden op de data gedreven initiatieven en het data platform

Introduceer sleutelkast patronen

Inzet sleutelkasten, in een aantal gevallen kunnen bij de data integratie de gegevens van een gegevensset verrijkt worden met verwijzingen naar referentiele sleutels zoals die toegepast worden op andere plaatsen binnen de organisatie. Hiermee kan dan op eenvoudige wijze herleidt worden welke identificerende sleutel waar toegepast kan worden. Sleutelkasten worden veelal beschreven binnen de architectuur in samenspraak met de eigenaren van de verschillende registers.

Introduceer sleutelkast patronen

Inzet sleutelkasten, in een aantal gevallen kunnen bij de data integratie de gegevens van een gegevensset verrijkt worden met verwijzingen naar referentiele sleutels zoals die toegepast worden op andere plaatsen binnen de organisatie. Hiermee kan dan op eenvoudige wijze herleidt worden welke identificerende sleutel waar toegepast kan worden. Sleutelkasten worden veelal beschreven binnen de architectuur in samenspraak met de eigenaren van de verschillende registers.

Introduceer werkwijze met gegevens leverings contract

Inzet servicecontract of gegevensleveringsovereenkomst. Deze documenten met afspraken kunnen redelijkheid formaliseren en op deze wijze een bijdrage leveren aan een realistische uitwerking van vraag en aanbod op diverse aspecten van redelijkheid bij data integratie. Denk hierbij aan de uitwerking van bijvoorbeeld tijdigheid, actualiteit, consistentie en validiteit Om redelijkheid te ondersteunen is het van belang dat voor de belangrijkste gebruiksgevallen beschreven is wat de redelijkheidsgrenzen dienen te zijn. Dit houdt in dat aangegeven wordt in welke situatie de kwaliteiten dermate laag zijn dat redelijkheid niet meer geldend is.

Introduceer werkwijze met gegevens leverings contract

Inzet servicecontract of gegevensleveringsovereenkomst. Deze documenten met afspraken kunnen redelijkheid formaliseren en op deze wijze een bijdrage leveren aan een realistische uitwerking van vraag en aanbod op diverse aspecten van redelijkheid bij data integratie. Denk hierbij aan de uitwerking van bijvoorbeeld tijdigheid, actualiteit, consistentie en validiteit Om redelijkheid te ondersteunen is het van belang dat voor de belangrijkste gebruiksgevallen beschreven is wat de redelijkheidsgrenzen dienen te zijn. Dit houdt in dat aangegeven wordt in welke situatie de kwaliteiten dermate laag zijn dat redelijkheid niet meer geldend is.

Inzet (near) realtime integratievormen

Kies integratievormen die een maximale mutatiesnelheid ondersteunen. De ene integratievorm kent een snellere doorlooptijd dan een andere. Zo zal berichtuitwisseling veelal een betere bijdrage leveren aan de actualiteit bij integratie dan bijvoorbeeld bestandsuitwisseling. Voor de inrichting van deze integratievormen kunnen aanvullende infrastructurele voorzieningen noodzakelijk zijn. Denk bijvoorbeeld aan de inzet van servicebus- of orchestratieplatformen Bepalen van inrichtingswijzen zoals ETL, service technologie en databaseconcepten als views e.d. die de gewenste behoefte aan actualiteit adequaat ondersteunen.

Inzet (near) realtime integratievormen

Kies integratievormen die een maximale mutatiesnelheid ondersteunen. De ene integratievorm kent een snellere doorlooptijd dan een andere. Zo zal berichtuitwisseling veelal een betere bijdrage leveren aan de actualiteit bij integratie dan bijvoorbeeld bestandsuitwisseling. Voor de inrichting van deze integratievormen kunnen aanvullende infrastructurele voorzieningen noodzakelijk zijn. Denk bijvoorbeeld aan de inzet van servicebus- of orchestratieplatformen Bepalen van inrichtingswijzen zoals ETL, service technologie en databaseconcepten als views e.d. die de gewenste behoefte aan actualiteit adequaat ondersteunen.

Inzet BIVP classificatie

Inrichten dataclassificatie, slechts voor een beperkt aantal typen gegevenssets speelt privacy een rol. Denk bijvoorbeeld aan persoonsgegevens of gegevens over financiën, opsporing en handhaving. In alle andere gevallen zijn bij integratie privacy aspecten van minder belang. In die situatie kan volstaan worden met minder maatregelen voor de beveiliging. Door in kaart te brengen voor welke data objecten privacy relevant is kan eenvoudig bepaald worden in welke projecten met data integratie aanvullende maatregelen nodig zijn.

Inzet BIVP classificatie

Inrichten dataclassificatie, slechts voor een beperkt aantal typen gegevenssets speelt privacy een rol. Denk bijvoorbeeld aan persoonsgegevens of gegevens over financiën, opsporing en handhaving. In alle andere gevallen zijn bij integratie privacy aspecten van minder belang. In die situatie kan volstaan worden met minder maatregelen voor de beveiliging. Door in kaart te brengen voor welke data objecten privacy relevant is kan eenvoudig bepaald worden in welke projecten met data integratie aanvullende maatregelen nodig zijn.

Inzet datamodellen

Beschrijving van data objecten en – attributen. Door een gedetailleerde en gestructureerde beschrijving te maken van data objecten die ingezet worden voor data integratie wordt het mogelijk om op basis van deze beschrijving validaties te ontwikkelen en deze te implementeren in bovengenoemde validatie componenten.

Inzet datamodellen

Beschrijving van data objecten en – attributen. Door een gedetailleerde en gestructureerde beschrijving te maken van data objecten die ingezet worden voor data integratie wordt het mogelijk om op basis van deze beschrijving validaties te ontwikkelen en deze te implementeren in bovengenoemde validatie componenten.

Inzet integratie protocollen

Inzet van protocollen. Denk hierbij bijvoorbeeld aan WS-reliable messaging dat kan zorgdragen voor het compleet afleveren van een gegevensset, het zorgdragen voor de juiste volgorde van de pakketten na ontvangst en dergelijke. Dit soort protocollen kunnen zorgdragen voor een voldoende hoge integriteit

Inzet integratie protocollen

Inzet van protocollen. Denk hierbij bijvoorbeeld aan WS-reliable messaging dat kan zorgdragen voor het compleet afleveren van een gegevensset, het zorgdragen voor de juiste volgorde van de pakketten na ontvangst en dergelijke. Dit soort protocollen kunnen zorgdragen voor een voldoende hoge integriteit

Inzet interoperabiliteit en open standaarden

Selectie van open standaarden, bij het ontwikkelen van open standaarden zal het precisie aspecten aan de orde komen. Hiermee zal de precisie aansluiten op de wensen van een grote groep organisaties. Door het inzetten van deze standaarden bij de integratie zal de precisie voldoende gewaarborgd zijn.

Inzet interoperabiliteit en open standaarden

Selectie van open standaarden, bij het ontwikkelen van open standaarden zal het precisie aspecten aan de orde komen. Hiermee zal de precisie aansluiten op de wensen van een grote groep organisaties. Door het inzetten van deze standaarden bij de integratie zal de precisie voldoende gewaarborgd zijn.

Inzet open standaarden

Keuze (open) standaarden, deze zijn veelal gebaseerd op syntactisch in detail uitgewerkte informatiemodellen en kunnen daardoor goed gevalideerd worden door bijvoorbeeld de bovengenoemde validatiecomponenten. Daarnaast bieden deze standaarden zeker bij organisatie overstijgende integratie om deze validatie op een centrale plaats uit te voeren. Bijvoorbeeld in een sectoraal knooppunt of een compliance voorziening.

Inzet open standaarden

Keuze (open) standaarden, deze zijn veelal gebaseerd op syntactisch in detail uitgewerkte informatiemodellen en kunnen daardoor goed gevalideerd worden door bijvoorbeeld de bovengenoemde validatiecomponenten. Daarnaast bieden deze standaarden zeker bij organisatie overstijgende integratie om deze validatie op een centrale plaats uit te voeren. Bijvoorbeeld in een sectoraal knooppunt of een compliance voorziening.

Inzet overheidscomponenten

Inzet van overheidscomponenten hebben eveneens een nauwe relatie met tijdigheid. Met name bij een keten van overheidscomponenten zal veelal een negatieve uitwerking hebben op de tijdigheid. Bij het uitwerken van een integratieketen zal een risico analyse plaats moeten vinden per component op onder andere het aspect van tijdigheid.

Inzet overheidscomponenten

Inzet van overheidscomponenten hebben eveneens een nauwe relatie met tijdigheid. Met name bij een keten van overheidscomponenten zal veelal een negatieve uitwerking hebben op de tijdigheid. Bij het uitwerken van een integratieketen zal een risico analyse plaats moeten vinden per component op onder andere het aspect van tijdigheid.

Inzet validatie voorzieningen

Inzet validatiecomponenten. Voor validatie van bijvoorbeeld berichten zijn componenten en agents beschikbaar die berichten eenvoudig kunnen valideren op syntactisch niveau. Deze kunnen ingezet worden op verschillende plekken in integratieketens indien dit gewenst is. Houdt rekening met de effecten die dit kan hebben op met name de performance binnen een keten.

Inzet validatie voorzieningen

Inzet validatiecomponenten. Voor validatie van bijvoorbeeld berichten zijn componenten en agents beschikbaar die berichten eenvoudig kunnen valideren op syntactisch niveau. Deze kunnen ingezet worden op verschillende plekken in integratieketens indien dit gewenst is. Houdt rekening met de effecten die dit kan hebben op met name de performance binnen een keten.

Master Data Modelling en Meta Modelling

Data modellering en meta modellering voor voorbeeldmodellen op basis van UBL en overheidsmodellen. Deze modellen worden gebruikt voor de opslag van de data maar ook voor de data integratie, - transformatie en - validatie

Master Data Modelling en Meta Modelling

Data modellering en meta modellering voor voorbeeldmodellen op basis van UBL en overheidsmodellen. Deze modellen worden gebruikt voor de opslag van de data maar ook voor de data integratie, - transformatie en - validatie

Nemen van beveiligingsmaatregelen zoals encryptie en authenticatie van verzender en ontvanger

Gebruik van beveiligingsmaatregelen binnen de data integratie om zorg te dragen voor de beveiligde uitwisseling van data in berichtenverkeer tussen informatiesystemen en organisaties.

Nemen van beveiligingsmaatregelen zoals encryptie en authenticatie van verzender en ontvanger

Gebruik van beveiligingsmaatregelen binnen de data integratie om zorg te dragen voor de beveiligde uitwisseling van data in berichtenverkeer tussen informatiesystemen en organisaties.

Precisie

Mate van detail waarin een data entiteit de werkelijkheid weergeeft. Dit heeft bijvoorbeeld betrekking op de precisie van getallen e.d. Opslag van getallen en datums kunnen onvoldoende nauwkeurig zijn omdat afronding bij opslag of integratie nodig is.

Precisie

Mate van detail waarin een data entiteit de werkelijkheid weergeeft. Dit heeft bijvoorbeeld betrekking op de precisie van getallen e.d. Opslag van getallen en datums kunnen onvoldoende nauwkeurig zijn omdat afronding bij opslag of integratie nodig is. Mate van detail waarin een data entiteit de werkelijkheid weergeeft. Dit heeft bijvoorbeeld betrekking op de precisie van getallen e.d. Opslag van getallen en datums kunnen onvoldoende nauwkeurig zijn omdat afronding bij opslag nodig is. Ook domeinen op eigenschappen kunnen onvoldoende precisie hebben (denk aan een Nederlandse postcode in een internationale data-opslag)

Precisie bij data integratie

Keuze en inzet integratietechnologie, hierbij moet rekening gehouden worden met de gewenste- en realiseerbare precisie. Dat kan tot gevolg hebben dat een integratievorm ongeschikt is voor een specifieke implementatie. Houdt hierbij ook rekening met het feit dat structuren op basis van de precisie opnieuw opgebouwd moeten kunnen worden, bijvoorbeeld bij het verwerken van object georiënteerde datastructuren.

Precisie bij data integratie

Keuze en inzet integratietechnologie, hierbij moet rekening gehouden worden met de gewenste- en realiseerbare precisie. Dat kan tot gevolg hebben dat een integratievorm ongeschikt is voor een specifieke implementatie. Houdt hierbij ook rekening met het feit dat structuren op basis van de precisie opnieuw opgebouwd moeten kunnen worden, bijvoorbeeld bij het verwerken van object georiënteerde datastructuren.

Protocol rond security en privacy classificatie

Beslisproces voor beveiliging bij integratie, dit punt sluit aan bij de voorgaande punten. Introduceer een beslisproces om zorg te dragen dat op eenvoudige wijze bepaald kan worden. Inrichten van beheerprocessen rond informatiebeveiliging. Denk bijvoorbeeld aan het monitoren van beveiligingsaspecten maar ook toetsingsmechanismen zoals checklists inzetten binnen projecten of het doen van beveiligingsaudits.

Protocol rond security en privacy classificatie

Beslisproces voor beveiliging bij integratie, dit punt sluit aan bij de voorgaande punten. Introduceer een beslisproces om zorg te dragen dat op eenvoudige wijze bepaald kan worden. Inrichten van beheerprocessen rond informatiebeveiliging. Denk bijvoorbeeld aan het monitoren van beveiligingsaspecten maar ook toetsingsmechanismen zoals checklists inzetten binnen projecten of het doen van beveiligingsaudits.

Redelijkheid infrastructuur

Infrastructurele inrichting, data integratie stelt bij een aantal integratievormen hoge eisen aan de infrastructurele inrichting. Bijvoorbeeld op het vlak van performance, beschikbaarheid en capaciteit. Bij de infrastructurele inrichting dient rekening gehouden te worden met de eisen die vanuit de redelijkheid gesteld worden. Dit brengt een bepaalde configuratie met zich mee per integratievorm. Daarnaast kan de inzet van specifieke componenten noodzakelijk zijn.

Redelijkheid infrastructuur

Infrastructurele inrichting, data integratie stelt bij een aantal integratievormen hoge eisen aan de infrastructurele inrichting. Bijvoorbeeld op het vlak van performance, beschikbaarheid en capaciteit. Bij de infrastructurele inrichting dient rekening gehouden te worden met de eisen die vanuit de redelijkheid gesteld worden. Dit brengt een bepaalde configuratie met zich mee per integratievorm. Daarnaast kan de inzet van specifieke componenten noodzakelijk zijn.

Redelijkheid inzet generieke componenten

Inzet van (overheids)componenten. Hierbij dient terdege rekening gehouden te worden met de eisen die vanuit redelijkheid gesteld worden. Veel overheidscomponenten kennen een inrichting die bepaalde integratievormen in combinatie met redelijkheid niet mogelijk maken. Denk bijvoorbeeld aan de inzet van digikoppeling en digipoort in combinatie met de wens voor synchrone (redelijke) interactie.

Redelijkheid inzet generieke componenten

Inzet van (overheids)componenten. Hierbij dient terdege rekening gehouden te worden met de eisen die vanuit redelijkheid gesteld worden. Veel overheidscomponenten kennen een inrichting die bepaalde integratievormen in combinatie met redelijkheid niet mogelijk maken. Denk bijvoorbeeld aan de inzet van digikoppeling en digipoort in combinatie met de wens voor synchrone (redelijke) interactie.

Referentiele integriteit bij data integratie

Inrichten integratievorm, bij verschillende vormen van integratievormen kan de wijze van inrichting een negatief effect hebben op de referentiele integriteit. Bijvoorbeeld bij integratie op basis van berichten kunnen aanvullende eisen gesteld worden aan de in te zetten componenten, verbindingen en protocollen. Bij de inzet van generieke integratievoorziening dient rekening gehouden te werken met de strengste eisen van integriteit zoals deze binnen deze voorziening ingezet zal worden. De technische voorzieningen moeten voldoende oplossingen te hebben voor het handhaven van referentiele integriteit. Denk bijvoorbeeld aan voorzieningen als het genereren van unieke sleutels het werken met transacties en rollback mechanismen. Met name in een sterk gedistribueerde omgeving zoals een SOA omgeving is dit een uitdaging.

Referentiele integriteit bij data integratie

Inrichten integratievorm, bij verschillende vormen van integratievormen kan de wijze van inrichting een negatief effect hebben op de referentiele integriteit. Bijvoorbeeld bij integratie op basis van berichten kunnen aanvullende eisen gesteld worden aan de in te zetten componenten, verbindingen en protocollen. Bij de inzet van generieke integratievoorziening dient rekening gehouden te werken met de strengste eisen van integriteit zoals deze binnen deze voorziening ingezet zal worden. De technische voorzieningen moeten voldoende oplossingen te hebben voor het handhaven van referentiele integriteit. Denk bijvoorbeeld aan voorzieningen als het genereren van unieke sleutels het werken met transacties en rollback mechanismen. Met name in een sterk gedistribueerde omgeving zoals een SOA omgeving is dit een uitdaging.

Register Data Consumeren

Abstracte architecturele entiteit voor de registergegevens consumenten, alle gebruikersinterfaces en gegevensintegraties zijn een mastergegevens consument

Register Data Consumeren via Integratie

Applicatie- en database-integratie zoals webservices, bestandsoverdracht, databasekoppelingen, views etc. In een latere fase zullen we de verschillende integratiemethoden modelleren en in detail modelleren

Register Data Publicatie en Integratie Service

Logische diensten die de gegevens uit het register publiceren naar verschillende registergegevens consumenten

Register Data Publicatie en Integratie Service

Logische diensten die de gegevens uit het register publiceren naar verschillende registergegevens consumenten

Register sleutel inrichting

Werk eventueel met toepassingsgebied overstijgende sleutels voor het afdwingen van referentiele integriteit. Bijvoorbeeld bij service oriëntatie of keten integratie over de grenzen van een applicatie of organisatie heen. Hierbij kan de inzet van een sleutelkast component of service uitkomst bieden

Register sleutel inrichting

Werk eventueel met toepassingsgebied overstijgende sleutels voor het afdwingen van referentiele integriteit. Bijvoorbeeld bij service oriëntatie of keten integratie over de grenzen van een applicatie of organisatie heen. Hierbij kan de inzet van een sleutelkast component of service uitkomst bieden

Requirements integratie platform

Selectieproces integratievorm, bij het uitwerken van de integratievormen kan beschreven worden wat de effecten zijn van een specifieke integratievorm op het vlak van precisie. Vervolgens kan dit vertaald worden in beslisbomen en –documenten rond het selecteren van integratievormen binnen een project.

Requirements integratie platform

Selectieproces integratievorm, bij het uitwerken van de integratievormen kan beschreven worden wat de effecten zijn van een specifieke integratievorm op het vlak van precisie. Vervolgens kan dit vertaald worden in beslisbomen en –documenten rond het selecteren van integratievormen binnen een project.

Selectie integratievormen

Integratievorm keuze, vanuit het perspectief van redelijkheid is de keuze van bepaalde integratievormen wel of niet mogelijk. Vanuit architectuur en beheer kunnen beslisbomen en dergelijke ingezet worden om zorg te dragen dat de juiste vorm in relatie tot redelijkheid gekozen worden.

Selectie integratievormen

Integratievorm keuze, vanuit het perspectief van redelijkheid is de keuze van bepaalde integratievormen wel of niet mogelijk. Vanuit architectuur en beheer kunnen beslisbomen en dergelijke ingezet worden om zorg te dragen dat de juiste vorm in relatie tot redelijkheid gekozen worden.

Syntactische validatie

Inzet syntactische validaties, met name bij berichtenverkeer op basis van XML kunnen berichten binnen de integratieketen op één of meerdere plaatsen gevalideerd worden. Deze validaties zorgen ervoor dat de berichtinhoud gecontroleerd wordt op correctheid op basis van definitiebestanden waarmee voorkomen wordt dat invalide gegevens opgeslagen worden of dat bij verder gebruik problemen in de verwerking van de gegevens ontstaan.

Syntactische validatie

Inzet syntactische validaties, met name bij berichtenverkeer op basis van XML kunnen berichten binnen de integratieketen op één of meerdere plaatsen gevalideerd worden. Deze validaties zorgen ervoor dat de berichtinhoud gecontroleerd wordt op correctheid op basis van definitiebestanden waarmee voorkomen wordt dat invalide gegevens opgeslagen worden of dat bij verder gebruik problemen in de verwerking van de gegevens ontstaan.

Tijdigheid specificatie in service contract

Inzet servicecontract of gegevensleveringsovereenkomst. Deze documenten met afspraken kunnen tijdigheid als verbijzondering van redelijkheid formaliseren en op deze wijze een bijdrage leveren aan een realistische uitwerking van vraag en aanbod op aspecten van tijdigheid bij data integratie. Gebruiksafspraken maken met gebruikers en beheerders om zo voor een betere verdeling van het gebruik te bereiken (zie ook redelijkheid), bijvoorbeeld door contractafspraken te maken omtrent het gegevensgebruik en het uitvoeren van beheeractiviteiten.

Tijdigheid specificatie in service contract

Inzet servicecontract of gegevensleveringsovereenkomst. Deze documenten met afspraken kunnen tijdigheid als verbijzondering van redelijkheid formaliseren en op deze wijze een bijdrage leveren aan een realistische uitwerking van vraag en aanbod op aspecten van tijdigheid bij data integratie. Gebruiksafspraken maken met gebruikers en beheerders om zo voor een betere verdeling van het gebruik te bereiken (zie ook redelijkheid), bijvoorbeeld door contractafspraken te maken omtrent het gegevensgebruik en het uitvoeren van beheeractiviteiten.

Transform

Transformeren van data tbv ETL. Extract functie haalt de data op uit de bronwaarna de tranformatie functie de data omzet naar het model wat in het DWH geladen wordt. onderliggende functies zijn:
  • Opslaan in een staging omgeving
  • Validatie van data
  • Transformeren van datatypes en waardes.
  • Versleuteling
  • integratie met andere datastromen
  • Agrregatie van feiten en dimensies

Webservice

Webservice-interface voor applicatie-naar-applicatie-integratie. Dit kan worden geïmplementeerd in een servicebusomgeving. Meestal toegepast in op gebeurtenissen gebaseerde gegevensverwerking

Datamodellering toepassen Service Oriented Architecture

Service oriëntatie is bij veel organisaties het fundament van hun data integratie. Inzetten van data integratie kan veel redenen hebben, echter vrijwel altijd dient er een antwoord gevonden te worden op problemen rond de wendbaarheid van een organisatie door het ontstane ICT landschap. Binnen de service oriëntatie speelt data modellering een belangrijke zo niet centrale rol. In een vroeg stadium nadenken welke modelleervormen relevant zijn, hoe deze aan elkaar verbonden worden en hoe de stakeholders daarbij betrokken zijn ondersteunt de introductie van een SOA. In dit whitepaper hebben we een combinatie van modelleervormen beschreven die een (minimale) set is van notatiewijzen op basis waarvan data stromen in een SOA gemodelleerd kunnen worden.

__Data Architectuur BI en DWH landschap

Dit is een voorbeeld van een wat uitgebreider datalandschap van data uitwisseling tussen bronsystemen en doelsystemen. Dit is voor meerdere kennisgebieden relevant. Denk hierbij aan Master Data, Reference Data of data integratie. In dit voorbeeld gaan we in op de data stromen nodig bij Datawarehousing en BI. Je ziet hier een detaillering van de data verwerking op basis van ETL Daarnaast wordt ook hier de link gelegd naar het conceptuele datamodel. Dit omdat daar mogelijk data governance, securtiy of stakeholder aspecten van belang zijn.

Beschrijvende data architectuur fysiek bericht

Fysieke datamodellen hebben tot doel om tot in detail de fysieke structuur van berichtuitwisseling tussen applicatiecomponenten of applicatieinterfaces te modelleren. Veelal wordt daarbij al rekening gehouden met de eisen, die vanuit een uitwisselprotocol of integratieplatform gesteld worden. Hiervoor worden veelal een aantal modelleertechnieken gebruikt zoals XML Schema Definition (XSD) en JSon Schema. Schema Definition modellen geven een gedetailleerde notatiewijze voor het modelleren van berichtenverkeer. Daarnaast kun je met extra modelleertechnieken inzetten. Bijvoorbeeld OpenAPI biedt de mogelijkheid om de datastructuur te modelleren maar ook om APIs te documenteren.

Data Architectuur BI en DWH landschap

Dit is een voorbeeld van een wat uitgebreider datalandschap van data uitwisseling tussen bronsystemen en doelsystemen. Dit is voor meerdere kennisgebieden relevant. Denk hierbij aan Master Data, Reference Data of data integratie. In dit voorbeeld gaan we in op de data stromen nodig bij Datawarehousing en BI. Je ziet hier een detaillering van de data verwerking op basis van ETL Daarnaast wordt ook hier de link gelegd naar het conceptuele datamodel. Dit omdat daar mogelijk data governance, securtiy of stakeholder aspecten van belang zijn.

Data integratie en API

Voor de data-architect zijn API's een belangrijk onderdeel van data die door het data- en applicatielandschap stromen. APIs zijn koppelvlakken die zich kenmerken door een fysiek datamodel van de API maar ook van de gebruikte protocollen van deze APIs. Wil je als data-architect grip krijgen op de APIs en wil je waar mogelijk APIs standaardiseren en hergebruiken dan is het van belang dat de aanwezige koppelvlakken en de data objecten die daar worden uitgewisseld worden gemodelleerd en geregistreerd. Voor de data objecten kan een koppeling gemaakt worden naar de onderliggende logische en fysieke datamodellen.

Data integratie en API implementatie

Bij veel solutions zal data door het data-landschap stromen. Hiervoor worden binnen de solution APIs geintroduceerd of bestaande APIs worden aangepast. Grip op APIs zijn vanuit data-architectuur perspectief uitermate belangrijk. Vandaar dat er meestal meerdere APIs uitgewerkt worden ten behoeve van een solution. Na implementatie van de solution gaan deze APIs deel uitmaken van de domein data-architectuur.

Data integratie interfaces

Gespecialiseerd model van de verschillende interfaces die beschikbaar zijn voor de gebruikers van de gestandaardiseerde datasets.

Data integratie Joomla API Bezorgevaluatie

Voor de data-architect zijn API's een belangrijk onderdeel van data die door het data- en applicatielandschap stromen. APIs zijn koppelvlakken die zich kenmerken door een fysiek datamodel van de API maar ook van de gebruikte protocollen van deze APIs. Wil je als data-architect grip krijgen op de APIs en wil je waar mogelijk APIs standaardiseren en hergebruiken dan is het van belang dat de aanwezige koppelvlakken en de data objecten die daar worden uitgewisseld worden gemodelleerd en geregistreerd. Voor de data objecten kan een koppeling gemaakt worden naar de onderliggende logische en fysieke datamodellen.

Data integratie logische platform architectuur

Dit is een logische weergave van een data gedreven platform. Het beschrijft drie lagen en de daartussen liggende interfaces die functionaliteit bieden voor het implementeren van datapijpen voor de overdracht van (big) data van de bronnen naar de gebruikers. Dit overzicht wordt verder gedetailleerd beschreven met toegevoegde functionaliteiten. In de sectie Alternatieven vindt u cases en voorbeelden van de concrete implementatie van deze functionaliteiten.

Data integratie mapping

Zie de bijschrijving van deze techniek bij de beschrijvende architectuur.

Datasysteem overzicht

Omdat de logische positie van een datasysteem relevant is voor de implementatie en data-integratie, wordt een eenvoudig model gemaakt met on-premise, cloud en externe systemen. Op basis van deze classificatie zijn aanvullende eisen en metingen nodig.

Integratie viewpoint

Doel: Inzicht geven in koppelingen tussen de applicatie en de daarbij gebruikte patronen uit de referentie architectuur Systeem integratie. Verplicht: Alleen in het geval dat er een koppeling tussen applicatie gerealiseerd moet worden en dit niet past in de eerder genoemde applicatie view. Een integratie view is te realiseren door het gekozen integratie patroon uit de referentie architectuur te kopiëren en vervolgens te voorzien van de implementatie in applicatie componenten, interfaces etc.

Integratie viewpoint

Doel: Inzicht geven in koppelingen tussen de applicatie en de daarbij gebruikte patronen uit de referentie architectuur Systeemintegratie. Verplicht: Alleen in het geval dat er een koppeling tussen applicatie gerealiseerd moet worden en dit niet past in de eerder genoemde applicatieview. Als een aparte integratieview vereist is deze altijd van detail niveau 2 (zie 5.6 voor meer informatie over de niveau’s) Een integratieview is te realiseren door het gekozen integratiepatroondiagram uit de referentie architectuur te kopiëren en vervolgens te voorzien van de implementatie in applicatiecomponenten, interfaces etc.

Meta Data harvesting

Meta data harvesting wordt gedaan als dataverwerking reeds heeft plaatsgevonden in het verleden zonder dat men toen meta data over de transformatie verzameld heeft. In die situatie dient data harvesting met terugwerkende kracht dataverwerkingsalgoritmen te ontdekken en te analyseren. Data harvasting is vooral relevant in situaties waar het ontstaan van de huidige data architectuur evolutionair ontstaan is zonder rekening te houden met eisen en requirements die vanuit meta data management gesteld worden. Het analyseren van de programmatuur die zorgdragen voor de data transformaties kan complex zijn. Zeker in situaties waar weinig gebruik gemaakt is van standaardisatie van transformaties, meerdere data verwerkingstools zijn gebruikt of waar de geschreven software door meerdere professionals ontwikkeld zijn, waarbij logging e.d. niet is ontwikkeld, kan meta data harvesting een uitdaging zijn. Meta Data Harvesting is vooral relevant in de context van Business Intelligence, Master - en Referentie Data en data integratie relevant. Men dient met terugwerkende kracht meta data te verzamelen over de dataverwerking binnen deze werkvelden. In deze werkvelden zijn de kansen op succesvolle implementaties groot omdat hier de automatiseringsgraad van de dataverwerking hoog zal zijn gezien het repeterende en gestandaardiseerde karakter van de toepassingen die deze vormen van dataverwerking implementeren.

Meta Data verwerking soorten

Meta data harvesting wordt gedaan als dataverwerking reeds heeft plaatsgevonden in het verleden zonder dat men toen meta data over de transformatie verzameld heeft. In die situatie dient data harvesting met terugwerkende kracht dataverwerkingsalgoritmen te ontdekken en te analyseren. Data harvasting is vooral relevant in situaties waar het ontstaan van de huidige data architectuur evolutionair ontstaan is zonder rekening te houden met eisen en requirements die vanuit meta data management gesteld worden. Het analyseren van de programmatuur die zorgdragen voor de data transformaties kan complex zijn. Zeker in situaties waar weinig gebruik gemaakt is van standaardisatie van transformaties, meerdere data verwerkingstools zijn gebruikt of waar de geschreven software door meerdere professionals ontwikkeld zijn, waarbij logging e.d. niet is ontwikkeld, kan meta data harvesting een uitdaging zijn. Meta Data Harvesting is vooral relevant in de context van Business Intelligence, Master - en Referentie Data en data integratie relevant. Men dient met terugwerkende kracht meta data te verzamelen over de dataverwerking binnen deze werkvelden. In deze werkvelden zijn de kansen op succesvolle implementaties groot omdat hier de automatiseringsgraad van de dataverwerking hoog zal zijn gezien het repeterende en gestandaardiseerde karakter van de toepassingen die deze vormen van dataverwerking implementeren.

Scenario model data samenwerking

In dit scenario werkt het masterdataregister samen met de verschillende dataproducerende applicatiefuncties. Dit betekent dat wanneer gegevens in een van de systemen worden gewijzigd, deze wijzigingen worden gedeeld tussen alle samenwerkende functies. Daarom is de integratie tussen deze dataproducenten essentieel in dit scenario Een interessant scenario hierbij is dat het Dataregister alleen als sleutelarchief of sleutelkast wordt gebruikt en de detailgegevens in de andere bronsystemen worden bewaard. Voordelen:
  • Gegevens worden rechtstreeks uit bronsystemen verzameld en zijn dus altijd nauwkeurig en realtime.
  • Gegevens kunnen in de bronsystemen worden opgeslagen in een specifiek formaat dat de bedrijfsprocessen binnen deze systemen ondersteunt
  • Verschillen in beschikbaarheid tussen consumenten en bronnen kunnen worden opgevangen door het Dataregister
  • Hergebruik van schermen, workflows en validaties in de bronsystemen
  • Datastandaardisatie binnen het Dataregister
  • Introductie van een sleutelkast of sleutelkast.
Nadelen:
  • Het beheren van de synchronisatie tussen systemen is extra werk en complexiteit.
  • Replicatie van gegevens
  • Complexe datatransformaties van bronnen naar register en terug

Scenario model data service

In dit scenario is er geen dataregister maar worden alle masterdata opgeslagen binnen de dataproducenten zoals ERP en geofuncties. Voor de dataconsumenten zijn de data echter op gestandaardiseerde wijze beschikbaar via de asset data services. Dit betekent dat wanneer een consument assetdata nodig heeft, dit via de dataservices wordt opgevraagd en uit de verschillende dataproducerende applicaties wordt verzameld. De implementatie van de dataservices zorgt voor de standaardisatie van het masterdatamodel en het data-uitwisselingsprotocol Voordelen:
  • Realtime afstemming van de gegevens.
  • Eén punt van waarheid en onderhoud
  • Geen replicatie van data (en de bijbehorende complexiteit)
  • Hergebruik van bestaande gebruikersinterfaces, validaties en (verborgen) integraties
Nadelen
  • Het serviceontwerp mag de gegevens niet verbeteren, dus de toepassing moet mogelijk opnieuw worden ontworpen.
  • Elke verandering in datamodel in bronnen leidt tot verandering in service, dit moet op elkaar worden afgestemd.
  • Verificatie en bedrijfsregels worden geïmplementeerd in bronsystemen.
  • Hoge beschikbaarheid en prestatie-eisen voor alle producerende systemen
  • Complexe modeltransformaties binnen de servicelaag om voor een specifiek producentensysteemmodel te transformeren naar het vereiste model door de consumenten
  • Releases van de bronsystemen worden complexer door de nieuwe afhankelijkheden in de dataservices

Scenario model data verzamelen

In dit scenario worden data verzameld uit de verschillende dataproducerende applicaties en gecombineerd en gestandaardiseerd in het masterdataregister. Dit houdt in dat gegevens worden gewijzigd in een van de gegevensproducerende toepassingen en uiteindelijk worden verrijkt in het gegevensregister. Het dataregister is voornamelijk een datareplicatie met een gestandaardiseerd datamodel van de andere dataproducenten. Een voorbeeld is een datawarehouse Voordelen:
  • Alle gegevens direct geïntegreerd bij de hand.
  • Standaardisatie van data is mogelijk binnen het Data Register
  • Er is een mogelijkheid om gegevens te verbeteren door deze intelligent te combineren tot nieuwe informatie.
  • Hoge beschikbaarheid alleen voor het dataregister wanneer consumenten een hoge beschikbaarheid nodig hebben
  • Gegevensvalidatie kan worden geïmplementeerd in het systeem waar dit het voordeligst/efficiëntst is
  • Hergebruik van schermen, validaties, bestaande data-integraties en workflows
  • Ondersteunt een iteratieve migratie naar een meer gecentraliseerd (register)scenario
Nadelen
  • Wanneer integratie van data asynchroon is, is de data niet op elk moment hetzelfde als in bronsystemen. Dit zal geen probleem zijn als timing geen probleem is.
  • Wanneer de synchronisatie van gegevens synchroon is, zijn hoge beschikbaarheidseisen voor de registersystemen noodzakelijk
  • Gegevensreplicatie en behoefte aan extra opslagruimte
  • Het heen en weer ophalen en distribueren van data is even veel werk als bij een MDM-oplossing
  • Mogelijk zeer complexe datatransformaties nodig

Servicemodel data integratie

Gedetailleerde ABB voor het beschrijven van de logische service-interface in combinatie met extra governance-functionaliteiten

Solution bezorgen fysiek berichtdefinitie

Fysieke datamodellen hebben tot doel om tot in detail de fysieke structuur van berichtuitwisseling tussen applicatiecomponenten of applicatieinterfaces te modelleren. Veelal wordt daarbij al rekening gehouden met de eisen, die vanuit een uitwisselprotocol of integratieplatform gesteld worden. Hiervoor worden veelal een aantal modelleertechnieken gebruikt zoals XML Schema Definition (XSD) en JSon Schema. Schema Definition modellen geven een gedetailleerde notatiewijze voor het modelleren van berichtenverkeer. Daarnaast kun je met extra modelleertechnieken inzetten. Bijvoorbeeld OpenAPI biedt de mogelijkheid om de datastructuur te modelleren maar ook om APIs te documenteren. Voor solutions zullen er vaak baseline en targetmodellen ontstaan. Zeker in situaties waar de solution gebruik maakt van reeds aanwezige berichtdefinities of deze berichten uitbreid met eigen behoeften afkomstig uit de solution.

Solution fysiek berichtdefinitie

Fysieke datamodellen hebben tot doel om tot in detail de fysieke structuur van berichtuitwisseling tussen applicatiecomponenten of applicatieinterfaces te modelleren. Veelal wordt daarbij al rekening gehouden met de eisen, die vanuit een uitwisselprotocol of integratieplatform gesteld worden. Hiervoor worden veelal een aantal modelleertechnieken gebruikt zoals XML Schema Definition (XSD) en JSon Schema. Schema Definition modellen geven een gedetailleerde notatiewijze voor het modelleren van berichtenverkeer. Daarnaast kun je met extra modelleertechnieken inzetten. Bijvoorbeeld OpenAPI biedt de mogelijkheid om de datastructuur te modelleren maar ook om APIs te documenteren. Voor solutions zullen er vaak baseline en targetmodellen ontstaan. Zeker in situaties waar de solution gebruik maakt van reeds aanwezige berichtdefinities of deze berichten uitbreid met eigen behoeften afkomstig uit de solution.

Viewpoint Bouwblokken Basis Applicatielaag

Primaire concepten In de applicatielaag zijn de drie specialisaties van de bouwblokken relatief eenvoudig te relateren aan een ArchiMate element, namelijk:
  • Service <-> Application_Service
  • ABB <-> Application_Function, zoals reeds genoemd kan hier ook een ander behavioural element gebruikt worden
  • SBB <-> Application_Component
Tussen de elementen kunnen ArchiMate relaties gedefinieerd worden:
  • Service <-> ABB: Realisation
  • SBB <-> ABB: Assignment
  • xBB <-> xBB: Aggregation
Met name de laatste associatie de aggregatie is van belang omdat hiermee samengestelde bouwblokken samengesteld kunnen worden. Naast de genoemde associaties zijn meerdere typen associaties te kiezen zoals de dynamische associaties. Bij het uitwerken van de views binnen dit viewpoint staat het je vrij deze extra associaties toe te passen, mits uitgewerkt in de reeds aanwezige algemene viewpoints. Secundaire concepten Naast de primaire elementen en associaties zijn er een tweetal elementen en associaties relevant, echter niet in alle architectuur domeinen. Dit zijn:
  • Data_Object, binnen bijvoorbeeld de integratie architectuur zijn data objecten noodzakelijk voor het beschrijven van bijvoorbeeld herbruikbare bericht definities binnen een bouwblok.
  • Applicatie_Interface, eveneens binnen de integratie architectuur is voor de implementatie van bijvoorbeeld een webservice dit concept noodzakelijk als extra ArchiMate element binnen de xBB modellering.

Viewpoint Bouwblokken Technische laag

Primaire concepten In de technische laag zijn de drie specialisaties van de bouwblokken relatief eenvoudig te relateren aan een ArchiMate element, namelijk:
  • Service <-> Technology_Service
  • ABB <-> Technology_Function, zoals reeds genoemd kan hier ook een ander behavioural element gebruikt worden
  • SBB <-> System_Software, Node, Network, Device, Path en andere technische actieve structuur elementen.
Tussen de elementen kunnen ArchiMate relaties gedefinieerd worden:
  • Service <-> ABB: Realisation
  • SBB <-> ABB: Assignment
  • xBB <-> xBB: Aggregation
Met name de laatste associatie de aggregatie is van belang omdat hiermee samengestelde bouwblokken samengesteld kunnen worden. Naast de genoemde associaties zijn meerdere typen associaties te kiezen zoals de dynamische associaties. Bij het uitwerken van de views binnen dit viewpoint staat het je vrij deze extra associaties toe te passen, mits uitgewerkt in de reeds aanwezige algemene viewpoints. Secundaire concepten Naast de primaire elementen en associaties is er element en associatie relevant, echter niet in alle architectuur domeinen. Dit zijn:
  • Technology_Interface, eveneens binnen de integratie architectuur is voor de implementatie van bijvoorbeeld een webservice dit concept noodzakelijk als extra ArchiMate element binnen de xBB modellering.
  • Een introductie van een artefact is in deze alleen in bepaalde deelgebieden relevant (geo). In andere gevallen zal worden uitgeweken naar een taal met meer detail zoals UML klasse diagram of XSD modellen. In dat laatste geval wordt er via een trace associatie gelegd tussen de modelleertaal concepten.

Data gedreven grondplaat

Rond data gedreven werken is een algemene grondplaat te gebruiken gebaseerd op een big data patroon de data pipe. Dit raamwerk is afkomstig van Arcitura en is een detaillering van de datalevensloop en wordt veel toegepast in (big) data integratie projecten. Het is feitelijk een grondplaat waarin je verschillende projectactiviteiten, deliverables en modelleervormen kunt afbeelden. Dit helpt om de complexiteit op eenvoudige wijze in kaart te brengen. Onderstaande afbeelding toont de data pipe grondplaat waarmee je een data gedreven toepassing kunt realiseren.

Data integratie

Data integratie is een data werkveld waar architectuur patronen veel waarde kunnen leveren aan de inrichting van een landschap met generieke en gestandaardiseerde koppelvlakken.

Data integratie zandloper patroon

Zandloperarchitectuurpatroon voor het modelleren van implementatie specifieke functies en entiteiten in een gestandaardiseerd architectonisch model.