Data Kwaliteit Maatregelen Validiteit

Overzicht van de data kwaliteiten en daarbij een aantal maatregelen die genomen kunnen worden om een Data kwaliteit met behulp van deze maatregelen (binnen een release) op een hoger niveau te krijgen.

Diagram in standaardweergave

Duidelijke Werkinstructies

Zorg voor duidelijke werkinstructies vanuit het perspectief van data kwaliteit. Veelal wordt in werkinstructies een introductie gedaan van workarounds die een negatief effect kunnen hebben op de kwaliteit van de data


Details van Duidelijke Werkinstructies

Implementeer compliance voorziening

Richt indien mogelijk een compliance voorziening in voor gangbare validaties etc.


Details van Implementeer compliance voorziening

Inzet open standaarden

Keuze (open) standaarden, deze zijn veelal gebaseerd op syntactisch in detail uitgewerkte informatiemodellen en kunnen daardoor goed gevalideerd worden door bijvoorbeeld de bovengenoemde validatiecomponenten. Daarnaast bieden deze standaarden zeker bij organisatie overstijgende integratie om deze validatie op een centrale plaats uit te voeren. Bijvoorbeeld in een sectoraal knooppunt of een compliance voorziening.


Details van Inzet open standaarden

Samenvoegen, transformeren en splitsen van attributen

Transformeren naar atributen in datasets door omzetten naar samenvoegen tot een geaggregeerd kenmerk. Daarnaast het opsplitsen van delen van een attribuut op basis van een bepaald kenmerk. Splitsen opv komma of spatie.


Details van Samenvoegen, transformeren en splitsen van attributen

Visualiseer oorzaken van kwaliteiten in gedrag

Maak inzichtelijk voor stakeholders die datakwaliteitsproblemen veroorzaken wat het effect is van handelen bij het werken met de data. Denk bijvoorbeeld aan het misbruiken van velden in schermen die daarmee de kwaliteit in de achterliggende databanken kunnen verlagen.


Details van Visualiseer oorzaken van kwaliteiten in gedrag

Begrijpelijke user interface en werkvolgorde

Een begrijpelijke user interface voor medewerkers en gebruikers zorgt ervoor dat fouten en onduidelijkheden worden voorkomen. Daarnaast is een fijne user interface productiviteit verhogend


Details van Begrijpelijke user interface en werkvolgorde

Invoervalidaties op attributen en combinaties

Invoercontroles voor combinaties van invoervelden, controle validaties en check controles


Details van Invoervalidaties op attributen en combinaties

Validiteit

Dit is de mate waarin een data entiteit bij opslag en uitwisseling voldoet aan het gewenste formaat. Denk hierbij bijvoorbeeld aan het domein maar ook het datatype van de attributen van een data entiteit. Binnen ketenuitwisseling is dit bijvoorbeeld van het grootste belang. Dit is de mate waarin een data entiteit bij opslag en uitwisseling voldoet aan het gewenste formaat. Denk hierbij bijvoorbeeld aan het domein maar ook het datatype van de attributen van een data entiteit. Binnen ketenuitwisseling is dit bijvoorbeeld van het grootste belang. Men wil niet dat aan het einde van de keten blijkt dat de gegevens niet valide zijn. Dit dient in een vroeg stadium geconstateerd te worden. Iedereen kent de voorbeelden uit het verleden waarbij bij webapplicaties na verzenden een melding van invalide data terugkwam zonder verdere toelichting


Details van Validiteit

Berichtvalidatie obv schema

Maak gebruik van berichtvalidatie bij het gebruik van services. Denk hierbij aan de inzet van XSD validatie voor het syntactisch testen van berichten voordat de database opslag plaatsvindt. Laat berichtenverkeer waar mogelijk via de bovengenoemde business laag lopen.


Details van Berichtvalidatie obv schema

Modelleer en beschrijf validatieregels

Beschrijf de validatieregels van de attributen van data objecten en communiceer deze regels met ontwikkelpartijen. Regel daarnaast een voorziening in voor de ontsluiting van deze regels en draag zorg voor de toetsing.


Details van Modelleer en beschrijf validatieregels

Introduceer validatie activiteit in proces

Zorg dat data die geproduceerd of getransformeerd wordt, zeker bij handmatige verwerking van data in een validatie activiteit beoordeeld wordt. Dit biedt een punt in het proces waar issues gesignaleerd kunnen worden, maatregelen genomen kunnen worden of waar signalen zijn dat er in andere data management processen aandachtspunten zijn rond de data kwaliteit.


Details van Introduceer validatie activiteit in proces

Tooltips en helpteksten

Tooltips en helpteksten geven gebruikers ondersteuning als invoervelden en formulieren onduidelijk zijn of geven een toelichting bij complexe invoercombinaties


Details van Tooltips en helpteksten

Validiteitsregels toepassingen in database

Maak gebruik van voorzieningen bij data opslag, bijvoorbeeld in relationele databases die de validiteit van gegevens bij de opslag controleren. Denk bijvoorbeeld aan check constraints, foreign key en domein constraints etc.


Details van Validiteitsregels toepassingen in database

Reguliere expressies toepassen

Validaties in teksten op basis van reguliere expressies. Denk bijvoorbeeld aan het format van een postcode of een emailadres


Details van Reguliere expressies toepassen

Verplichte waarde validatie

Invoervalidatie op verplichte invoer in het invulformulier in een vroeg stadium


Details van Verplichte waarde validatie

Gangbare validaties in modelleerconventies

Stel generieke eisen aan gangbare validaties zoals datum en numerieke waarden, postcodes etc en beschrijf hoe en waar deze geïmplementeerd en getest moeten worden. Dit kan zowel op gegevensopslag als op gegevensintegratieval geïmplementeerd worden.


Details van Gangbare validaties in modelleerconventies

Inzet validatie voorzieningen

Inzet validatiecomponenten. Voor validatie van bijvoorbeeld berichten zijn componenten en agents beschikbaar die berichten eenvoudig kunnen valideren op syntactisch niveau. Deze kunnen ingezet worden op verschillende plekken in integratieketens indien dit gewenst is. Houdt rekening met de effecten die dit kan hebben op met name de performance binnen een keten.


Details van Inzet validatie voorzieningen

Syntactische validatie

Inzet syntactische validaties, met name bij berichtenverkeer op basis van XML kunnen berichten binnen de integratieketen op één of meerdere plaatsen gevalideerd worden. Deze validaties zorgen ervoor dat de berichtinhoud gecontroleerd wordt op correctheid op basis van definitiebestanden waarmee voorkomen wordt dat invalide gegevens opgeslagen worden of dat bij verder gebruik problemen in de verwerking van de gegevens ontstaan.


Details van Syntactische validatie

Reguliere expressie validatie

Gebruik van reguliere expressie validaties in invoervelden om te voorkomen dat er invoerfouten worden gemaakt.


Details van Reguliere expressie validatie

Model en protocol transformatie binnen berichtenverkeer

Transformeren van modellen en protocollen. Bijvoorbeeld van en naar een Canoniek Model transformeren en protocol transformeren XML naar JSoN vice versa.


Details van Model en protocol transformatie binnen berichtenverkeer

Gebruik van domeinen en codelijsten in schema's

Gebruik van extra structuren in schema's om extra beperkingen in attributen te implementeren op basis van domeinen (waardelijsten) of codelijsten


Details van Gebruik van domeinen en codelijsten in schema's

Converteer datatypes

Converteren van datatypes naar andere datatypes (tekst {-} Numeriek). Inclusief transformatie naar datatypen op andere platformen zoals database, XML, softwaretalen en localisatie.


Details van Converteer datatypes

Gebruik van cardinaliteiten in elementen en attributen binnen schema's

Gebruik van minimale en maximale cardinaliteiten voor zowel elementen als de attributen. Hiermee kan verplicht worden afgedwongen. Maar ook de mogelijkheid om meerdere elementen vast te leggen voor het realiseren van compleetheid


Details van Gebruik van cardinaliteiten in elementen en attributen binnen schema's

Coderen en Decoderen van XML/HTML/Json structuren

Transformeren van datastructuren in XML, HTML en Json naar interpreteerbare en valideerbare data tbv de kwaliteit


Details van Coderen en Decoderen van XML/HTML/Json structuren

Waarden inzetten in mathematische/statische berekeningen

Inzetten van mathematische en statische berekeningen voor bepalen van de kwaliteit maar ook voor het aggregeren of het bepalen van afwijkende waarden in een dataset.


Details van Waarden inzetten in mathematische/statische berekeningen

Afhankelijkheidsregels voor invoerelementen

Op basis van invoervelden kunnen andere invoerelementen beinvloed worden. Bijvoorbeeld invoerelementen zichtbaar/onzichtbaar of actief/inactief te maken. Bijvoorbeeld na kiezen van anders in een keuzelijst wordt een invoerveld met de titel anders actief gemaakt


Details van Afhankelijkheidsregels voor invoerelementen

Datatype validatie

Bij invoerelementen kunnen near realtime validaties worden toegevoegd. Denk bijvoorbeeld aan, getal en datum tijd validaties of email patroon controls bij invoer


Details van Datatype validatie

Introduceer controle activiteit in proces

Wil je de kwaliteit van data waarborgen dan kun je zorgen dat er een kwaliteitsstap wordt ingebouwd in een werkproces. Hierbij zijn verschillende vormen mogelijk. Zoals dat de activiteit door de data producent zelf gedaan wordt of door een andere anders dan de stakeholder zelf. Bekendste voorbeeld is het twee paar ogen principe


Details van Introduceer controle activiteit in proces

Check constraints op tabellen en kolommen

Check constraints zijn extra functionaliteit in een database waarin je op basis van een statement extra condities kunt toevoegen aan een of meerdere kolommen. Dit extra controles toe te voegen aan deze kolommen


Details van Check constraints op tabellen en kolommen

Implementeer een drielagen applicatie architectuur

Maak gebruik van een drielagenarchitectuur binnen softwarecomponenten waarbij de (middelste) business laag zorg draagt voor validiteitschecks en draag er zorg voor dat alle database mutaties via deze gecentraliseerde business laag verwerkt worden.


Details van Implementeer een drielagen applicatie architectuur

Inzet van schemadefinities voor XML of JSoN

van schema's voor het valideren van data verzamelingen binnen een XML of JSoN gebaseerd bericht of bestand. Hiermee wordt afgedwongen dat de data voldoet aan de regels in het validatieschema.


Details van Inzet van schemadefinities voor XML of JSoN

Inzet datamodellen

Beschrijving van data objecten en – attributen. Door een gedetailleerde en gestructureerde beschrijving te maken van data objecten die ingezet worden voor data integratie wordt het mogelijk om op basis van deze beschrijving validaties te ontwikkelen en deze te implementeren in bovengenoemde validatie componenten.


Details van Inzet datamodellen

Inzet van master, reference en codelijst lookup

Verrijken van datasets op basis van kenmerken voor het toevoegen van beschrijvingen, lookups, hierarchien van generiek data attributen


Details van Inzet van master, reference en codelijst lookup

Introduceer data kwaliteiten training

Bewustwording van kwaliteiten vergt training want het is gericht op bewustwording en gedragsverandering bij de verschillende stakeholders. Dit kan gedaan worden mat klassikale, peer to peer en ook e-learnings getraind worden


Details van Introduceer data kwaliteiten training