Voor de surveillance worden uit diverse bronnen uit het ziekenhuisinformatiesysteem gegevens (variabelen) gehaald, die door diverse disciplines worden vastgesteld. Het is voor een goede interpretatie van de uiteindelijke surveillance resultaten van belang, dat de verschillende variabelen betrouwbaar en zoals beschreven in het protocol worden geregistreerd. Met het uitvoeren van interne validatie kan de afdeling Infectiepreventie (IP) controleren of de gegevens verzameling betrouwbaar is uitgevoerd.

- de inclusie van initiële indicatoroperaties
- de wondklasse, ASA-klasse en operatieduur die samen de NNIS (National Nosocomial Infection Surveillance)-score vormen
Naast interne validatie op deze 4 variabelen dient elke vastgestelde POWI (Postoperatieve wondinfecties) te worden geverifieerd door een collega DI.  Door dit zogenaamde 4-ogen beleid kan worden voorkomen dat op basis van onjuiste bevindingen een POWI wordt geregistreerd. 

- inclusie van de CVK (centraal veneuze katheter) of PICC (peripherally inserted central catheter) én soort lijn
- toepassing TPV (totaal parenterale voeding) voor de CVK of PICC
Ook hier geldt dat elke vastgestelde lijnsepsis geverifieerd wordt door een collega DI. Door dit zogenaamde 4-ogen beleid kan worden voorkomen dat op basis van onjuiste bevindingen een Lijnsepsis wordt geregistreerd.

POWI (Postoperatieve wondinfecties): Jaarlijks dient een steekproef van 25 casussen per specialisme te worden genomen en te worden gecontroleerd of bovengenoemde 4 variabelen juist zijn geregistreerd. Om de interne validatie praktisch uitvoerbaar te houden is voor dit aantal casussen gekozen.
Het is hierbij wel van belang dat de verschillende waardes van een wondklasse en ASA-klasse aan bod komen. Het kan nl. zijn dat een systematische afwijking alleen optreedt bij één bepaalde, niet vaak voorkomende waarde van een variabele.
- selecteer uit het interne databestand van het ziekenhuis (exportfile, excel bestand etc) 25 casussen per specialisme.
- controleer of de verschillende waardes van bijv ASA-klasse vertegenwoordigd zijn in de steekproef, idem met wondklasse.
- als niet alle verschillende waardes in de steekproef voorkomen, dient deze te worden aangevuld tot er minstens één casus voor elke waarde van wondklasse en ASA-klasse in de steekproef zit.
Lijnsepsis: : Jaarlijks dient een steekproef van 25 casussen te worden genomen en te worden gecontroleerd of de soort lijn en toepassing van de CVK (centraal veneuze katheter) of PICC (peripherally inserted central catheter) juist is geregistreerd.

Per variabele mag in de 25 casussen slecht 1 maal een afwijkende waarde worden vastgesteld. Zo kan met voldoende statistisch onderbouwde betrouwbaarheid vastgesteld worden dat gegevens betrouwbaar zijn vastgesteld en bij het valideren niet op basis van toeval een goede overeenkomst wordt gevonden. Voor het bepalen van deze statistische betrouwbaarheid is gebruik gemaakt van de statische maat Cohen’s Kappa (voor geïnteresseerden: zie toelichting onder vraag 7 (Achtergrondinformatie over de mate van overeenstemming)).
Indien er meer dan 1 afwijking wordt vastgesteld dient de steekproef te worden vergroot met nogmaals 25 casussen en te worden nagegaan of dit een zgn (zogenaamde). ‘systematische’ of incidentele fout betreft. Zie tabel met mogelijke oplossingen/suggesties onder vraag 8 (Bijlage 1 Voorbeeldbevindingen interne validatie, actie en mogelijke oplossingen)

Geadviseerd wordt om jaarlijks interne validatie uit te voeren als onderdeel van het ‘onderhoudsplan’ behorend bij de uitvoering van de surveillance, of eerder als daar aanleiding voor is. Op dat moment kan worden nagegaan of er wijzigingen zijn in de selectie van indicatoroperaties, procedures of het klinische pad na een operatie. Indien er afwijkingen worden vastgesteld dient de interne validatie na drie maanden te worden herhaald, en kan aanlevering plaatsvinden wanneer een betrouwbare gegevensverzameling is vastgesteld.
De bevindingen van een interne validatie en eventuele aanpassingen dienen te worden vastgelegd in een logboek.

De mate van overeenstemming van de geregistreerde variabele door diverse disciplines in het EPD met de controle door de afdeling infectiepreventie (IP), kan worden uitgedrukt met behulp van de statische maat Cohen’s Kappa. Deze maat houdt rekening met de kans dat door toeval dezelfde waarde wordt gevonden. 
Kappa kan een waarde hebben tussen 0 en 1. Kappa is 0 als de overeenstemming niet beter is dan toeval. Kappa is 1 als er een perfecte overeenstemming is. Kappa groter dan 0,6 wordt als ‘goed’ beschouwd en groter dan 0,8 als ‘zeer goed’.
Voor de interne validatie binnen PREZIES (PREventie van ZIEkenhuisinfecties door Surveillance) zal de ondergrens van het 95% betrouwbaarheidsinterval (BI) van kappa boven de 0,6 moeten liggen. In dat geval kan men met goede statische zekerheid zeggen dat de kappa werkelijk hoger is dan 0,6 en de mate van overeenstemming dus goed is. Dit is met 25 casussen het geval bij maximaal één afwijking.
In onderstaand voorbeeld wordt de wondklasse bij sectio’s beoordeeld. Deze kan de waarde 1 of 2 hebben. Indien de wondklasse soms ook ‘Onbekend’ of een niet toegestane waarde is, moet(en) deze categorie(ën) ook meegenomen worden. In dit voorbeeld wordt uitgegaan van de waardes 1, 2 of Onbekend.

Berekening feitelijke overeenstemming: 

IP= afdeling infectiepreventie
Wondklasse; hier kan ook de ASA-klasse of operatieduur worden ingevuld

Berekening  overeenstemming o.b.v toeval, met randtotalen:
In woorden (onder de tabel in formulevorm):

• De kans dat er  een wondklasse 1 is geregistreerd in het EPD is 20/25 en de kans dat de afd. IP een wondklasse als 1 heeft beoordeeld = 21/25.
• De kans dat zowel in het EPD geregistreerd staat, als door de afd. IP beoordeeld is dat een operatie wondklasse 1 heeft, is dan 20/25*21/25 = 67,2%
• De kans dat in het EPD geregistreerd staat dat de wondklasse van deze operatie 2 is: 4/25,
  de kans dat de afd. IP beoordeelt dat de wondklasse van deze operatie 2 is: 3/25.
  De kans dat zowel in het EPD staat als door afd. IP beoordeeld is  dat de operatie wondklasse 2 heeft, is dan 4/25*3/25=1,92%
• De kans dat in het EPD geregistreerd staat dat de wondklasse van deze operatie Onbekend is: 1/25, 
  de kans dat de afd. IP beoordeelt dat de wondklasse van deze operatie Onbekend is: 1/25.
  De kans dat zowel in het EPD staat als door afd. IP beoordeeld is dat de operatie wondklasse Onbekend heeft, is dan 1/25*1/25=0,16%
  De overall kans op overeenstemming is dan 67,2% + 1,92% + 0,16% = 69,3%

Berekening van verwachte aantallen per categorie o.b.v. toevallige overeenstemming:

Feitelijke overeenstemming = ((a+d+i) / (a+b+c+d+e+f+g+h+i))*100% = 96,0%
Toevallige overeenstemming = ((k+o+s) / (k+l+m+n+o+p+q+r+s))*100% = 69,3%
Potentiële overeenstemming = 100%
Kappa =  (96,0-69,3) / (100-69,3) = 0,87 (95% BI 0,62 – 1,00)