Het doel van validatie is om inzicht te krijgen in de kwaliteit, volledigheid en betrouwbaarheid van het proces van gegevensverzameling over de in de surveillance opgenomen patiënten/ cliënten en hun eventuele zorginfectie (ZI (Zorginfectie)). De validatie kan leiden tot inzicht in verschillen in en problemen bij de interpretatie van het protocol en de te hanteren definities.
Doel van validatie
Het doel van validatie is om inzicht te krijgen in de kwaliteit, volledigheid en betrouwbaarheid van het proces van gegevensverzameling over de in de surveillance opgenomen patiënten en hun eventuele zorginfectie in zorginstellingen (ZI (Zorginfectie)). De validatie kan leiden tot inzicht in verschillen in en problemen bij de interpretatie van het protocol en de te hanteren definities. Er zijn twee soorten validaties, namelijk interne en externe validatie.
Uitvoeren van interne validatie van de PREZIES-surveillance
Interne validatie - (1) Waarom intern valideren?
Voor de surveillance worden uit diverse bronnen uit het ziekenhuisinformatiesysteem gegevens (variabelen) gehaald, die door diverse disciplines worden vastgesteld. Het is voor een goede interpretatie van de uiteindelijke surveillance resultaten van belang, dat de verschillende variabelen betrouwbaar en zoals beschreven in het protocol worden geregistreerd. Met het uitvoeren van interne validatie kan de afdeling Infectiepreventie (IP) controleren of de gegevens verzameling betrouwbaar is uitgevoerd.
2) Wat moet er bij de POWI module intern gevalideerd worden?
- de inclusie van initiële indicatoroperaties
- de wondklasse, ASA-klasse en operatieduur die samen de NNIS (National Nosocomial Infection Surveillance)-score vormen
Naast interne validatie op deze 4 variabelen dient elke vastgestelde POWI (Postoperatieve wondinfecties) te worden geverifieerd door een collega DI. Door dit zogenaamde 4-ogen beleid kan worden voorkomen dat op basis van onjuiste bevindingen een POWI wordt geregistreerd.
3) Wat moet er bij de Lijnsepsismodule intern gevalideerd worden?
- inclusie van de CVK (centraal veneuze katheter) of PICC (peripherally inserted central catheter) én soort lijn
- toepassing TPV (totaal parenterale voeding) voor de CVK of PICC
Ook hier geldt dat elke vastgestelde lijnsepsis geverifieerd wordt door een collega DI. Door dit zogenaamde 4-ogen beleid kan worden voorkomen dat op basis van onjuiste bevindingen een Lijnsepsis wordt geregistreerd.
4) Hoe dient interne validatie te worden uitgevoerd?
POWI (Postoperatieve wondinfecties): Jaarlijks dient een steekproef van 25 casussen per specialisme te worden genomen en te worden gecontroleerd of bovengenoemde 4 variabelen juist zijn geregistreerd. Om de interne validatie praktisch uitvoerbaar te houden is voor dit aantal casussen gekozen.
Het is hierbij wel van belang dat de verschillende waardes van een wondklasse en ASA-klasse aan bod komen. Het kan nl. zijn dat een systematische afwijking alleen optreedt bij één bepaalde, niet vaak voorkomende waarde van een variabele.
- selecteer uit het interne databestand van het ziekenhuis (exportfile, excel bestand etc) 25 casussen per specialisme.
- controleer of de verschillende waardes van bijv ASA-klasse vertegenwoordigd zijn in de steekproef, idem met wondklasse.
- als niet alle verschillende waardes in de steekproef voorkomen, dient deze te worden aangevuld tot er minstens één casus voor elke waarde van wondklasse en ASA-klasse in de steekproef zit.
Lijnsepsis: : Jaarlijks dient een steekproef van 25 casussen te worden genomen en te worden gecontroleerd of de soort lijn en toepassing van de CVK (centraal veneuze katheter) of PICC (peripherally inserted central catheter) juist is geregistreerd.
5) Hoe moet het resultaat van interne validatie worden geïnterpreteerd?
Per variabele mag in de 25 casussen slecht 1 maal een afwijkende waarde worden vastgesteld. Zo kan met voldoende statistisch onderbouwde betrouwbaarheid vastgesteld worden dat gegevens betrouwbaar zijn vastgesteld en bij het valideren niet op basis van toeval een goede overeenkomst wordt gevonden. Voor het bepalen van deze statistische betrouwbaarheid is gebruik gemaakt van de statische maat Cohen’s Kappa (voor geïnteresseerden: zie toelichting onder vraag 7 (Achtergrondinformatie over de mate van overeenstemming)).
Indien er meer dan 1 afwijking wordt vastgesteld dient de steekproef te worden vergroot met nogmaals 25 casussen en te worden nagegaan of dit een zgn (zogenaamde). ‘systematische’ of incidentele fout betreft. Zie tabel met mogelijke oplossingen/suggesties onder vraag 8 (Bijlage 1 Voorbeeldbevindingen interne validatie, actie en mogelijke oplossingen)
6) Hoe frequent moet interne validatie worden uitgevoerd?
Geadviseerd wordt om jaarlijks interne validatie uit te voeren als onderdeel van het ‘onderhoudsplan’ behorend bij de uitvoering van de surveillance, of eerder als daar aanleiding voor is. Op dat moment kan worden nagegaan of er wijzigingen zijn in de selectie van indicatoroperaties, procedures of het klinische pad na een operatie. Indien er afwijkingen worden vastgesteld dient de interne validatie na drie maanden te worden herhaald, en kan aanlevering plaatsvinden wanneer een betrouwbare gegevensverzameling is vastgesteld.
De bevindingen van een interne validatie en eventuele aanpassingen dienen te worden vastgelegd in een logboek.
7) Achtergrondinformatie over de mate van overeenstemming
De mate van overeenstemming van de geregistreerde variabele door diverse disciplines in het EPD met de controle door de afdeling infectiepreventie (IP), kan worden uitgedrukt met behulp van de statische maat Cohen’s Kappa. Deze maat houdt rekening met de kans dat door toeval dezelfde waarde wordt gevonden.
Kappa kan een waarde hebben tussen 0 en 1. Kappa is 0 als de overeenstemming niet beter is dan toeval. Kappa is 1 als er een perfecte overeenstemming is. Kappa groter dan 0,6 wordt als ‘goed’ beschouwd en groter dan 0,8 als ‘zeer goed’.
Voor de interne validatie binnen PREZIES (PREventie van ZIEkenhuisinfecties door Surveillance) zal de ondergrens van het 95% betrouwbaarheidsinterval (BI) van kappa boven de 0,6 moeten liggen. In dat geval kan men met goede statische zekerheid zeggen dat de kappa werkelijk hoger is dan 0,6 en de mate van overeenstemming dus goed is. Dit is met 25 casussen het geval bij maximaal één afwijking.
In onderstaand voorbeeld wordt de wondklasse bij sectio’s beoordeeld. Deze kan de waarde 1 of 2 hebben. Indien de wondklasse soms ook ‘Onbekend’ of een niet toegestane waarde is, moet(en) deze categorie(ën) ook meegenomen worden. In dit voorbeeld wordt uitgegaan van de waardes 1, 2 of Onbekend.
Berekening feitelijke overeenstemming:
IP= afdeling infectiepreventie
Wondklasse; hier kan ook de ASA-klasse of operatieduur worden ingevuld
Berekening overeenstemming o.b.v toeval, met randtotalen:
In woorden (onder de tabel in formulevorm):
- De kans dat er een wondklasse 1 is geregistreerd in het EPD (Elektronisch patiëntendossier ) is 20/25 en de kans dat de afd. IP een wondklasse als 1 heeft beoordeeld = 21/25.
- De kans dat zowel in het EPD geregistreerd staat, als door de afd. IP beoordeeld is dat een operatie wondklasse 1 heeft, is dan 20/25*21/25 = 67,2%
- De kans dat in het EPD geregistreerd staat dat de wondklasse van deze operatie 2 is: 4/25,
de kans dat de afd. IP beoordeelt dat de wondklasse van deze operatie 2 is: 3/25.
De kans dat zowel in het EPD staat als door afd. IP beoordeeld is dat de operatie wondklasse 2 heeft, is dan 4/25*3/25=1,92% - De kans dat in het EPD geregistreerd staat dat de wondklasse van deze operatie Onbekend is: 1/25,
de kans dat de afd. IP beoordeelt dat de wondklasse van deze operatie Onbekend is: 1/25.
De kans dat zowel in het EPD staat als door afd. IP beoordeeld is dat de operatie wondklasse Onbekend heeft, is dan 1/25*1/25=0,16%
De overall kans op overeenstemming is dan 67,2% + 1,92% + 0,16% = 69,3%
Berekening van verwachte aantallen per categorie o.b.v. toevallige overeenstemming:
Feitelijke overeenstemming = ((a+d+i) / (a+b+c+d+e+f+g+h+i))*100% = 96,0%
Toevallige overeenstemming = ((k+o+s) / (k+l+m+n+o+p+q+r+s))*100% = 69,3%
Potentiële overeenstemming = 100%
Kappa = (96,0-69,3) / (100-69,3) = 0,87 (95% BI 0,62 – 1,00)
Literatuur: Interne validatie binnen het PREZIES netwerk, THIP 2004, 23(5):118-119
Bijlage 1 Voorbeeldbevindingen interne validatie, actie en mogelijke oplossingen
|
Bevinding
|
Actie en mogelijke oplossing
|
|
|
Inclusie indicatoroperatie |
Operatie is geen initiële operatie maar een revisie. |
Nagaan of er wijzigingen zijn in de codering van operaties waarop de selectie wordt uitgevoerd (OK) Nagaan of er wijzigingen zijn in de klinische praktijk (specialist) Nagaan of dit een incidentele fout betreft Indien nodig: Selectie op basis van lokaal gehanteerde codering aanpassen. |
|
ASA-klasse |
Afwijkende of onmogelijke ASA-klasse ingevuld (bijv. ASA-klasse 1 bij sectio) |
Nagaan bij de anesthesie of er wijzigingen zijn in de vaststelling van ASA-klasse Indien nodig: in overleg met anesthesie de ASA-classificatie vaststellen. |
|
Wondklasse |
Afwijkende of onmogelijke wondklasse ingevuld (bijv. wondklasse 1 bij colonchirurgie, of altijd wk 2 bij chirurgie) |
Nagaan of er wijzigingen zijn bij het programma waar de wondklasse wordt vastgelegd (bijv. default op wk 1) |
|
Operatieduur |
Afwijkende operatieduur (bijv. hoger dan de P75 uit de PREZIES (PREventie van ZIEkenhuisinfecties door Surveillance) referentiecijfers) |
Nagaan of er wijzigingen zijn bij het operatieprogramma waar de operatieduur wordt vastgelegd. Hanteert men de juiste definitie van operatieduur? De operatieduur is gedefinieerd als de tijd tussen het moment van incisie tot het sluiten van de wond |
|
|
|
|
|
Inclusie CVK (centraal veneuze katheter)/ PICC (peripherally inserted central catheter) |
Niet alle CVK/PICCs worden geïncludeerd |
Nagaan of er wijzigingen zijn in de plaatsen waar de katheters worden ingebracht Nagaan of de procedure van vastleggen in het EPD (Elektronisch patiëntendossier ) is gewijzigd |
|
Toepassing |
Afwijkende toepassing |
Nagaan of de registratie van toepassing op een juiste wijze wordt uitgevoerd en/of wordt geëxtraheerd uit het EPD |
Externe validatie door PREZIES (PREventie van ZIEkenhuisinfecties door Surveillance)
Externe validatie van de landelijke surveillance van ZI (Zorginfectie) binnen het PREZIES netwerk geldt als verplicht onderdeel bij deelname aan één of meerdere modules van het netwerk en wordt van kracht na ondertekening van het aanmeldingsformulier. De verplichting tot validatie geldt tot twee jaar na afloop van het jaar waarin de patiënten geïncludeerd zijn.
De externe validatie bestaat uit een jaarlijkse datavalidatie uitgevoerd op alle modules van alle zorginstellingen (ZI). Bij datavalidatie vindt beoordeling plaats van data uit de PREZIES databank op de registratie van: 1) risicofactoren, 2) patiëntgebonden factoren en 3) zorginfecties en daarbij worden data van de ZI vergeleken met landelijke gegevens. Afhankelijk van de bevindingen zal er 1) geen actie worden ondernomen, 2) contact worden gezocht met de ZI voor nadere informatie, overleg of 3) de ZI wordt uitgenodigd voor een extern validatiebezoek door PREZIES.
Het uiteindelijke doel is het bewaken van de kwaliteit van de gegevens in de PREZIES-databank, zodat de referentiecijfers betrouwbaar zijn.
Datavalidatie
Jaarlijks zal door het PREZIES-team een datavalidatie worden uitgevoerd op alle modules van alle ZI. Bij datavalidatie vindt beoordeling plaats van data uit de PREZIES databank op de registratie van: 1) risicofactoren, 2) patiëntgebonden factoren en 3) zorginfecties en daarbij worden data van de ZI vergeleken met de landelijke gegevens. Afhankelijk van de bevindingen zal er 1) geen actie worden ondernomen, 2) contact worden gezocht met de ZI voor nadere informatie, overleg of 3) de ZI wordt uitgenodigd voor een extern validatiebezoek door PREZIES.
Validatiebezoek
Het doel van een validatiebezoek door een PREZIES validatieteam in een ZI is enerzijds het verkrijgen van inzicht in de kwaliteit van het proces van gegevensverzameling en anderzijds het verkrijgen van inzicht in de inbedding van de surveillance als kwaliteitssysteem ter preventie van zorginfecties. Op basis van de bevindingen worden aanbevelingen gedaan om de uitvoering van de surveillance en het gebruik van de data ter preventie van zorginfecties te optimaliseren. Daarnaast kunnen tijdens het validatiebezoek specifieke problemen met betrekking tot de surveillance met het validatieteam worden besproken. Tijdens het validatiebezoek vindt een proces- en uitkomstvalidatie plaats. De procesvalidatie geeft inzicht in de kwaliteit (volledigheid en betrouwbaarheid) van het proces van gegevensverzameling over de in de surveillance opgenomen patiënten en hun eventuele zorginfectie. De uitkomstvalidatie heeft als doel de vergelijkbaarheid en betrouwbaarheid van het toepassen van het protocol en de definities te beoordelen.
Het validatiebezoek wordt uitgevoerd door een validatieteam, bestaande uit minimaal twee leden, waarvan tenminste één lid van het PREZIES team. Het tweede lid van het validatieteam is een voor de surveillance verantwoordelijke medewerker, of deskundige infectiepreventie met minimaal één jaar ervaring met surveillance uit een andere ZI, bij wie reeds een validatiebezoek heeft plaatsgevonden, of een tweede lid van het PREZIES team. Een validatiebezoek duurt een hele dag. Alle verkregen informatie wordt vertrouwelijk behandeld en zal vernietigd worden na afronding van de validatie.
Werkwijze validatiebezoek
Indien na datavalidatie of uit de steekproef tot een extern validatiebezoek wordt besloten, ontvangt de contactpersoon van de ZI een uitnodiging. Het validatiebezoek wordt uitgevoerd door een teamlid van PREZIES en een voor de surveillance verantwoordelijke medewerker uit een eerder gevalideerde zorginstelling of een tweede lid van het PREZIES-team. De ZI dient een Plan van Aanpak of procedurebeschrijving van de surveillance uiterlijk drie weken van te voren aan het secretariaat PREZIES toe te sturen. Tijdens het bezoek kan de uitvoering van de surveillance mondeling worden toegelicht. Op basis van een pre-validatieverslag (samenvatting/overzicht van de door de zorginstelling ingezonden data) en de checklist externe validatie (checklist: POWI, Lijnsepsis, Prevalentieonderzoek) zal nader worden ingegaan op de specifieke procesonderdelen.
Om inzicht te krijgen in het gebruik van de criteria wil het validatieteam een aantal casussen beoordelen:
| POWI (Postoperatieve wondinfecties) | Lijnsepsis | Prevalentieonderzoek |
|---|---|---|
|
De (meest recent) afgeronde casussen met een POWI (tot een maximum van 12); |
De (meest recent) afgeronde patiëntencasussen met een lijnsepsis (tot een maximum van 7 patiënten, met eventueel meerdere CVKs); |
15 casussen van patiënten behorend tot onderstaand specialisme of afdeling (per aanwezig specialisme zo mogelijk 2 à 3 casussen):
|
|
De meest recent afgeronde casussen zonder POWI (het aantal casussen met een POWI aanvullen tot een totaal van 25 casussen); |
De meest recent afgeronde patiëntencasussen zonder lijnsepsis (het aantal casussen met een lijnsepsis aanvullen tot een totaal van 15 patiënten); |
5 casussen van patiënten met een ziekenhuisinfectie uit de volgende categorieën:
|
|
Het heeft de voorkeur om de casussen te verdelen over alle specialismen (ingrepen) die in de PREZIES surveillance worden opgenomen. |
Tevens is er de mogelijkheid om maximaal 3 arbitraire situaties voor te leggen; |
Tevens is er de mogelijkheid om maximaal 2 arbitraire situaties voor te leggen. |
|
Tevens is er de mogelijkheid om maximaal 5 arbitraire situaties voor te leggen. |
Tevens dient het volgende per patiëntencasus aangegeven te worden: het aantal CVKs dat in de registratie is opgenomen en de data van inbrengen en verwijderen van de CVKs; |
Tevens dient het volgende per patiëntencasus aangegeven te worden: het specialisme, datum van opname en eventuele operatiedatum en de datum waarop deze patiëntencasus is beoordeeld in het prevalentieonderzoek. |
Voor de beoordelingen van de casussen moeten zowel de bevindingen van de klinische periode als poliklinische periode beschikbaar zijn. Indien informatie beschikbaar is in het elektronisch Ziekenhuis Informatie Systeem, dient voor beide validatieteamleden toegang te zijn geregeld.
Toegang tot patiëntengegevens
Op basis van de Wet geneeskundige behandelingsovereenkomst (WBGO (Wet geneeskundige behandelingsovereenkomst)) stellen ZI voorwaarden aan het mogen inzien van patiëntengegevens bij validatiebezoek. Het inzien van patiëntengegevens in het kader van kwaliteitsbewaking en –bevordering door de leden van een validatieteam is toegestaan op basis van de WGBO (Wet geneeskundige behandelingsovereenkomst) op voorwaarde dat patiënten daarover in algemene zin zijn geïnformeerd (bijvoorbeeld d.m.v. een passage in de algemene patiëntenbrochure van de ZI) en dat de ZI de mogelijkheid biedt voor patiënten om daar bezwaar tegen aan te tekenen. Het is niet nodig patiënten individueel toestemming te vragen. Het is aan de ZI om de voorwaarden aan te geven waar de leden van een validatieteam aan gehouden zijn wanneer zij patiëntengegevens inzien. Sommige ZI willen de voorwaarden in een getekende overeenkomst vastleggen. PREZIES heeft in overleg met de Privacywerkgroep een voorbeeld overeenkomst opgesteld die een ZI hiervoor zou kunnen gebruiken.
Praktische informatie over een validatiebezoek
In overleg met de voor de surveillance verantwoordelijke medewerker wordt een datum gepland voor het validatiebezoek. Tevens wordt gevraagd om de voor de procesvalidatie relevante stukken op voorhand aan het validatieteam toe te zenden. Tijdens het validatiebezoek wordt gevraagd de uitvoering van de surveillance mondeling toe te lichten. Aan de hand van de checklist externe validatie per surveillancemodule zal nader worden ingegaan op de specifieke procesonderdelen.
Om inzicht te krijgen in het gebruik van het protocol en definities beoordeelt het validatieteam d.m.v. een steekproef een aantal casussen. Eventuele discrepanties tussen de bevindingen van de voor de surveillance verantwoordelijke medewerker en het validatieteam worden besproken.
Beoordeling validatiebezoek
Na beoordeling van de casussen door het validatieteam vindt een bespreking plaats met de voor de surveillance verantwoordelijke persoon, waarin per casus wordt besproken op basis van welke gegevens men al dan niet een POWI heeft vastgesteld. Tevens wordt de uitvoering van de surveillance besproken. Aan de hand van de bevindingen tijdens het bezoek wordt een eindconclusie geformuleerd waarin de beoordeling ‘voldoende/onvoldoende’ wordt gegeven. Het validatieverslag volgt binnen enkele weken na het validatiebezoek. Bij een voldoende beoordeling van de uitvoering van de surveillance zullen data van de ZI jaarlijks worden beoordeeld in de datavalidatie. Bij een onvoldoende beoordeling wordt besproken of de data alsnog geschikt gemaakt kunnen worden. Indien dit het geval is, dan dienen de data te worden aangepast en vervolgens kunnen ze opnieuw worden opgenomen in de databank. Indien aanpassing niet mogelijk is, dan worden de data uit de databank verwijderd. Bij drie achtereenvolgende onvoldoende beoordelingen wordt deelname aan PREZIES opgeschort voor een periode van twee jaar.