BETROUWBAARHEID VAN RI&E-GEGEVENS 

Een van de criteria waar een RI&E aan moet voldoen is ‘betrouwbaarheid’. Een betrouwbare RI&E betekent dat de gepresenteerde gegevens een correct beeld geven van de gevaren en risico’s op de werkplek.  

In veel RI&E-rapportages wordt nauwelijks op de betrouwbaarheid van de verkregen gegevens ingegaan. Vaak wordt vermeld dat met enkele medewerkers is gesproken, niet wordt aangegeven met hoeveel en of met sommige sleutelfiguren interviews zijn gehouden. Zelden wordt er ingegaan op de grootte van de respons op een enquête in relatie tot het totale aantal medewerkers en of deze de respons voldoende groot is om daar significante betrouwbare conclusies uit te trekken.  

Dit artikel bespreekt hoe betrouwbaarheid van een RI&E kan worden gewaarborgd en welke methoden kunnen worden ingezet om deze betrouwbaarheid te waarborgen. 

Wat is betrouwbaarheid binnen de RI&E?  
Betrouwbaarheid binnen een RI&E betekent dat de resultaten een juist en representatief beeld geven van de werkelijke arbeidsomstandigheden. Om dit te bereiken moeten zowel metingen van objectieve feiten als metingen van subjectieve waardes worden ingezet. Metingen van objectieve feiten richten zich op de niet-persoonlijke belevingen van arbeidsbelastende factoren. Metingen van subjectieve waardes hebben betrekking op de persoonlijke belevingen van arbeidsbelastende factoren.  

Objectieve feiten: niet-persoonlijke belevingen van arbeidsbelastende factoren
Bij het uitvoeren van een RI&E kunnen veel zaken geconstateerd worden door op de locatie rond te lopen en te kijken naar zaken als de brandveiligheid van het gebouw, de vluchtwegen, het aantal blusmiddelen, de machineveiligheid, de ruimteventilatie en plaatselijke ventilatievoorzieningen. Ook worden dan de werkzaamheden geobserveerd: hoe werknemers met machines werken, hoe ze achter hun beeldschermen zitten, of men de juiste persoonlijke beschermingsmiddelen draagt, enz. Bij bepaalde arbeidsbelastende werkzaamheden kunnen metingen worden gedaan, zoals naar de blootstelling aan geluid, trillingen, gevaarlijke stoffen, biologische agentia, EM-velden e.d. Met behulp van bepaalde methodes kan objectief de fysieke belasting in kaart worden gebracht van de werkzaamheden. 

Bij het uitvoeren van deze metingen is het belangrijk dat goed gekalibreerde meetapparatuur wordt gebruikt en dat de onnauwkeurigheid (spreiding) van de meetresultaten wordt aangegeven. 

Subjectieve waardes: persoonlijke belevingen van arbeidsbelastende factoren
Bovenbeschreven observatie- en meetmethodes kunnen niet worden gebruikt voor arbeidsbelastende factoren die van de persoonlijke beleving van de medewerkers afhangen, dus om de risicoperceptie van zaken bij medewerkers in kaart te brengen.  

Dit betreft niet alleen de psychosociale arbeidsbelastingsonderwerpen zoals werkdruk, de balans werk en privé, taakeisen/energiebronnen en ongewenst gedrag. Het betreft ook zaken als de mate waarin zij vinden voldoende over de risico’s in hun werk te zijn voorgelicht, de stijl van leidinggeven, de beleving van het binnenklimaat, de ervaren geluidshinder, de begeleiding bij ziekte, ontplooiingsmogelijkheden, de bekendheid met meldingsprocedures voor ongevallen of ongewenst gedrag, alarmeringsregelingen, het arbobeleid en of arbozaken in het werkoverleg en tijdens functioneringsgesprekken voldoende aan de orde komen. 

Werkwijzen voor het meten van subjectieve waardes
Om de persoonsgebonden belevingen in kaart te brengen, worden vaak gesprekken/interviews gehouden, of worden enquêtes afgenomen. Bij het houden van gesprekken kunnen medewerkers bevraagd worden naar hun beleving van genoemde arbeidsbelastende factoren. Dit geeft niet altijd een goed beeld omdat sommige medewerkers in gesprekken niet alles durven te zeggen, ook niet tegen externen. Denk aan zaken als pesten en intimidatie. Mensen schamen zich daar vaak voor.  

Anonieme enquêtes bieden in dat geval vaak een veiliger alternatief. In de veiligheid van die anonimiteit van vragenlijsten (enquêtes) zullen zij zich wel meer durven te uiten over het ervaren van ongewenst gedrag en werkdruk dan via gesprekken en interviews. De vragenlijsten moeten dan natuurlijk wel door elke medewerker zelf worden ingevuld, het gaat immers om hun persoonlijke beleving van genoemde factoren. De werkbelevingen verschillen immers van persoon tot persoon. 

Een vragenlijst over werkbeleving die slechts door een medewerker op centraal niveau namens de hele groep wordt ingevuld (een P&O-medewerker, een preventiemedewerker, de KAM-functionaris, de manager zelf of een ander), is niet representatief voor de beleving over dit onderwerp van de individuele medewerkers en heeft daarom niet veel betekenis. Sommige branche-RI&E’s werken echter wel zo (de one-user-instrumenten). Daarmee wordt dan dus niet aan het criterium ‘betrouwbaarheid’ voldaan. 

Worstelingen en onjuiste richtlijnen
In de praktijk wordt er vaak geworsteld met de betrouwbaarheid van de verkregen resultaten. In veel RI&E-rapporten wordt nauwelijks op de betrouwbaarheid ingegaan. Allerlei getallen over de minimum respons op de enquête worden geroepen. Vaak zonder enige onderbouwing. Markant is de opvatting van de Nederlandse Arbeidsinspectie (NLA) hierin die bij herhaling stelt dat een responspercentage van 50% vereist is: 

• In de Zelfinspectietool ten behoeve van PSA stelt de NLA dat minstens de helft van de medewerkers moet hebben meegedaan aan het PSA-onderzoek.
• In de NLA Werkinstructie ‘Werkstress door werkdruk voorkomen en beperken’ staat als vereiste: ‘Het aantal werknemers dat heeft meegewerkt aan het werkstress onderzoek voor de RI&E is representatief (meer dan 50% respons en /of respons aangevuld middels interviews).’
• In de BIM (Basisinspectiemethode Werkstress door werkdruk staat): ‘Als een vragenlijst alleen wordt gebruikt om informatie over werkdruk te verzamelen, moet deze zijn ingevuld en ingeleverd door minstens de helft van de bevraagde medewerkers.’ 

Met deze statements wordt volledig voorbijgegaan aan het statistische uitgangspunt dat hoe groter de populatie waaronder de enquête wordt uitgezet, des te kleiner het responspercentage hoeft te zijn om met eenzelfde betrouwbaarheid iets over de resultaten te kunnen zeggen. Dus de genoemde 50% heeft geen enkele basis. Bij kleinere afdelingen is een hoger responspercentage nodig, bij grotere afdelingen is een veel kleiner responspercentage voldoende. Het simpelweg hanteren van een vaste responsdrempel, zoals 50%, is niet correct en kan leiden tot misleidende conclusies. 

De enquêtes moeten uiteraard onder een vertegenwoordiging (representatieve dwarsdoorsnede) van alle functiegroepen in de organisatie worden gehouden: de medewerkers op de werkvloer, de stafafdelingen, het management, enz. Als bij kleinere afdelingen de resultaten herleidbaar zijn op de individuele medewerkers, kan dit worden voorkomen door de respons van verschillende (kleinere) afdelingen bij elkaar op te tellen in een totaalscore. 

Hoe groot moet de respons zijn om betrouwbare conclusies te trekken?
In de wetenschap wordt vaak een betrouwbaarheid van 95% aangehouden. In de veiligheidskunde/arbeidshygiëne hoeft zo’n hoge betrouwbaarheid niet. In de NEN-EN 689 voor blootstellingsmetingen aan gevaarlijke stoffen is gekozen voor een 70% betrouwbaarheid. 

In onderstaande tabel staan de vereiste aantal respondenten aangegeven bij een eis van 95% en een eis van 70% betrouwbaarheid bij verschillende groepsgroottes (berekend met de steekproefcalculator; zie onder). 

Duidelijk blijkt uit de getallen dat bij de eis van 70% betrouwbaarheid veel kleinere aantallen respondenten nodig zijn dan bij 95% om met eenzelfde betrouwbaarheid de resultaten te kunnen duiden. Het is dus belangrijk om bij het bepalen van de vereiste respons te kijken naar de gewenste betrouwbaarheid en de grootte van de populatie. 

Bij deze beoordeling moet ook gekeken worden naar de samenstelling van de populatie: Bijvoorbeeld kantoorpersoneel versus productiepersoneel. Voor beide doelgroepen geldt de eis van 70% betrouwbaarheid en niet alleen voor het totaal, omdat bij een ongelijke verhouding in die twee deelpopulaties anders nog geen goed betrouwbaar beeld ontstaat.  

Een praktijkvoorbeeld
In de praktijk komt het regelmatig voor dat het aantal respondenten niet toereikend is om betrouwbare conclusies te trekken. Stel, binnen een organisatie met 37 medewerkers hebben slechts 9 medewerkers de vragenlijst ingevuld. Bij 37 medewerkers is echter een aantal van 28 respondenten vereist om een betrouwbaarheid van 70% aan de enquêteresultaten toe te kennen. Duidelijk is dat de huidige respons van 9 daarbij ver achterblijft. De betrouwbaarheid is nu slechts 25%. Feitelijk kan dus niet veel waarde aan deze respons worden toegekend.  

Een juiste werkwijze is om in zo’n situatie de resultaten van de enquête achterwege te laten in de RI&E-rapportage. Immers als deze wél worden gepresenteerd, kan de lezer daarmee op het verkeerde been worden gezet omdat de betrouwbaarheid van de enquête te gering is. 

Interessanter dan het presenteren van deze gegevens is om na te gaan waarom de respons zo laag was: is men enquête-moe, heeft men niet meegedaan omdat men vanuit het verleden de ervaring heeft dat er toch niets met de resultaten gebeurt, waren de enquêtevragen onvoldoende of niet toegespitst op de werksituaties, was de enquête zeer gebruiksonvriendelijk opgezet, was de vragenlijst op papier/online, bestond de mogelijkheid voor de medewerkers vragen te stellen ter voor verduidelijking, is rekening gehouden met anderstaligen, digibeten, laaggeletterden in werknemerspopulatie? Is het moment van de enquête wel geschikt (zoals niet in de drukste periode of tijdens reorganisatie)? Dit soort vervolgonderzoek kan waardevolle inzichten bieden voor verbetering. 

Een vervolg kan wel zijn het een en ander tijdens het werkoverleg te bepreken. 

Hoe is de betrouwbaarheid van de respons te bepalen? 

De betrouwbaarheid van de respons kan worden berekend met behulp van een steekproefcalculator.  

Twee voorbeelden: 

Een minimale respons van 28 is nodig bij een totale populatiegrootte van 37 om met 70% betrouwbaarheid iets over de resultaten te kunnen zeggen. Dus 28 van de 37 = 76%. 

• Foutenmarge 5%
• Betrouwbaarheidsniveau 70%
• Grootte onderzoekspopulatie: 37
• Mate van spreiding: 50%
• Gewenste steekproef: 34 

Bij een veel grotere populatie, bijvoorbeeld 370 medewerkers is de vereiste minimale respons 84 om met eenzelfde betrouwbaarheid van 70% iets over de resultaten te kunnen zeggen. Dus 84 van de 370 = 22,7% 

Als de grootte van de populatie 370 is, geldt: 

• Foutenmarge 5%
• Betrouwbaarheidsniveau 70%
• Grootte onderzoekspopulatie: 370
• Mate van spreiding: 50%
• Gewenste steekproef: 84 

Verificatiestap
Soms wordt daarna nog een extra stap gezet: ‘verifiëren van de betrouwbaarheid van de respons’. Dit kan door tijdens de rondgang at random verschillende medewerkers te vragen of zij wel of niet aan de enquête hebben meegedaan en vervolgens te achterhalen waarom die medewerkers de vragenlijst niet hebben ingevuld.  

Ook kan ervoor gekozen worden tijdens het werkbezoek een groepsgesprek te houden met medewerkers en met hen de resultaten van de enquête door te spreken. 

Deze verificatie is wel van belang omdat het kan zijn dat juist de ontevreden medewerkers de enquête hebben ingevuld, terwijl de tevreden medewerkers achterwege zijn gebleven. Dan zou de enquête onterecht een negatief beeld geven. 

Aan de andere kant kan het ook wel eens zo zijn dat medewerkers wel erg ontevreden zijn maar de enquête toch niet hebben ingevuld omdat zij eerder ervaren hebben (althans in hun beleving) dat er toch niets met de resultaten van de enquête wordt gedaan. 

Als wordt gekozen voor interviews, hoeveel medewerkers moeten dan geïnterviewd worden? 
Anders dan bij enquêtes kan men bij het houden van interviews gaandeweg het traject bijsturen. Als bij de interviews (onder genoemde representatieve dwarsdoorsnede van de organisatie) blijkt dat er geen nieuwe gegevens worden genoemd, kan men eerder stoppen en dus het aantal interviews beperken. Wel geldt zoals eerder gesteld het mogelijke nadeel dat niet alle medewerkers in interviews het achterste van hun tong laten zien. Bovendien geldt dat het afnemen van interviews veel meer tijd kan vragen dan het houden van een enquête. 

Bij het houden van interviews met werknemers moet ook gekeken worden of een juiste doorsnede van de populatie genomen is, zoals willekeurige selectie van deelnemers aan het interview, blind geselecteerd door de onderzoeker en niet gekozen door de leidinggevende. 

Voordelen van het houden van interviews zijn onder andere:  

• het verkrijgen van meer kwalitatieve informatie;
• de mogelijkheid om de diepte in te gaan en zo meer te weten te komen over de achterliggende oorzaken van de aangegeven knelpunten;
• ideeën over oplossingsrichtingen komen al naar voren. 

Deze benadering kan overigens ook gevolgd worden bij het brengen van locatiebezoeken. In een groot kantoor hoeven niet alle werkruimtes bekeken te worden. Als tijdens de bezoeken aan de verschillende kantoorruimtes blijkt dat telkens dezelfde zaken worden geconstateerd, dan kunnen daarna ruimtes worden overgeslagen. Dit kan ook breder worden getrokken, bijvoorbeeld naar filialen van bankgebouwen, winkelketens e.d. 

Validiteit
Naast betrouwbaarheid is validiteit essentieel. Een valide methode meet precies wat bedoeld is. Valide vragen zorgen ervoor dat de uitkomsten inzicht bieden in de werkelijke risico’s. Als een vragenlijst niet de juiste vragen bevat, geeft dat ook geen goed beeld van de situatie. Betrouwbaarheid en validiteit gaan hand in hand. Alleen door representatief te meten en valide vragen te stellen, kan een goed beeld van de situatie worden verkregen. 

Zowel de betrouwbaarheid als de validiteit zijn achteraf te meten door van alle antwoorden op de vragenlijst de cronbach’s alpha en een factoranalyse te maken met een statistisch computerprogramma als SPSS. 

Conclusie 
Betrouwbaarheid is essentieel om met een RI&E een waardevolle diagnose van de arbeidsbelastende factoren te verkrijgen. Zowel metingen van objectieve feiten als van subjectieve belevingen moeten met zorg worden uitgevoerd en de verkregen resultaten moeten zorgvuldig worden geanalyseerd. Het hanteren van representatieve steekproeven, kritische evaluatie van de respons en het vermijden van misleidende rapportages dragen allemaal bij aan het verkrijgen van een betrouwbare RI&E die de werkelijke gevaren en risico’s binnen een organisatie weergeeft. 

Met dit artikel wordt een pleidooi gehouden om in de RI&E veel beter rekening te gaan houden met de betrouwbaarheid van de verkregen resultaten. Dat betekent dat soms ook duidelijk gesteld moet worden dat de enquête op basis van een te lage respons geen betrouwbaar beeld gegeven heeft van de arbeidsbelastende factoren en dat die gegevens dan ook niet in de RI&E worden opgenomen (of wél maar dan alleen als indicatie die nader geverifieerd moet worden). Op een andere wijze zal dan vervolgonderzoek naar de persoonlijke belevingen van betreffende arbeidsbelastende factoren moeten worden gedaan.