De afgelopen vijftien jaar mocht ik redelijk vaak meekijken achter de schermen in de publieke en maatschappelijke sectoren. De vijftien jaar daarvoor vooral in de commerciële wereld. Vijftien jaar geleden was het verschil tussen deze werelden nog groot. Met name als het ging om ‘meten is weten’. In het publieke en maatschappelijk domein, en zeker ook in de zorg, waren metingen en indicatoren schaars en nauwelijks van invloed op de echte gang van zaken. Maar kun je kwaliteit in het sociaal domein eigenlijk wel meten?
In het kielzog van voortschrijdende automatisering en informatisering kwam er ongeveer tien jaar geleden een beweging op gang waarin cijfers en metingen belangrijker werden. Naast marktwerking (business case, omzet) werden begrippen als productie en prestaties onderdeel van het gesprek. Het begrip KPI (Key Performance Indicator) is wellicht het meest tot de verbeelding sprekende voorbeeld van het gebruik van termen uit het bedrijfsleven in de ‘zachtere’ sectoren.
Het is af en toe wel hilarisch om de gevolgen daarvan te zien. Om te beginnen blijft het vaak stil als de vraag wordt gesteld wat een indicator is, wat deze zegt over performance en waarom die dan key is. Sterker nog, iedereen weet dat het sociaal domein veel meer is dan productie en prestatie. De maatschappij – en ook het deel dat we (onterecht) het sociaal domein noemen – is immers geen fabriek.
Terug naar de kern. In de wereld van fabricage zijn KPI’s er om de duizenden meetbare zaken aan een productieproces terug te brengen tot een beperkt aantal zinvolle en krachtige indicatoren. Dit om de productie goed te laten lopen. Om te beginnen: de indicator moet iets zeggen over de performance. Neem de productietijd: de hoeveelheid tijd die het kost om een auto van begin tot eind in elkaar te zetten. Dat is bijvoorbeeld 14 uur. Maar dat is nog geen indicator voor de prestatie. Want als die auto het niet doet of snel kapot gaat, heb je een probleem. Daarom is er aan het einde van de lopende band een kwaliteitscontrole (check of alles werkt, een paar kilometer proefrijden, enzovoorts).
Een performance indicator van de fabriek is dus eerder iets als ‘aantal fouten per uur productietijd’. Stel dat dat er 21 zijn, dan is de PI ‘fouten per uur’ dus 21/14 = 1.5. Als de fabriek dan sneller gaat werken, maar 7 uur doet over de productie en 42 fouten maakt, wordt de PI 42/7 = 6. Vier keer zo hoog. En als het productieproces wordt aangepast en het aantal fouten omlaag gaat naar 14, maar de productie duurt 16 uur, dan wordt het 14/16 = 1.14.
Dat is nog steeds geen eenvoudig te gebruiken getal. Dat komt omdat de factor ‘geld’ ontbreekt. Als een uur productie 500 euro kost en het herstellen van een fout 100 euro, dan wordt het een ander verhaal.
14 uur maal €500 + 21 maal €100 = €9.100.
7 uur maal €500 + 42 maal €100 = €7.700.
16 uur maal €500 + 14 maal €100 = €9.400.
We zien dat sneller produceren en meer fouten herstellen het goedkoopste is. En dat iets beter werken in iets meer tijd ook meer geld kost. Hier zit dus een balans tussen beter en sneller. En dat is nu key. Niet voor niets is Total Production Cost (TPC) een belangrijke KPI in de fabricagewereld.
Terug naar het sociaal domein. Hoe makkelijk is het om hetzelfde trucje je doen bij jeugdhulp of maatschappelijke ondersteuning? Dat blijkt nog niet eenvoudig. Ik kom de volgende situaties regelmatig tegen in de praktijk, maar ook in inkoopdocumenten:
Indicatoren die niets zeggen over performance. Bijvoorbeeld wachttijd tussen aanmelding en begin behandeling, maar doodleuk als KPI worden gebruikt;
KPI’s die niet gebaseerd zijn op een indicator. Bijvoorbeeld kosten per casus, maar wel als eis bij inkoop worden gesteld;
Performance indicatoren die niet key zijn. Bijvoorbeeld aantal onderhanden casussen per wijk, maar helaas wel meegenomen worden in de bemensing.
Het komt dus regelmatig voor dat KPI’s die geen KPI’s zijn, worden gebruikt om te sturen op wat niet gestuurd zou mogen worden. Neem de wachttijd tot behandeling. Daarmee werk je namelijk enerzijds in de hand dat er onvoldoende tijd wordt genomen om te bezien of aandacht en eenvoudige vormen van hulp effectief zijn. En anderzijds leidt het tot medicaliseren (want behandeling = psychologisch of medisch).
Het gebruik van een ‘snel is beter’-KPI in het sociaal domein is daarmee zowel een illusie als schadelijk. Je meet namelijk iets wat niet zinvol is om te meten en gaat sturen op iets waar je niet op moet sturen. Helaas is het geven van voorbeelden hier lastig, maar er zijn signalen te over van het medicaliseren van gedrag van kinderen – van schoolprestaties tot bedplassen – waarbij te snel wordt voorbij gegaan aan de gezinsomstandigheden.
Deze voorbeelden illustreren wat er gebeurt als KPI’s zonder de juiste kennis van zaken in het sociaal domein worden toegepast. Met name bij ‘kwaliteit’ is dat problematisch, omdat kwaliteit in het sociaal domein simpelweg niet meetbaar is. De kans groot is dat sturen daarop dan schade toebrengt aan onder andere inwoners en/of medewerkers
Bij de productie van een auto is dat wel zo. Die gebreken zijn er of ze zijn er niet. Maar hoe meet je de kwaliteit van een gezinsinterventie? Hoe vertaal je de aard van de relatie tussen hulpgever en hulpvrager in cijfers of indicatoren als die relatie kan variëren van afstoting (bijvoorbeeld bij reclassering) tot overmatige afhankelijkheid (bijvoorbeeld in instellingen)?
Een eerste stap hierbij is het loslaten van het idee dat performance, kwaliteit en outcome in het sociaal domein meetbaar zijn. Dat ze dat niet zijn, is een gegeven in de sociale wetenschappen (voordat die ten prooi vielen aan de statistiek van onder andere Diederik Stapel). Performance, kwaliteiten (ja meervoud) en outcomes (ook meervoud, opgeteld heten die impact) zijn wel merkbaar, bemerkbaar en opmerkbaar in wat mensen vertellen over de zorg, hulp of verstrekking die mensen krijgen of (medewerkers) geven. Daarop kun je dan vervolgens nieuwe vormen van besturingsinformatie baseren.
Hoe dat werkt laten Henk Krooi (Gemeente Soest) en Harold van Garderen zien in de workshop Voorbij gestandaardiseerd meten in het sociaal domein: hoe Soest de kloof tussen inwoners en gemeente dicht op de Kennismarkt van 8 november . Meer info vind je hier .
Eén tipje van de sluier kunnen ze wel alvast oplichten. Het sociaal domein is zowel een productiesysteem als een betekenisgevingssysteem. Die betekenissen worden zichtbaar als mensen hun eigen verhalen daarop onderzoeken.
Dat levert een relatief nieuwe vorm van data: warme data die iets zegt over de samenhang van relaties, acties en betekenissen in gezinnen, families, straten, wijken, verenigingen zorgorganisaties, enzovoorts. Die samenhang geeft onder andere zicht op de impact (gewenst, ongewenst, gezien en ongezien) door de besteding van publieke middelen, en op wat er écht gebeurt.
Die warme data is niet geschikt om KPI’s op te baseren, maar wel om zogenaamde LCS-en (Leading Change Signals) te ontdekken. Dat zijn vroege signalen van mogelijke verandering. En dat willen we toch? Vroegsignalering, preventie, innovatie en transformatie zijn allemaal processen die niet gaan over performance, maar over tijdig opmerken, bemerken en daarop acteren.
Kan de KPI daarmee voorgoed overboord worden gegooid? Nee natuurlijk niet. Het sociaal domein is immers ook een productiesysteem. Het is nuttig – maar niet afdoende - om te weten hoe het proces loopt en wat dat kost. LCS-en en KPI’s vormen samen met koude en narratieve data wel een completere basis voor het besturen van en sturen in het sociaal domein.
