menu
(vertaling van de Engelse versie) – Tegenwoordig worden allerlei soorten organisaties gestuurd door de overtuiging dat de weg naar succes bestaat uit het kwantificeren van menselijke prestaties, het publiceren van resultaten en het verdelen van de beloningen op basis van de cijfers. Maar in onze ijver om het evaluatieproces een wetenschappelijke basis te geven, zijn we afgegleden van de aandacht voor prestaties naar het fixeren op de meting zelf, en dit bedreigt nu de kwaliteit van onze organisaties en levens. In dit toegankelijke en krachtige boek onthult Jerry Muller de schade die doorgeslagen metingen veroorzaken en laat hij zien hoe we het probleem kunnen oplossen. Het boek geeft voorbeelden uit het bedrijfsleven, de geneeskunde, het onderwijs, de overheid en andere gebieden, en legt uit waarom betalen voor gemeten prestaties niet werkt, waarom chirurgische scorekaarten het aantal doden kunnen verhogen, en nog veel meer. Maar Muller laat ook zien dat metingen nuttig kunnen zijn als ze worden gebruikt als aanvulling op persoonlijke ervaring. Hij voegt een waardevolle checklist toe om na te gaan wanneer en hoe metingen best gebruikt worden. Het resultaat is een essentiële bijsturing van een schadelijke trend die ons allemaal beïnvloedt.
Ik ondervind al dadelijk een vlag-en-ladingprobleempje. Het kernbegrip in het Engelstalige boek is "metrics fixation". Het gaat om de neiging om alles wat we willen beoordelen eerst in cijfers uit te drukken. Maar een Engelse benaming geeft een groter risico op divergerende opvattingen omtrent de betekenis, dus ik zoek een Nederlandse term. Die "fixatie" is duidelijk, maar hoe vertaal je "metrics"? Google Translate (de laatste jaren sterk verbeterd, maar kijk toch maar alles goed na) maakt er soms "metrische fixatie" van, wat nogal zinloos is, ofwel "statistiek", maar die vlag dekt de lading evenmin. Ik vind voorlopig niets beter dan metingenfixatie, de neiging om beoordelingen en bijsturingen enkel nog te baseren op metingen.
Volgende vraag: waarom hebben we hier geen alom bekende term voor, zoals bv. burn-out? Tegenwoordig weet zowat iedereen wat burn-out is (alhoewel, Engelse termen …), als gevolg van de vele berichten en publicaties, tot en met politieke bemoeienissen en wetten rond burn-out, en zelfs politieke voorbeelden (weliswaar met het eigenaardige bijverschijnsel dat ze de term nauwelijks durven gebruiken). Enfin, ik wijk af. Het is interessant om te zien hoe een aspect van de maatschappij, in dit geval metingenfixatie, onbehandeld blijft als het geen naam krijgt. Een ander mooi voorbeeld is managerialisme, dat overigens nauw samenhangt met metingenfixatie. Het is immers door allerlei metingen, een techniek die in feite iedereen kan toepassen, dat managers denken iets te kunnen betekenen (of te kunnen rapen) in sectoren waar ze in feite niets van kennen.
Maar ik ging een boek bespreken.
Kort gezegd: dit boek is geweldig. Het biedt een ruim zicht op een probleem dat grotendeels onder de radar blijft, maar wel een grote impact heeft op de maatschappij. Mijn eigen aanpak richt zich op basale fouten in systemen, die vooral veel verwarring en andere fouten veroorzaken. Maar als basale fouten golfjes op het water zijn, is metingenfixatie een zware storm, die vérstrekkende sociale gevolgen heeft die met basale fouten nog weinig te maken hebben. Denk ik zo.
Dus: verplichte lectuur.
Het Engels van Jerry Muller is vlot leesbaar. Meestal toch. Hij gebruikt wel graag woorden die in buitenlands Engels niet zo vaak voorkomen, zoals jest (grap), salient (prominent), egregious (ongehoord), warping (scheeftrekken), searing (schroeiend), erstwhile (aanvankelijk), pernicious (verderfelijk), walled off (ommuurd), pigeonhole (categoriseren), engulf (verzwelgen), probity (eerlijkheid), stunted (onvolgroeid) en meer van dat fraais. Als jouw Engels even goed is als dat van mij moet je dus regelmatig iets opzoeken. Doe je dat niet, dan dreig je uiteindelijk iets van het betoog te missen, terwijl dat echt wel de moeite waard is.
Beetje vreemd, op het eerste gezicht, een specifiek voorwoord bij de paperback uitgave. Die volgde echter een jaar na de eerste (hardcover) uitgave van 2018, en beschrijft inzichten die volgden uit reacties daarop. Meteen een interessante kadering van het boek. Daarnaast worden ook enkele nieuwe voorbeelden gegeven, over de gevolgen van metingenfixatie in bv. sport en marketing. Samengevat: allerlei sectoren richten zich op wat meetbaar is in plaats van op wat belangrijk is.
Veel reacties op de eerste uitgave vertelden dat de situatie nog veel erger is dan in het boek wordt beschreven. Ik vermoed dat hier een invloed speelt van managerialisme, dat m.i. verder gaat dan metingenfixatie, en mensen op dezelfde manier wil aansturen als technische installaties. Vooral in organisaties die drijven op intrinsieke motivatie van hun werknemers is dat vernietigend voor de effectiviteit.
Het boek is moeilijk in een categorie te plaatsen: publiek beleid, sociologie, politieke wetenschap, economie, organisatorisch gedrag, geschiedenis, sociale wetenschapsfilosofie, het heeft overal raakvlakken. Als managementboek is het speciaal, omdat het uitgaat van het standpunt van wie gemanaged wordt, en in die zin is het vooral kritisch. Het is geen wondermiddel, maar eerder een tegengif voor de onzin (snake oil) die wordt verkocht onder het label van metingen, verantwoordelijkheid en transparantie.
Ook deze inleiding is naar mijn gevoel pas ontstaan na het schrijven van het boek. Het eerste hoofdstuk, "Het betoog in een notedop", had ook als inleiding kunnen dienen. Misschien was het apart beschrijven van de terugkerende gebreken een aanleiding voor een splitsing in hoofdstuk 1 en 2, waarna een nieuwe inleiding nodig was. Ik gok maar.
De inleiding beschrijft wat mogelijk de eigenlijke aanleiding was voor het boek, nl. twee TV-series. The Wire, op HBO van 2002 tot 2008, beschrijft hoe politie en criminaliteit nogal door elkaar liepen in Baltimore, waar statistieken belangrijker waren dan burgers. Idem voor de patiënten in de BBC ziekenhuisserie Bodies, die liep in 2004-2006, waar één van de personages zegt: "De hoofdchirurg (superior surgeon) gebruikt zijn superieur beoordelingsvermogen om ver weg te blijven van situaties die zijn superieure vaardigheden zouden kunnen in vraag stellen" (kwestie van de metingen niet nadelig te beïnvloeden). Muller constateerde dat het fenomeen zich niet beperkte tot TV-series, maar ook in de realiteit speelde, en in allerlei sectoren.
Toch een minpuntje: het voorwoord, de inleiding en hoofdstuk 1 lopen zodanig door elkaar dat je moeilijk kan bijhouden waar je wat gelezen hebt.
Het eerste hoofdstuk, Het betoog in een notedop, geeft een samenvatting van de vele waarheden in het boek. Ik heb het in zijn geheel vertaald (CCC ref. 1296140-1) en van wat commentaar voorzien. Ik zie geen goede reden om dit over te slaan, maar mocht je dit stuk te lang vinden, dan kan je springen naar Hoofdstuk 2 – Terugkerende gebreken, of naar de andere delen: II – De achtergrond (met, inderdaad, achtergrondinformatie), III – De mismeting van alle dingen? (met de meeste voorbeelden; schrikbarend, vooral in de onderwijscontext, hfdst. 7 en 8), Excursie (over ongewenste transparantie) of IV – Conclusies (samenvatting van zowel de problemen als de oplossingen).
Er is een cultureel patroon dat de afgelopen decennia alomtegenwoordig is geworden en een steeds groter wordend scala aan instituten overspoelt. Afhankelijk van de smaak zou men het een culturele "meme", een "erkenning", een "discours", een "paradigma", een "zichzelf versterkend retorisch systeem" of gewoon een rage kunnen noemen. Het patroon komt met zijn eigen vocabulaire en het beïnvloedt de manier waarop mensen over de wereld praten, en dus hoe ze over de wereld denken en hoe ze zich daarin gedragen. Laten we het voor het gemak een metingenfixatie noemen.
Het verband tussen meten en verbeteren is een belangrijk uitgangspunt van metingenfixatie. Aan de grote negentiende-eeuwse natuurkundige Lord Kelvin wordt (ten onrechte) het gezegde toegeschreven: "Als je het niet kan meten kan je het ook niet verbeteren". Wat hij schreef (of zou geschreven hebben) is dit: "I often say that when you can measure what you are speaking about, and express it in numbers, you know something about it; but when you cannot measure it, when you cannot express it in numbers, your knowledge is of a meagre and unsatisfactory kind; it may be the beginning of knowledge, but you have scarcely, in your thoughts, advanced to the stage of science, whatever the matter may be". Ik zou dit willen nuanceren, in het licht van mijn eerste paragraaf (zie De vlag): als je het niet kan benoemen, kan je het ook niet verbeteren. Ik denk dat metingenfixatie inderdaad een probleem is (zie ook Seddon), dat echter grotendeels onder de radar blijft, omdat het geen naam heeft die circuleert. In 1986 omarmde de Amerikaanse managementgoeroe Tom Peters het motto: "what gets measured, gets done", wat een hoeksteen werd van het vertrouwen in metingen. Na verloop van tijd kwamen sommigen tot de conclusie dat "alles wat gemeten kan worden, verbeterd kan worden". Dat zie ik niet helemaal zitten, gewoon wegens gebrek aan logica. Het omgekeerde, absoluut iets willen meten om het te kunnen verbeteren (wat ik overigens niet onderschrijf; gezond verstand en deugdelijke principes werken doorgaans sneller en beter), heb ik meer dan eens meegemaakt, om dan te zien dat de verbeteringen niet gerealiseerd werden omdat de metingen niet deugden.
Wanneer voorstanders van metingen "accountability" bepleiten, combineren ze stilzwijgend twee betekenissen van het woord. Aan de ene kant betekent "to be accountable" verantwoordelijk zijn. Maar het kan ook betekenen "capable of being counted". Voorstanders van "verantwoording" gaan er doorgaans van uit dat instellingen alleen door metingen echt verantwoordelijk kunnen zijn. Prestaties worden dus gelijkgesteld aan wat herleidbaar is tot gestandaardiseerde metingen. Wanneer voorstanders van metingen "transparantie" eisen, insinueren ze vaak dat eerlijkheid vereist dat zoveel mogelijk informatie expliciet en zichtbaar wordt gemaakt. Het resultaat is de vraag naar steeds meer documentatie, steeds meer missieverklaringen, steeds meer "doelen stellen". Verschillende dingen vallen mij hier op. (1) Ik heb "accountability" laten staan omdat dit moeilijk te vertalen is in deze context; zie hier en hier. Een discussie over de betekenissen van deze Engelse term zou ons te ver leiden. Iets als "telbaar" heb ik echter nergens gezien; blijkbaar geeft de auteur er hier een eigen draai aan, ongeveer zoals "verantwoordelijkheid" iets met "woorden" zou te maken hebben. Woordspelingen vind ik leuk, voor zover ze op een verantwoorde :-) manier gebruikt worden. (2) De auteur gebruikt "zijn" dubbele betekenis van "accountability" om het verband te leggen tussen verantwoordelijkheid en metingen. Semantisch gezien gaat zijn redenering dus niet op in het Nederlands, wat mogelijk één van de redenen is voor de beperkte bekendheid van het fenomeen. (3) Ik zie wel weer een verband met de spanning tussen efficiëntie (middelen gebruiken) en effectiviteit (doeltreffend handelen). Het is meestal moeilijk om metingen te definiëren die je doel ook effectief reflecteren. En als de metingen niet lijken te volstaan is het altijd eenvoudig om nog méér te meten, maar het verband leggen met een organisatiedoel blijft moeilijk. De conclusie van de auteur, gefoefeld of niet, is dus wel begrijpelijk.
De belangrijkste componenten van metingenfixatie zijn:
Metingenfixatie is het vasthouden aan deze overtuigingen, ondanks de onbedoelde negatieve gevolgen die opduiken wanneer ze in de praktijk worden gebracht. Dat gebeurt omdat niet alles wat belangrijk is ook meetbaar is, en veel dat meetbaar is niet belangrijk is. Met andere woorden, niet alles wat kan worden geteld, télt, en niet alles wat telt, kan wórden geteld. Nu hebben de meeste organisaties meerdere doelen, en dat wat wordt gemeten en beloond, wordt vaak de focus van aandacht, ten koste van andere essentiële doelen. Evenzo hebben veel banen meerdere facetten, en het meten van slechts een paar aspecten creëert prikkels om de rest te verwaarlozen. Je krijgt wat je meet. Wanneer organisaties die zich baseren op metingen dit inzien, voegen ze doorgaans méér prestatiemaatstaven toe; dit creëert een cascade van gegevens, die steeds minder bruikbaar worden, terwijl het verzamelen ervan steeds meer tijd en middelen opslokt. Misschien is metingenfixatie wel een hoofdbestanddeel van managerialisme, naast profijt.
Bijwerking 09-12-2022. Bericht in De Standaard: Britten openen na dertig jaar opnieuw een steenkoolmijn. Het initatief kadert uiteraard in de actuele energieproblematiek, en genereert bezorgheden omtrent milieu (-) en werkgelegenheid (+). Er zijn echter vraagtekens bij het bedrijf achter de nieuwe steenkoolmijn, West Cumbria Mining. De hoofdaandeelhouder ervan is een Australische beleggingsfirma in durfkapitaal, met een kantoor op de Seychellen, en 80% van de productie is bedoeld voor export (waar het hoge gehalte aan zwavel voor iets tussen zit). De meeste opbrengsten dreigen dus weg te stromen naar verre oorden. Dít is managerialisme.
Tijdens dit proces wordt de aard van het werk vaak op een verderfelijke manier getransformeerd. Professionals hebben nogal eens een hekel aan het opleggen van doelen die ingaan tegen hun beroepsethos en beoordelingsvermogen, waardoor het moreel wordt verlaagd. Het is bijna onvermijdelijk dat veel mensen bedreven raken in het manipuleren van prestatie-indicatoren via een verscheidenheid aan methoden, waarvan vele uiteindelijk disfunctioneel zijn voor hun organisatie. Ze vervalsen de gegevens of behandelen alleen gevallen die de prestatie-indicatoren verbeteren. Nadelige gevallen worden niet gemeld; zo nodig worden feiten verzonnen. In dit opzicht is metingenfixatie een schitterend voorbeeld van een systeem van het zevende knoopsgat. Het houdt immers geen rekening met het eigenbelang van de individuele werknemers, die hun beoordeling (en dus inkomen en welvaart) belangrijker vinden dan het nut voor de organisatie.
Een veelvoorkomend kenmerk van metrische fixatie is betalen voor prestaties, dat is het aanbieden van financiële prikkels aan individuen of organisaties om aan kwantificeerbare criteria te voldoen. Dat zou kunnen werken in organisaties die alleen bestaan om winst te maken, hoewel de methode, zoals we zullen zien, zelfs in deze gevallen zelden effectief is. Dit werkt nog minder goed in organisaties waar medewerkers gericht zijn op een meer idealistische missie, zoals scholen, universiteiten, artsenpraktijken en ziekenhuizen. Wanneer beloning gekoppeld is aan gemeten prestaties, nodigt metingenfixatie uit tot bespelen.
Omdat de motivatietheorie achter beloning voor gemeten prestaties niet volgroeid is, zijn de resultaten vaak in tegenspraak met de verwachtingen. Het typische patroon van disfunctie werd in 1975 geformuleerd door twee sociale wetenschappers die aan weerszijden van de Atlantische Oceaan opereerden, in wat een geval van onafhankelijke ontdekking lijkt te zijn geweest. De "Wet van Campbell", genoemd naar de Amerikaanse sociaal psycholoog Donald T. Campbell, zegt dat "hoe meer een kwantitatieve sociale indicator wordt gebruikt voor sociale besluitvorming, des te meer zal hij blootstaan aan corruptiedruk, en de sociale processen die hij moet bewaken net verstoren en corrumperen". De wet van Goodhart, genoemd naar de Britse econoom die ze formuleerde, stelt: "Elke maatregel die wordt gebruikt voor controle is onbetrouwbaar". Met andere woorden, alles wat kan worden gemeten en beloond, zal worden bespeeld. We zullen veel variaties op dit thema zien (in de rest van het boek, en dat klopt, in deel III).
Pogingen om mensen te dwingen hun werk te conformeren aan vooraf vastgestelde numerieke doelen, neigt innovatie en creativiteit, waardevolle eigenschappen in de meeste omgevingen, te onderdrukken. En ze leiden bijna onvermijdelijk tot het waarderen van kortetermijndoelen boven langetermijndoelen. Weer het verwaarlozen van effectiviteit, omdat efficiëntie in de weg staat.
In situaties waarin er geen echt haalbare oplossingen voor een probleem zijn, dient het verzamelen en publiceren van prestatiegegevens als een teken van goede bedoelingen. Inderdaad: "we zijn ermee bezig". Er is geen echte vooruitgang te zien, maar de getoonde inspanningen bij het verzamelen en publiceren van de gegevens geven een gevoel van morele ernst. In plaats van echte vooruitgang wordt de voortgang van de meting gezien als een aanwijzing voor succes, bijvoorbeeld in het geval van de educatieve prestatiekloof (het verschil in schoolprestaties tussen zwakke en sterke leerlingen). Inspanningsverbintenissen, zoals die doorgaans worden gebruikt bij consultancy, in alle sectoren, nodigen uit tot deze praktijk.
Metingenfixatie heeft iets van een sekte; het geloof in de doeltreffendheid overtroeft het bewijs dat het vaak niet werkt. Studies die het gebrek aan effectiviteit aantonen, worden ofwel genegeerd, ofwel beantwoord met de bewering dat er meer gegevens en betere metingen nodig zijn. Dit is schering en inslag: als een meting geen uitsluitsel brengt wordt meestal geconcludeerd (gezegd of geschreven, ga maar na) dat verdere metingen nodig. Metingenfixatie, die ernaar streeft de wetenschap te imiteren, lijkt te vaak op geloof. Inderdaad. Nu zijn er wel meer dingen die op geloof lijken, ook buiten metingenfixatie. Zoals de lerende organisatie, of het metaversum, of cryptogeld. De mens is sterk in het hechten van een (pseudo-)wetenschappelijk argument aan een waanidee. Of in het overdreven focussen op sociaal-politieke aspecten die de maatschappij geen goed doen. Maar ik ben aan het afwijken.
Dat alles is niet bedoeld om te beweren dat meten nutteloos of intrinsiek verderfelijk is. Eén van de doelen van dit boek is om te specificeren wanneer prestatiemetingen echt nuttig zijn, en hoe metingen moeten worden gebruikt zonder de kenmerkende nadelen van fixatie.
Het volgende hoofdstuk, "Terugkerende gebreken", biedt een taxonomie van de meest voorkomende soorten gebreken bij het gebruik van prestatiemetingen. Door ze te definiëren en te labelen, wordt het gemakkelijker om er later naar te verwijzen. Vervolgens onderzoeken we in deel II de oorsprong van metingenfixatie, en kijken we naar de verspreiding en hardnekkigheid ervan ondanks de frequente mislukkingen, naast het verkennen van enkele diepere filosofische bronnen van de tekortkomingen. Deel III bevat casestudy's die de meer recente staat van metingen, de successen en de tekortkomingen ervan, op verschillende gebieden onderzoeken, waaronder lager, middelbaar en hoger onderwijs, medisch beleid, het leger, het bedrijfsleven, en filantropie en buitenlandse hulp. Deze casestudy's zijn eerder suggestief bedoeld dan als eindconclusie. Ze behandelen niet alle manieren waarop de metrische fixatie zich in elk domein manifesteert, maar geven concrete voorbeelden van terugkerende tekortkomingen en onbedoelde gevolgen, evenals voorbeelden van het succesvolle gebruik van meetgegevens, waaruit we lessen kunnen trekken die in andere domeinen kunnen worden toegepast. Dit deel wordt gevolgd door een korte uitweiding over het thema transparantie als de vijand van prestaties in bepaalde domeinen (waaronder het huwelijk :-). Ten slotte put deel IV uit de voorgaande analyse, om de onbedoelde negatieve gevolgen van metrische fixatie op te sommen en enkele richtlijnen te geven over wanneer en hoe metrische gegevens kunnen worden gebruikt zonder te bezwijken voor fixatie.
De auteur identificeert enkele "recurring flaws", (basale? :-) fouten die regelmatig terugkeren: meten wat het gemakkelijkst meetbaar is, meten op een vereenvoudiging van het probleem, input meten in plaats van output (doet mij denken aan efficiëntie vs. effectiviteit, en inspanning vs. resultaat), gemakkelijke doelen of klanten selecteren, standaarden verlagen, ongewenste data wegfoefelen, en data carrément wijzigen.
In tegenstelling tot wat je zou verwachten keren deze terugkerende fouten niet terug in het boek. Ze duiden aan wat er bij metingen zoal fout gaat. De kern van het boek beschrijft wat er fout gaat als metingen ten onrechte als zaligmakend worden beschouwd.
Het lijkt erop dat metingenfixatie sinds de 19e eeuw geleidelijk opgang maakte. Enkele namen worden genoemd: Robert Lowe (Brits parlementair 1862, bekritiseerd door Matthew Arnold), Frederic Taylor (ca. 1911), Robert McNamara (begonnen als accountant (!), later Amerikaans minister van defensie (1968-'81), bekritiseerd door militair strateeg Edward Luttwak). "Scientific management" werd een begrip, en één en ander leidde tot managerialisme.
Dit is een interessante beschrijving van de vele (!) aspecten van management die leiden tot metingenfixaties. Ook IT komt aan bod (met de verspreiding van werkbladapplicaties, die een vals gevoel van inzicht creëren), maar dat had naar mijn gevoel ruimer gekund. De trend om alles te willen "digitaliseren" gaat veel verder dan spreadsheets, en wordt gesteund door diverse overheden, die daar een bron van welvaart in zien.
De principaal-agent theorie gaat over de situatie waarin een persoon of organisatie (de agent) de bevoegdheid heeft beslissingen te nemen namens een andere persoon of organisatie (de principaal). De theorie is toepasbaar op diverse relaties, zoals werkgever<>werknemer, of parlement<>regering. Het verband met metingenfixatie wordt uitvoerig uitgelegd. Dit onderwerp had ook in hoofdstuk 4 gepast, maar anderzijds was het inderdaad ruim genoeg voor een eigen hoofdstuk.
De theorie beschrijft hoe ondergeschikten geneigd zijn hun eigen doelen voorop te stellen in plaats van die van de onderneming. Het topmanagement dacht dat probleem te vermijden door werknemers te verlonen op basis van gemeten prestaties. De gevolgen daarvan zijn niet fraai. De conclusie van Robert Gibbons (MIT, Organizational Economics) in 1998:
In het beste geval leiden economische modellen die geen rekening houden met psychologische motieven voor het halen van voldoening uit het werk, tot een beknotte opvatting over motivatie. In het slechtste geval worden niet-economische realiteiten, zoals intrinsieke motivatie en sociale relaties, verzwakt of zelfs vernietigd door managementpraktijken gebaseerd op economische modellen.
Voor filosofen…
Dit komt uit de Angelsaksische markt, waar "high school" in grote lijnen overeenkomt met ons middelbaar; "college" is onze hogeschool, en "university" snap je wel. De Amerikaanse Lumina Foundation wil tegen 2025 zorgen dat 60 % van de volwassenen een hoger diploma hebben, in de overtuiging dat mensen daardoor niet alleen meer gaan verdienen, maar ook de nationale economische groei toeneemt. Muller betwijfelt dat laatste. Iemand met een MBA (diploma Master in Business Administration) kan meer verdienen dan iemand zonder MBA, maar hoe meer mensen een MBA diploma hebben, hoe minder waarde dat heeft. Bijkomend effect is dat werkgevers voor dezelfde soort werk iemand gaan selecteren met een MBA, omdat er meer kandidaten beschikbaar zijn met een MBA. Verder gevolg: mensen zonder MBA komen terecht in de lager betaalde jobs, en mensen mét MBA krijgen jobs waarvoor ze overgekwalificeerd zijn. Bovendien, zodra blijkt dat je een MBA nodig hebt voor een gewone job, gaan nog meer mensen willen verder studeren. Maar zijn al die mensen dan in staat om dat te doen? En welke gevolgen heeft dat voor de kwaliteitsstandaarden?
Muller combineert feiten en inzichten, en trekt conclusies die jammer genoeg niet getrokken worden door degenen die beslissingen moeten nemen over maatschappelijke problemen. De volgende bladzijden beschrijven nog veel meer onheil dan de paragraaf hierboven. Met hier en daar een straffe uitdrukking, bv. dat onwereldse economen hun sterke geloof in metingen en statistieken combineren met een zwakke interesse voor de geldigheid van de meeteenheden (inclusief voorbeelden). Met elke volgende pagina krijg je meer en meer het gevoel dat de maatschappij gewoon de afgrond inglijdt door een overschot aan domheid. Nog een fragmentje, over de controlesystemen die als paddestoelen uit de grond schieten:
In de meeste systemen verschuiven tijd en middelen van doen naar documenteren, en van zij die onderwijzen en onderzoeken naar zij die data verzamelen en verspreiden. De zoektocht naar meer data leidt tot meer datamanagers, meer bureaucratie, en meer dure IT-systemen (!). Het is ironisch dat, in naam van het controleren van kosten, de uitgaven stijgen.
En de ellende stopt niet; dit is het langste hoofdstuk in het boek (ik heb een statistiekje gemaakt :-), eenentwintig pagina's lang, en bij elke pagina groeit het onbehagen over de schade aan de maatschappij door numerieke kortzichtigheid. Enkele bedenkingen:
Meer van dezelfde miserie. Hoe meer je leest, hoe meer je beseft hoe erg het is. Enkele citaten:
Moet er nog zand zijn?
Er ís nog zand! Dit is het tweede langste hoofdstuk. Het begint met drie voorbeelden van een verband tussen metingen en het verbeteren van medische prestaties, in een ziekenhuis, bij zorg in een rurale omgeving, en bij het vermijden van infecties via poortkatheters. Deze drie voorbeelden worden wel eens aangehaald als bewijs voor de effectiviteit van metingen, maar hier werden verbeteringen gerealiseerd los van de verplichting om te meten (!), en zonder extrinsieke motivatie (!).
En ook hier gaat het over prestatieverloning of pay-for-performance of P4P (het zoveelste misbruik van het cijfer 4), de negatieve effecten ervan op gezondheidswerkers, en het gebrek aan positieve effecten voor de patiënten. Voor elk idee vind je wel ergens een bevestiging, maar "hoe grondiger de studies, hoe sterker de conclusie dat prestatieverloning niet werkt; zorgverleners krijgen meer aandacht voor wat gemeten wordt dan voor wat belangrijk is". En toch blijft prestatieverloning in zwang; Muller noemt dat de overwinning van hoop op ervaring, of consultants die blijven leuren met wonderolie. Weer de ene pagina na de andere vol interessante literatuur en logische gevolgtrekkingen. Bangelijk.
Achterliggende thema's die voortdurend terugkeren (niet alleen in dit boek maar bv. ook als het gaat over burn-out) zijn het grote verschil tussen intrinsieke en extrinsieke motivatie, en de toepassing van managementprincipes op oncontroleerbare wezens als mensen. Nog even herhalen: een systeem dat geen rekening houdt met menselijke eigenschappen is een systeem van het zevende knoopsgat.
Hetzelfde verhaal. Om niet in herhaling te vallen, enkel de laatste paragraaf:
Metingen hebben een nuttige rol gespeeld bij de politie. Maar de poging om metingen te gebruiken als basis voor beloning of straf leidt tot meetresultaten die minder betrouwbaar zijn, en zelfs contraproductief.
Kort hoofdstukje. Het leger lijkt voorzichtiger om te springen met metingen. Verder niets nieuws.
Dit hoofdstuk (15 p. :-) begint in een eerste sectie met uitleggen voor welke soort jobs prestatieverloning wel OK is (spoiler alert: sales), en vervolgt dan met grote en kleine voorbeelden van de nadelen. Conclusie van deze sectie: alleen wat wordt gemeten, en mogelijk bestraft, wordt gedaan.
De tweede sectie begint al sterk: "De financiële crisis van 2008 had veel oorzaken, en enkele daarvan volgden uit de poging om oordelen op basis van lokale kennis te vervangen door gestandaardiseerde metingen, en werden nog verergerd door de effecten van prestatieverloning". De neiging van grote ondernemingen om kleinere op te slokken speelde daarin mee, omdat managers en juristen van de grote organisatie moesten omgaan met onderdelen waarmee ze niet vertrouwd waren (en dan zijn koude metingen een voor de hand liggend surrogaat). En dat gebeurt uiteraard niet alleen in de financiële sector. Het mechanisme dat sinds 2000 leidde tot de crisis in 2008 wordt uitgelegd. Voor wie het zich nog niet realiseert: metingenfixatie leidt tot wereldproblemen.
De derde sectie gaat over kortetermijndenken, met voorbeelden uit de beurswereld. Hier haak ik af omdat ik er te weinig van ken (en eerlijk gezegd, van de 2008 crisis snapte ik ook niet alles), maar als aandelenbeurzen je ding zijn, dan heb je hier iets aan. Wat ik wel snap is dat het ook hier in de grond neerkomt op de verschuiving van de aandacht van wat echt telt (zoals reputatie, werknemerstevredenheid, motivatie, vertrouwen en samenwerking) naar wat gemeten kan worden, een beweging die wordt aangejaagd door een streven naar profijt op korte termijn, volgens Muller de beroepsziekte van hedendaagse Amerikaanse ondernemingen.
De laatste sectie creëert het gevoel dat met die drie voorgaande secties nog lang niet alles is gezegd…
Omdat het resultaat van een liefdadigheidsorganisatie zo moeilijk te beoordelen is, wordt gemakkelijk gekeken naar de kosten. Als de overhead hoog is lijkt het al gauw alsof de geworven fondsen intern worden misbruikt. Typisch geval van kijken naar de input in plaats van de output (één van de terugkerende gebreken, toch nog), of middelen in plaats van doel. Voor het overige zijn het steeds dezelfde soort problemen die terugkeren. Maar het blijft interessant om te lezen.
Performantiemetingen en transparantie lijken hand in hand te gaan. Maar net zoals er limieten zijn aan de effectiviteit van metingen, zijn er ook limieten aan de effectiviteit van transparantie. Het succes van persoonlijke relaties hangt af van een zekere mate van ambiguïteit of ondoorzichtigheid, van net níet altijd weten wat de ander doet, laat staan denkt. Zo ook in regering en politiek, waar het resultaat van openheid vaak verlamming is. Politici die al hun acties openbaar moeten maken komen niet meer tot compromissen die wetgeving mogelijk maken. Het openbaar maken van elk intern overleg schaadt effectief beleid. Inlichtingendiensten worden gedwarsboomd.
Ik ben niet zeker of ik het hier met Muller eens ben zoals in de overige hoofdstukken. Zeker in het licht van de invloed van basale fouten in de politiek denk ik dat meer helderheid over argumentaties bij politiek overleg kan leiden tot beter beleid.
De nadelen van metingenfixatie op een rijtje (allemaal extra uitgelegd): doelverplaatsing, kortetermijndenken, kosten in arbeidstijd, afnemend nut, cascades van regels, geluk belonen, het nemen van risico's ontmoedigen, innovatie ontmoedigen, samenwerking en gemeenschappelijk doel ontmoedigen, degradatie van werk, lagere productiviteit.
Over dat laatste: "economisten gespecialiseerd in het meten van economische productiviteit rapporteren dat in recente jaren (d.i. 2019) de enige toename van productiviteit in de Amerikaanse economie zich voordoet in de ICT-industrie". Het begin van het einde.
Dit is nauwelijks een checklist, maar wel een overzicht van alle noodzakelijke overwegingen bij het invoeren van metingen om de nadelen te vermijden. Geen lijstje zoals dat van de negatieve consequenties; je zal het zelf moeten lezen.