Over- en onderschatting
Het Britse Met Office, (meteorologisch instituut) kondigde onlangs een herziening naar boven aan van hun historische temperatuurdata. Door onnauwkeurige metingen waren die systematisch iets te laag ingeschat. en dat is helaas een trend in vele klimaatstatistieken: keer op keer blijken de waarnemingen de prognoses en modellen ingehaald te hebben, soms een beetje, soms een beetje veel. En dat is zo voor metingen van het zeeijs, oceaantemperatuur, zeespiegelstijging, enzovoort.
Consistente onderschatting is een vorm van vooringenomenheid, van partijdigheid. En dan rijst natuurlijk de vraag: vanwaar die eenzijdige onderschatting van klimaatgegevens?
Waarom is die onderschatting belangrijk?
Om twee redenen:
- klimaatsceptici verwijten de wetenschappers vaak dat ze het dreigende klimaatprobleem overdrijven. Uit onderzoek blijkt echter niet alleen dat ze niet overdreven, ze hebben de zaken zelfs onderschat. Dat is belangrijk voor een juiste interpretatie van de data, voor de integriteit van de wetenschap, en voor een correcte communicatie naar het publiek.
- objectiviteit is sowieso een essentieel onderdeel van wetenschappelijk werk, dus wanneer we vrij systematische afwijkingen vinden in één richting (naar boven of naar beneden) dan moeten we als wetenschappers de oorzaken opzoeken en correcties aanbrengen.
Discerning Experts (boek)
In het boek Discerning Experts (maart 2019) focust Milena Wazeck en haar team op de interne dynamiek van wetenschappelijke beleidsadviezen, dat zijn de “samenvattingen voor het beleid” die (klimaat)wetenschappers meegeven met hun onderzoek. Meer bepaald ging het erom hoe wetenschappers omgaan met de druk – soms subtiel, soms openlijk – die ontstaat wanneer ze weten dat hun conclusies op ruime schaal gepubliceerd worden (“de wereld kijkt toe”). Als we willen dat het beleid steunt op degelijke wetenschap, dan moeten die wetenschappelijke interpretaties zo correct mogelijk zijn.En precies dat is tot nu toe weinig onderzocht.
Waarom onderschatten klimaatwetenschappers de crisis?
Om met de algemene conclusie te beginnen: nergens vinden we sporen van fraude of nonchalance. De data zijn solide, de collega’s akkoord met de rapporten. Maar we vinden wel vrij algemeen een onderschatting van de ernst van de klimaatdreiging, en van de snelheid waarmee de processen verlopen. Hoe komt dat?
- de consensusdwang: wetenschappers willen met één stem spreken, uit angst dat beleidsmensen eventuele meningsverschillen gaan uitbuiten. Voorbeeld: stel dat de meeste experts het risico A inschatten met 1-10% waarschijnlijkheid, maar een minderheid acht het risico 80%. In de conclusies zal dan alleen “1-10%” overblijven.
- de obsessie met “onbetwiste feiten”: “feiten” zijn dan cijfers of data waarover iedereen het eens is; een minderheidsstandpunt wordt dan soms beschouwd als een “opinie”.
- de obsessie met “bewijsvoering”: bij de opmaak van een recent IPCC-rapport (AR4) was de consensus over West-Antarctica dat een snelle instorting (en smelting) van de ijskap een reëel risico was, maar door het ontbreken van sluitende waarnemingen werd de conclusie afgeleid naar “een risico op langere termijn” (want dat kon wel bewezen worden).
Deze “consensusdwang” (of drang) staat haaks op de intern-academische gebruiken, waar tijdsdruk veel minder speelt (tenzij binnen de eigen onderzoeksgroep), en waar kritische en afwijkende besluiten eerder aangemoedigd worden, en soms zelfs de carrière vooruithelpen. In onderzoek is kritiek en twijfel een pluspunt, bij beleidsadviezen een minpunt.Maar er speelt nog een factor mee:
- foutmarges hebben “asymmetrisch” effect op de reputatie: wordt een dreiging overschat, dan schaadt dat de reputatie, maar een onderschatting kan geen kwaad (dat is tenminste de gangbare opinie). Dus zeker wanneer het rapport bij klimaatsceptici terechtkomt, wil men zeker spelen en dus liever onderschatten. Ook hier weer een markant verschil met bijvoorbeeld stormwaarschuwingen, waar men liever wat zal overdrijven.
Het resultaat? Conclusies als kleinste gemene deler van een reeks uiteenlopende inschattingen en data. En wanneer consensus een vereiste wordt (zoals in het VN-klimaatpanel IPCC), dan gaat het zelfs zover dat men:
- stekelige discussies vermijdt
- stekelige collega’s niet inviteert.
Waar hebben we dat nog gezien?
Veralgemenen is altijd wat riskant, maar het team vond een gelijkaardige trend-tot-onderschatten in de debatten rond zure regen, en het gat in de ozonlaag. Het zijn de institutionele aspecten van wetenschappelijke adviezen, zoals wie de auteurs zijn en hoe ze worden geselecteerd, hoe het domein is onderverdeeld in hoofdstukken, en instructies naar consensus toe, die wetenschappelijk conservatisme vergemakkelijken. In zoverre wij konden onderzoeken, lijkt het erop dat wetenschappers die aan beleidsadviezen werken, eerder de neiging hebben tot onderschatten dan tot overschatten van dreigingen.
Concrete adviezen van het team
- consensus mag geen doel op zich worden, en zeker niet afgedwongen worden
- maak ruimte voor alternatieve of afwijkende modellen
- onderzoek hoe politici omgaan met wetenschappelijke adviezen.
Discerning Experts
Discerning Experts. The Practices of Scientific Assessment for Environmental Policy. Michael Oppenheimer, Naomi Oreskes, Dale Jamieson, Keynyn Brysse, Jessica O’Reilly, Matthew Shindell, Milena Wazeck.
304 pages, maart 2019, ISBN 9780226602011.
Deze blogpost is een samenvatting van het artikel/bespreking in Scientific American 19/8/2019.
Annex: Climate science profession has let down humanity
In een interview met Jem Bendell geeft klimaatwetenschapper Wolfgang Knorr toe: In that sense, the whole climate science profession has let down humanity. I am still working out what that means from now on. Lees het interview bij Jem Bendell, juli 2019.