Epävarmuudet esiin: miten politiikan vaikutusarviointeja voisi kehittää?

Ennusteet tulevasta ja arviot päätösten vaikutuksista ovat hyvän päätöksenteon välttämätön ehto. Niiden epävarmuuksia tulisi käsitellä avoimesti, jotta arviot eivät ohjaa päätöksentekoa haitallisella tavalla. Janne M. Korhonen pohtii blogissaan, miten vaikutusarvioiden epävarmuutta voitaisiin käsitellä ja havainnollistaa nykyistä paremmin.

Vaikutusarvioinnit ja muut ennusteet ovat valistuneen päätöksenteon välttämätön työkalu. Tunnetun sanonnan mukaisesti ennustaminen on kuitenkin vaikeaa, ja tulevaisuuden ennustaminen erityisen vaikeaa. Ennusteisiin sisältyvät epävarmuudet ohitetaan silti sekä julkisessa keskustelussa että päätöksenteossa liian kevyesti. Ongelmana ei ole ennusteiden epävarmuus – se on luonnollinen osa ennustamista – vaan se, miten nämä epävarmuudet esitetään, viestitään ja ymmärretään.  

Hyvä esimerkki ja kimmoke tälle kirjoitukselle on säätiömme viime marraskuussa julkaisemasta raportista Paras arvaus? Selvitys valtiovarainministeriön työllisyysvaikutusarvioista ja niiden asemasta päätöksenteossa virinnyt keskustelu. Otto Kyyrösen ja Ralf Sundin kirjoittamassa raportissa käytiin läpi, kuinka valtiovarainministeriö (VM) oli laskenut hallituksen päätösten työllisyysvaikutuksia ja mistä sen tekemä arvio 74 100 uudesta työllisestä oli peräisin.  

Kyyrönen ja Sund esittivät myös vaihtoehtoisen, varovaisemman arvion leikkausten työllisyysvaikutuksista. Pääosin samalla logiikalla ja samoihin tutkimuksiin nojaten raportissa arvioitiin nettovaikutukseksi vain 13 000 lisätyöllistä.  Raportissa ei väitetty, että siinä esitetty arvio olisi oikea ja VM:n arvio väärä. Sen sijaan kirjoittajien mukaan raportin päätarkoitus oli osoittaa, miten epävarmoja satojen tuhansien suomalaisten elämään vaikuttavat ennusteet voivat olla.  

Ikävä kyllä pääviesti jäi keskustelussa osin taka-alalle. Ministerit ja monet muut keskittyivät sen sijaan suojelemaan VM:n arviota kritiikiltä. Tämä kertoo osaltaan siitä, että he olivat nojanneet politiikkaansa näihin arvioihin. Ennustemalleilla voidaan siis tehdä, ja tehdäänkin, politiikkaa. 

Hyviä päätöksiä syntyy todennäköisemmin, kun arvioista käydään kriittistä keskustelua ja epävarmuudet tuodaan avoimemmin esiin. Seuraavassa perustelen, miksi näin on. Esitän myös eräitä muilla tieteenaloilla hyväksi havaittuja tapoja, joilla vaikutusarvioiden käyttöä päätöksenteossa voitaisiin parantaa. 

Maailman monimutkaisuus tekee arvioista epävarmoja 

Valistuneiden päätösten tekeminen vaatii tietoa sekä päätösten seurauksista että seurausten todennäköisyydestä. Joissain päätöksentekotilanteissa tätä tietoa voi olla paljon ja helposti saatavilla. Esimerkiksi asuntokauppoja tehtäessä käytössä on yleensä runsaasti tietoa siitä, mihin hintaan vertailukelpoiset asunnot ovat viime aikoina menneet kaupaksi.  

Toisissa tilanteissa, kuten useimmissa poliittisissa päätöksissä, vastaaviin arvioihin tarvittavaa tietoa voi olla käytännössä mahdotonta saada. Silloinkin, kun tietoa on saatavilla, se on usein vanhentunutta ja kerätty erilaisessa tilanteessa, Suomen kaltaisesta pikkuvaltiosta puhuttaessa monesti eri maassa. Lisäksi poliittiset päätökset pyrkivät nimenomaisesti vaikuttamaan ihmisten käyttäytymiseen. Niinpä päätösten vaikutusten ja kerrannaisvaikutusten täsmällinen arviointi vaatisi ihmisten käyttäytymisen muutosten ennustamista. 

Mikään malli ei ole täsmällinen toisinto todellisuudesta. Mallin rakentaja joutuu aina jättämään mallista jotain pois. Poliittisten päätösten seurausten arviointi ja muut ennusteet yhteiskuntien tulevasta kehityksestä pohjautuvat siksi aina subjektiivisiin arvioihin ja oletuksiin. Täysin objektiivisia ennusteita ei yksinkertaisesti ole. 

Ennusteisiin vaikuttavat tiedon lisäksi paitsi tietoiset valinnat, myös alitajuisemmat mieltymykset ja asenteet. Jo se, millaisiin teorioihin ennusteet pohjautuvat, ja siten se, millaisia tuloksia ennusteista ylipäätään voidaan saada, on aina vähintään osin subjektiivinen valinta.  

Arvioiden subjektiivisuus ei kuitenkaan tarkoita, että kaikki ennusteet olisivat yhtä hyviä. Asiantuntijoiden tekemät ”valistuneet arvaukset” voivat olla väärässä, mutta valistumattomat ennusteet ovat todennäköisemmin vääriä. 

Tästä seuraa kaksi tärkeää johtopäätöstä. Ensimmäinen näistä on, että subjektiivisten arvioiden esittäminen numeroina ei itsessään tee niistä luotettavampia. Numeroin ilmaistu arvio voi olla eksakti. Eksaktius ei kuitenkaan kerro vielä mitään arvion laadusta, kuten sen tarkkuudesta tai ennusteen toteutumisen todennäköisyydestä. Toiseksi, mitä pidemmälle tulevaisuuteen ennusteet ulottuvat tai mitä suurempien tai harvinaisempien muutosten vaikutusta yritetään arvioida, sitä suuremmiksi myös ennusteiden epävarmuudet kasvavat. 

Monimutkaisemmat mallit eivät ole aina parempia 

Ennustamisen ongelmiin ei ole yksioikoisia ratkaisuja. Sellaiseksi ei riitä esimerkiksi toisinaan esitetty vaatimus useampia muuttujia huomioivien, ”tarkempien” teorioiden ja niihin perustuvien ennustemallien rakentamisesta. 

On selvää, että malleissa tulee huomioida kaikki tuloksiin oleellisesti vaikuttavat mekanismit ja muuttujat. Esimerkiksi leikkausten lyhyen aikavälin työllisyysvaikutuksia arvioitaessa olisi arveluttavaa jättää huomiotta niiden työllisyyttä vähentävät vaikutukset, kuten kotimaisen kysynnän heikkenemisen aiheuttama työn kysynnän väheneminen. 

Monimutkaisuus voi lisätä ennusteiden tarkkuutta vain silloin, jos mallin huomioimat vaikutusmekanismit ja muuttujien arvot eli lähtötiedot tunnetaan riittävän tarkasti. Yhteiskunnallisia ilmiöitä ennustettaessa lähtötiedot tunnetaan ani harvoin kovinkaan hyvin. Kymmeniä tai satoja muuttujia huomioiva malli, jonka lähtötiedot ovat epävarmoja, ei siksi välttämättä ole muutamaan hyvin valittuun muuttujaan perustuvaa kertolaskua tarkempi. Tämä johtuu siitä, että myös epävarmuudet kertautuvat muuttujien määrän kasvaessa.   

Riippumatta siitä, onko monimutkaisempi malli yksinkertaisempaa tarkempi, monimutkaisuus tekee sekä teorioista että malleista vaikeampia kehittää, tarkistaa, kommunikoida ja ymmärtää.  Tämä on ongelmallista jo demokratian toteutumisen kannalta. 

Monimutkaisuus lisää myös riskiä siitä, että tulokset perustuvatkin huomaamatta jääneen virheeseen itse mallissa. Virheet eivät ole tavattomia edes yksinkertaisissa malleissa tai huippututkimuksissa. Esimerkiksi Euroopan unionin vuoden 2008 jälkeen harjoittamaa talouskasvua todennäköisesti rampauttanutta politiikkaa oikeutettiin aikanaan tutkimustuloksella, joka perustui Excel-virheeseen. Kun virhe korjattiin, tutkimuksen tulokset kääntyivät päälaelleen. 

Einsteinin kuuluisan ohjeen mukaisesti teorioista ja malleista tulisi siis tehdä niin yksinkertaisia kuin mahdollista, mutta ei sen yksinkertaisempia. 

Malli voi kaiken kaikkiaan olla vain niin tarkka kuin teoriat, joihin se perustuu.  Mallinnukseen tulisi siksi käyttää mahdollisuuksien mukaan useampia vaihtoehtoisia ja kilpailevia menetelmiä ja teorioita. Näin voitaisiin vähentää teoreettisiin ja mallinnusvalintoihin liittyvien vinoumien riskejä. Politiikan tekemiseen käytettyjen mallien ja niissä käytettyjen oletusten perustelujen tulisi olla demokratian toteutumisen ja mallien laadun varmistamiseksi lähtökohtaisesti julkisia. Valitettavasti näin ei aina ole.  

Malleja rakentavat asiantuntijat tietenkin ymmärtävät nämä asiat.  Esimerkiksi edellä viitatut VM:n vaikutusarviolaskelmat ovat pääosin yksinkertaisia kertolaskuja. VM on myös tuonut esiin muistioissaan oletustensa ja malliensa epävarmuuksia, vaikkei se aina välity julkiseen keskusteluun.  Sitä hallitsee luja luottamus niin sanottuihin piste-estimaatteihin eli yksittäisiin arvioihin, kuten “hallituksen esitykset lisäävät työllisten määrää 74 000:lla”.   

Viisauden alku on epävarmuuksien ymmärtäminen 

Ennusteiden epävarmuudet tulisi siis tuoda esiin paljon nykyistä selvemmin. Siinä voidaan hyödyntää eri tieteenaloilla käytettyjä menetelmiä. Yksi helppo parannus nykytilaan saataisiin, jos yksittäisten numeroiden sijaan esitettäisiin vähintään kolme arviota tai skenaariota: niin kutsuttu paras arvio, suurin perusteltavissa oleva ja pienin perusteltavissa oleva. Näin on tehty esimerkiksi tässä Euroopan komission velkakestävyysmallia kritisoivassa artikkelissa. 

Vielä parempi olisi, jos arvioita esitettäisiin parillinen määrä, esimerkiksi neljä tai kuusi. Tämä johtuu siitä, että ihmisillä on taipumus pitää keskimmäistä arviota “oikeana”. Jos keskimmäisiä arvioita onkin kaksi, keskustelun yksinkertaistuminen yhteen lukemaan vaatii ainakin hiukan ajattelua.  

Yksinkertaisimmillaan tällainen tarkastelu ei Excelin aikakaudella vaadi juuri enempää aikaa kuin yhden skenaarion laatiminen. Alla olevassa taulukossa 1 on malliksi neljä skenaariota sosiaaliturvaetuuksien indeksijäädytysten työllisyysvaikutuksista. Jo tämä yksinkertainen lisäys auttaa lukijaa ymmärtämään, miten tehdyt oletukset vaikuttavat tuloksiin. 

Useamman skenaarion tapauksessa yhden skenaarion muuttujien kannattaa olla asiantuntijoiden ”parhaan arvauksen” mukaisia. Suurin ja pienin skenaario voitaisiin puolestaan kehittää niin, että ne kuvaavat uskottavaksi arvioidun vaihteluvälin ääripäitä.  Muut keskiskenaariot voidaan käyttää esimerkiksi hahmottamaan niiden muuttujien vaikutuksia, joiden arvoista mallin laatijat ovat vähiten varmoja. Yllä olevassa esimerkissä skenaariot 2 ja 3 eroavat vain yhden muuttujan osalta. Tämä on niin sanottu joustoestimaatti, jonka epävarmuuksiin Kyyrösen ja Sundin raportti kiinnitti huomiota.  

Jos ennusteiden epävarmuuksia haluttaisiin tutkia syvällisemmin, olisi tietenkin suotavaa verrata rinnakkain kokonaan erilaisia lähestymistapoja, esimerkiksi toisiin muuttujiin ja laskutapoihin perustuvia malleja. Useamman erilaisen mallin rakentamisessa törmätään kuitenkin helposti siihen, että se vaatii paljon työtä ja aikaa. Muuttujien arvojen systemaattinen ja harkittu muuntelu eli herkkyystarkastelu kertoo onneksi tulosten tarkkuudesta parhaimmillaan paljon. 

Useiden skenaarioiden tulosten esittäminen ei ole paljon sen vaikeampaa kuin yhden piste-estimaatin esittäminen. Kun tulokset esitetään käyränä, voidaan piirtää useampia käyriä tai käyttää tilastollisia luottamusvälejä, kuten Valtiovarainministeriö on esimerkiksi bkt-ennusteissaan jo pidempään tehnyt (Kuva 1). Toinen visuaalisesti havainnollinen tapa esittää ennusteiden epävarmuudet on kansainvälisen ilmastopaneeli IPCC:n raporteissaan jo pitkään käyttämä tulosviuhka (Kuva 2).   

Myös epävarmuus kannattaa kvantifioida 

Ennusteista uutisoitaessa olisi hyvä myös tuoda esiin, miten luotettavina niitä tekevät asiantuntijat ennusteitaan itse pitävät. Yksi helposti hahmotettava tekniikka varmuuden ilmoittamiseksi on käyttää numeroita. Toki siihen liittyy ongelmia, sillä usein epävarmuuden arvioiminen aivan yhtä vaikeaa kuin itse piste-estimaatin tekeminen. 

Niin kansainvälinen ilmastopaneeli IPCC kuin moni muukin asiantuntijaelin edellyttää julkaisuissaan selvyyden vuoksi sekä vakioitujen termien että numeroiden käyttöä arvioiden epävarmuuksien ilmaisemisessa. Esimerkiksi jos jotain kehityskulkua pidetään “todennäköisenä” (likely), sen pitäisi asiantuntijoiden arvion mukaan toteutua yli 66 prosentin todennäköisyydellä. Vastaavia epävarmuuden kvantitatiivisia arvioita voitaisiin edellyttää myös ministeriöiden ennusteilta.  

Numeroiden käytön suuri hyöty tulee niiden selkeydestä. On hyvin eri asia ennustaa vaikkapa työllisyyden lisääntyvän merkittävästi kuin ilmoittaa arvioiduksi lisäykseksi 74 100 työllistä. Epävarmuuksien käsittelyn yhteydessä ongelman hahmottaa helposti miettimällä, miten eri tavoin vaikkapa sana “todennäköinen” voidaan ymmärtää: kun asiaa on tutkittu, eri ihmiset ovat vastanneet sen tarkoittavan numeroiksi muutettuna todennäköisyyksiä 25 prosentista jopa 90 prosenttiin.  

Epävarmuuden kvantifiointi perustuu tietenkin asiantuntijoiden omaan, ainakin osin subjektiiviseen arvioon – aivan kuten ylivoimainen valtaosa politiikan vaikutusarvioista ja muista ennusteista. Numeroiden käyttö ei siis tee arviosta tarkempaa, vaan vain auttaa hahmottamaan, miten paljon asiantuntijat luottavat arvioon. 

Kvantifiointiin on erilaisia menetelmiä, joista yksinkertaisin on pyytää asiantuntijoilta yksi arvio kehityskulun todennäköisyydestä. Systemaattisissa päätöksentekomenetelmissä usein käytetty tapa hahmottaa arvion luotettavuutta on kysyä asiantuntijoilta arviota kolmesta lukemasta: vaihteluvälin mediaanista eli keskimmäisestä luvusta sekä kvartiileista, joiden sisälle todellinen arvo heidän mukaansa osuu 25 ja 75 prosentin todennäköisyyksillä. Päätöksentekoa koskevassa tutkimuskirjallisuudessa on esitetty ja arvioitu monia muitakin tapoja. Asiantuntijoita voidaan esimerkiksi pyytää arvioimaan jonkin tietyn lopputuloksen tai vaihteluvälin todennäköisyyttä, tai arviota vaihteluvälistä, jonka sisään todellisuus mahtuu 50 prosentin todennäköisyydellä. 

Ennusteiden osumatarkkuutta pitäisi seurata ja kehittää 

Ennusteet ovat toisin sanoen aina epävarmoja ja epätarkkoja. Ennusteiden osumatarkkuuden seurantaan ja parantamiseen kannattaa silti satsata, sillä päätösten pitää nojata parhaaseen tietoon ja ennusteilla voi olla niihin iso vaikutus. Esimerkiksi päätökset valtion budjetista, julkisista menoista ja veroista perustetaan uusimpiin talousennusteisiin. SOSTEn selvityksen mukaan suomalaiset ennusteet ovat kuitenkin säännönmukaisesti liioitelleet seuraavan vuoden talouskasvua, keskimäärin 1,2 prosenttiyksiköllä vuodesta 2017 lähtien. Virhe on saanut esimerkiksi leikkaukset julkisista menoista näyttämään järkevämmältä kuin mitä ne ovat olleet. On todennäköistä, että paremmin osuneet ennusteet olisivat johtaneet myös osuvampaan talouspolitiikkaan.  

Länsimaisen filosofian katsotaan toisinaan alkaneen Sokrateen lausahduksesta “tiedän, etten tiedä mitään.” Viimeistään siitä lähtien viisauden etsijät ovat ymmärtäneet tietomme rajojen merkityksen. Tieteen edistysaskeleita on suurelta osin motivoinut ja ohjannut tietomme rajojen tarkentaminen ja epävarmuuksien systemaattinen vähentäminen.  

Tietomme rajoja ei kuitenkaan voi tarkentaa, eikä epävarmuuksia vähentää, jos kumpaakaan ei käsitellä avoimesti. Epävarmuuksien tunnustaminen onkin paremman päätöksenteon perusta. 

Kirjoittaja tutki ja opiskeli mallintamista ja sen rajoitteita tohtoriopinnoissaan.  

Janne M. Korhonen toimii säätiön oikeudenmukaisen kestävän siirtymän asiantuntijana ja on erikoistunut energiajärjestelmiin. Korhonen on valmistunut diplomi-insinööriksi Teknillisestä korkeakoulusta ja väitellyt tohtoriksi Aalto-yliopiston kauppakorkeakoulusta.