Vaikuttavuuden arvioinnin työkalu Karelian CoARA Cascade -hankkeessa

Karelia-ammattikorkeakoulu kehittää tutkimuksen arviointia osana CoARA-yhteenliittymää, jossa on mukana yli 800 tutkimusorganisaatiota sekä keskeisiä tutkimusrahoittajia. CoARA (Coalition for Advancing Research Assessment) tähtää tutkimuksen, tutkijoiden ja tutkimusorganisaatioiden arviointikäytäntöjen uudistamiseen, ja sen keskeinen tavoite on tutkimuksen laadun ja vaikuttavuuden vahvistaminen.  Samalla siirretään tutkimuksen arvioinnin painopistettä määrällisestä arvioinnista laadullisen arvioinnin suuntaan sekä tunnustetaan tutkimuksen ja tutkijanurien moninaisuus.

CoARA-sopimuksen allekirjoittaminen on Karelia-ammattikorkeakoululle askel kohti entistä avoimempaa, vastuullisempaa ja vaikuttavampaa TKI-toimintaa. Ammattikorkeakoulujen osallistuminen arviointikäytänteiden uudistustyöhön on tärkeää, sillä TKI-työ ammattikorkeakouluissa eroaa monin tavoin perinteisten tiedekorkeakoulujen toiminnasta. Ammattikorkeakouluissa toteutetaan käytännön kehittämishankkeita, soveltavaa tutkimusta ja tuotekehitystä yhteistyössä yritysten ja muiden organisaatioiden kanssa. Tämän takia tarvitaan ammattikorkeakoulujen TKI-toiminnan erityisluonteen huomioivia laadullisia arviointimenetelmiä, jotta vaikuttavuutta voidaan arvioida muutenkin kuin numeroin.

Karelia sai kilpaillun projektirahoituksen arvioinnin kehittämiseen

CoARA-yhteenliittymä toteutti kesällä 2025 toisen Cascade Funding -rahoitushaun, jolla tuetaan organisaatioissa tehtävää tutkimuksen- ja tutkijanarvioinnin kehittämistyötä. Hakemuksia jätettiin yli 140, ja rahoituksen sai 28 projektia. Rahoitusta myönnettiin tiiminä tehtäviin projekteihin, pilottiprojekteihin sekä kestäviin muutoksiin organisaation arviointikäytänteissä tähtääviin projekteihin. Karelia sai haussa rahoituksen pilottiprojektille ”Assessment Tool for Evaluating the Qualitative Impact of RDI Activities at Universities of Applied Sciences”.

Karelian pilottihankkeessa suunnitellaan ja otetaan käyttöön vaikuttavuuden arviointiin soveltuva työkalu, joka integroidaan Karelian TKI-projektien koko elinkaareen suunnittelusta toteutukseen. Arviointityökalu auttaa määrittämään projektin halutut vaikuttavuustavoitteet, valitsemaan niihin sopivat toimenpiteet, seuraamaan tavoitteiden toteutumista ja arvioimaan projektien vaikuttavuutta.

Hanke liittyy laajemmin koko Karelia-ammattikorkeakoulun toiminnan laadun kehittämiseen. Suomen kansallisen koulutuksen arviointikeskuksen (Karvi) toteuttamat auditoinnit vuosina 2018–2024 ovat nostaneet esiin tarpeen selkeyttää korkeakoulujen yhteiskunnallisen vuorovaikutuksen ja vaikuttavuuden tavoitteita sekä kehittää mittareita näiden toteutumisen arvioimiseksi. Kareliassa on tunnistettu kehitystarve erityisesti TKI-toiminnassa, jossa vaikuttavuuden arviointi on hanketoiminnan moninaisuuden takia jäänyt epäjärjestelmälliseksi, eikä siihen ole ollut selkeitä prosesseja tai työkaluja. Siten arviointi on projektien osalta kohdistunut pääasiassa toimenpiteisiin, ei niiden vaikuttavuuteen.

Keskiössä vastuullinen määrällinen ja laadullinen arviointi

Hankkeessa laadittava arviointityökalu perustuu DORA-julkistuksen (San Francisco Declaration on Research Assessment) suosituksiin vastuullisesta määrällisestä arvioinnista. Tämä tarkoittaa sitä, että määrällisiä mittareita sovelletaan arvioinnissa kontekstin mukaisesti. Kattavassa arvioinnissa tulee hyödyntää sekä määrällisiä että laadullisia indikaattoreita. Tavoitteena on luoda työkalu, joka mahdollistaa systemaattisen, kokonaisvaltaisen ja vastuullisen TKI-projektien arvioinnin, jotta projektien vaikuttavuus ja tehokkuus voidaan todentaa luotettavasti. Tietojemme mukaan vastaavaa työkalua ei ole käytössä muissa suomalaisissa ammattikorkeakouluissa. Kun työkalu valmistuu, se jaetaan avoimesti kaikkien organisaatioiden käyttöön kansallisissa ja kansainvälisissä CoARA-verkostoissa sekä Zenodo -data-arkistossa.

Tarkoituksena on, että TKI-projektien arviointityökalu auttaisi myös havaitsemaan tutkimus- ja kehittämistoiminnan mahdolliset vinoumat. Arvioimalla yhteiskunnallista vaikuttavuutta pitkällä aikavälillä voidaan tunnistaa merkittäviä ja pysyviä vaikutuksia ammattikorkeakoulun TKI-projekteista. Lisäksi on tärkeää arvioida TKI-projektien ja yritysten välistä jatkuvaa ja konkreettista vuorovaikutusta, sillä nämä päivittäiset kontaktit voivat johtaa välittömiin vaikutuksiin ja kehittyä merkittäviksi pitkän aikavälin tuloksiksi.


Kirjoittajat:

Tarja Kupiainen, yliopettaja, projektipäällikkö, Karelia-ammattikorkeakoulu
Marja-Liisa Ruotsalainen, TKI-asiantuntija, Karelia-ammattikorkeakoulu
Kaisa Varis, TKI-asiantuntija, Karelia-ammattikorkeakoulu