Projektitoimijat tunnistavat, että hankkeen vaikuttavuus on hiukan hähmäinen mutta samalla keskeinen asia, jota tulee arvioida ja todentaa hankkeen eri vaiheissa.
Vaikuttavuuden arviointi auttaa varmistamaan, että hankkeen tavoitteet toteutuvat ja tulokset leviävät oikeille kohderyhmille. TNO Pohjois-Karjala -hankkeessa otimme käyttöön vertaisarvioinnin, joka osoittautui kokeilemisen arvoiseksi menetelmäksi. Ryhmähankkeen osahankkeet arvioivat toisiaan yhteisesti määriteltyjen kriteerien mukaan. Vertaisarvioinnin ideana on, että kukin osahanke kerää palautteen ja järjestää vuorollaan omaa hankettaan koskevan vertaisarviointitapaamisen, jossa käsitellään palautekyselyssä saatuja tuloksia ja käydään keskustelua hankkeen tavoitteiden toteutumisesta ja tulosten levittämisestä ja vakiintumisesta.
Karelian osahankkeen tavoitteena on työssä olevien henkilöiden osaamisen kehittäminen ja työpaikkojen oppimismyönteisyyden lisääminen. Kohderyhmänä ovat erityisesti maakunnan teollisuusalojen yritysten henkilöstö ja esihenkilöt.
Miten prosessi eteni?
Vertaisarviointiprosessi alkoi yhteisen toimintamallin ja aikataulun suunnittelulla. TNO Pohjois-Karjala -hankkeessa on viisi osatoteuttajaa: Karelia, Itä-Suomen yliopisto, Riveria, Rastor Instituutti ja Joensuun kaupunki, joka on hankkeen päätoteuttaja. Osahankkeiden projektipäälliköt laativat vertaisarvioinnin toteutuksen raamit ja yksityiskohtaiseen suunnitteluun pyydettiin mukaan hanketyöntekijöitä.
Arviointia varten laadittiin yhteismitallinen palautekysymyspatteristo, joka on sama kaikille osatoteuttajille. Vaikka ryhmähankkeessa teemme yhteistyötä osatoteuttajien kanssa, emme välttämättä tiedä toistemme toimintojen taustoja tai toteutumisia kovin tarkkaan. Jokainen osahanke toimitti arvioinnin tueksi taustamateriaalia, kuten hankkeen tavoitteet, resurssit, toimenpiteet, tulokset, indikaattorit ja viestintäaineistoa, enintään neljä sivua. Näin varmistettiin, että arvioijat ymmärtävät hankkeen kokonaiskuvan.
Syksyn 2025 aikana ehdittiin tehdä vertaisarviointi jokaiselle viidelle osahankkeelle. Vertaisarviointeihin osallistui yleisesti ottaen kaikkien osahankkeiden koko henkilöstö, paitsi Joensuun kaupungin osahankkeesta, jossa hankehenkilöstöä on paljon. Jokaiselle osahankkeelle tuli sähköpostiin sovitun aikataulun mukaan arvioitavan hanketoteuttajan palautekysely ja siihen liittyvä tausta-aineisto. Aikaa perehtymiseen ja palautekyselyyn vastaamiseen sovittiin viikko. Vertaisarviointitapaaminen Teamsissa oli viikon kuluttua tästä. Jokainen osahanke arvioi tällä tavalla syksyn aikana neljä muuta osahanketta.
Arvioitavan osahankkeen tehtäviin kuului puolestaan laatia oman hankehenkilöstön kanssa arvioinnin taustamateriaali sekä suorittaa kysely muille osahankkeille sovitussa aikataulussa. Vertaisarviointitapaamista varten tuli analysoida kyselyn tulokset ja muotoilla ne esitettävään muotoon. Tulokset toimivat tapaamisessa arviointikeskustelun pohjana.
Vertaisarviointitapaamiset
Vertaisarviointitapaamisissa osahankkeet toteuttivat kyselyn tulosten esittelyn ja hankekumppaneiden osallistamisen itse valitsemallaan tavalla. Jotkut hyödynsivät osallistamiseen esimerkiksi Mentimeteriä ja pienryhmätyöskentelyä Teamsissa. Tapaamisissa pystyttiin paneutumaan kyselyn numeraalisiin tuloksiin, avoimiin vastauksiin ja mahdollisiin hankekumppaneiden kysymyksiin. Osatoteuttajia pyydettiin myös pohtimaan ratkaisuja hankkeessa koettuihin haasteisiin. Heitä osallistettiin sparraamaan hankkeen toteuttamista ja pohtimaan, miten tietoisuutta arvioitavan hankkeen toiminnasta ja tuloksista saadaan levitettyä eteenpäin sidosryhmille. Tapaamisissa syntyi hyvää ja avointa keskustelua ja osallistujat olivat aidosti mukana antamassa palautetta ja vinkkejä, miten hankkeen toimintaa voidaan kehittää jatkossa.
Haasteena kuitenkin koettiin, että saadusta taustamateriaalista huolimatta arvioitavan hankkeen toiminta ja tulokset eivät välttämättä auenneet hankekumppaneille riittävästi. Voikin kriittisesti pohtia, antavatko kyselyn numeraaliset vastaukset todellisuutta vastaavan kuvan hankkeen toiminnasta. Ajattelemme, että vaikuttavuus todentuu yleensä pitkällä aikavälillä hankkeen jälkeen, esimerkiksi havaittavana muutoksena toiminnassa. Hankkeen aikana voimme vain ennakoida vaikuttavuutta ja varmistaa hanketulosten leviäminen ja juurtuminen. Sekä arvioijan rooli että arviointia vastaanottavan osapuolen rooli oli kuitenkin prosessissa tarpeellinen. Kokemus oli opettavainen, vaikka totesimmekin, että laajamittainen vertaisarviointiprosessi tuntuu myös työllistävältä ja työläältä hankkeen toiminnan toteuttamisen ohessa.
Millaista palautetta ja sparraustukea Karelian osahanke sai?
Palautekyselyymme vastasi kymmenen henkilöä. Vertaisarvioinnin mukaan TNO Pohjois-Karjala Karelian osahanke on edennyt hyvin tavoitteidensa mukaisesti. Asteikolla 1-5 arvioitiin, että hankkeen toiminnot ovat toteutuneet pääosin suunnitellusti, mikä näkyy keskiarvona 4,2. Korkeimmat arviot saatiin kysymyksiin Toiminnot ovat tarpeellisia (4,7) ja Toiminnot tukevat tavoitteita (4,7). Toimintoja on kehitetty palautteen pohjalta, keskiarvona 4,3. Kehittämiskohteena nousi esimerkiksi sidos- ja kohderyhmälle suunnatun ulkoisen viestinnän edelleen kehittäminen. Osahankkeen kohderyhmä on tarkoin rajattu, jolloin parhaaksi viestinnän muodoksi on valittu hankkeen alusta asti suora kontaktoiminen ja yrityksiin jalkautuminen.
Miten meitä sparrattiin? Olemme jo tähän mennessä saavuttaneet hankkeen määrälliset tavoitteet osallistuvien yritysten ja esihenkilöiden osalta, mutta kysyimme hankekumppaneilta, miten saisimme kohderyhmänämme olevia teollisuusyritysten työntekijöitä enemmän mukaan hankkeen järjestämiin työuraohjaukseen ja osaamisen kehittämisen valmennuksiin. Olennaisena asiana nähtiin, saako työntekijä käyttää työaikaa koulutukseen osallistumiseen, vai ei. Esihenkilöiden näkemys henkilöstön osaamisen kehittämisestä on tässä siis merkittävä tekijä. Hankkeen tulisi selkeästi sanoittaa koulutukseen osallistujan saama hyöty ja profiloida markkinointia hyödyn kannalta. Voisimme myös nostaa enemmän esiin tulevaisuuden osaamistarpeita, mikä voisi lisätä kohderyhmän kiinnostusta ja motivaatiota lisäkouluttautumiseen. Todettiin myös, että sana työuraohjaus on monille tuntematon, ja ehdotettiin, voisiko sen korvata yleisemmällä termillä osaamisen kehittäminen.
Vaikuttavuuden arvioinnista hankkeiden yhteisenä havaintona oli, että hankkeen kohderyhmälle jälkikäteen lähetettyihin palautekyselyihin saadaan yleensä hyvin niukasti vastauksia. Välitön palaute tulisi kerätä jo hankkeen järjestämän tapahtuman tai koulutuksen aikana. Kun halutaan tarkastella vaikuttavuutta laajemmin ja pidemmällä aikavälillä, hankkeessa mukana olevien yritysten esihenkilöt tulisi sitouttaa hankkeen vaikuttavuuden arviointiin, saatiinko toiminnalla pysyviä muutoksia aikaan.
Mitä opimme?
Vaikka vertaisarviointi vaatii resursseja, se myös tarjoaa uusia näkökulmia hankkeen toteutukseen. Vertaisarviointi tuo konkreettisia kehittämisehdotuksia ja mahdollisuuden oppia toisilta sekä vahvistaa yhteistyötä. TNO Pohjois-Karjala -ryhmähanke on mukana rakentamassa maakunnallista työllisyyden ekosysteemiä, kukin osahanke omalla panoksellaan. Vertaisarviointiprosessi syvensi tietoutta jokaisen osahankkeen toiminnasta ja tulosten toteutumisesta, mikä myös osaltaan lisää hankkeen vaikuttavuutta. Vertaisarviointi ei ole vain arviointia – se on myös toistemme sparrausta ja yhteistä kehittämistä yhteisen tavoitteen saavuttamiseksi.
Kirjoittajat:
Niina Pennanen, projektipäällikkö, Karelia-ammattikorkeakoulu
Satu Saarinen, projektiasiantuntija, lehtori, Karelia-ammattikorkeakoulu
Katja Hirvonen, projektiasiantuntija, jatkuvan oppimisen suunnittelija, Karelia-ammattikorkeakoulu
TNO Pohjois-Karjala tietoa, neuvontaa ja ohjausta pohjoiskarjalaisten menestykseksi -hanke on EU:n osarahoittama hanke (2024–2026).