Toiminnan arviointi ja vaikuttavuus

Organisaation kehittämistä ja laatua arvioidaan CAF:n avulla. Kohteena ovat organisaation toiminta ja tulokset. Sen avulla kansalaisopiston toiminta tulee näkyvämmäksi, saadaan kehittämishankkeille poliittista tukea ja voidaan perustella uusien kehittämishankkeiden tarve. Sen myötä hankkeisiin osallistuvat oppilaitokset voivat syventää yhteistyötä sekä se mahdollistaa opetushenkilökunnan täydennyskoulutukset. CAF-malli perustuu jatkuvaan oppimiseen ja toiminnan systemaattiseen kehittämiseen.

Kouvolan oppivat opistot -hankkeen tavoitteena oli mm. kehittää organisaatioiden toimintaa. Sitä tehtiin CAF-arviointiprosessin avulla. Arviointiprosessi sisälsi neljä toiminnan laatuun ja kehittämiseen tähtäävää laatuseminaaria, kolme opistokohtaista itsearviointitilaisuutta seminaarissa saatujen työkalujen avulla ja yhteenvetoseminaaripäivän. CAF-itsearviointijärjestelmä todettiin toimivaksi ja arviointia päätettiin jatkaa säännöllisin väliajoin, koska kansalaisopiston ainealueiden pienryhmät ovat olleet valmiiksi olemassa, CAF:ia voitiin soveltaa pienryhmätyöskentelyssä ja sen tulokset tallettaa Moodleen, jota Kouvolan kansalaisopisto käyttää sisäisen viestinnän välineenä. CAF-arviointijärjestelmä oli näin yhdistetty helposti osaksi opiston toimintaa. Se sitoutti osallistujia tekemiseen ja työskentely oli jaksotettu kevyeksi, mutta motivaatio kärsi niillä opettajilla, jotka pääsivät mukaan vain harvoin.

Kansalaisopistotoiminnan laadun arviointi

Pertti Jääskä
rehtori
Porvoon kansalaisopisto

Laatu…tietäähän sen mitä se on, mutta silti ei tiedä mitä se on. Mutta tuo on ristiriitainen väite. Mutta onhan jokin jotain muuta parempaa, toisin sanoen siinä on enemmän laatua. Mutta kun yrittää sanoa, mitä se laatu on, paitsi niitä seikkoja joissa sitä on, se kaikki katoa käsistä. (Pirsig 2010, 199.)

Jotta toiminnan laatua voisi arvioida, on toiminta tehtävä jollain tapaa näkyväksi. Yleensä tämä tapahtuu siten, että toiminta kuvataan joko laatukäsikirjaan tai toimintakäsikirjaan. Nämä eroavat toisistaan siten, että toimintakäsikirjassa kuvataan miten tällä hetkellä toimitaan, laatukäsikirjassa myös miten toimintaa aiotaan parantaa tulevaisuudessa. Kansalaisopistojen ja monien muidenkin oppilaitosten toiminnan kuvaamiseen käytettiin alkuun Suomen laatupalkinnon (SLP), sitten Euroopan laatupalkinnon (EFQM) mukaisia perusteita ja viime vuosina on otettu käyttöön ns. CAF-arviointi (Certified Assesment Framework). Kaikki nämä eri arviointijärjestelmät sisältävät yhdeksän eri arviointialuetta, jotka kattavat koko organisaation toiminnan.

Porvoon kansalaisopistolla on toimintaa arvioitu jo noin kaksikymmentä vuotta. Alussa oli työläintä saada kirjoitettua toiminta näkyväksi siten, että se todella kuvasi sen hetkistä tapaa toimia, ei mitä se mahdollisesti tulevaisuudessa tulisi olemaan. Vähitellen käsikirjasta tuli totuudenmukainen kuvaus opiston sen hetkisestä toimintakäytänteestä. Seuraavaksi jouduttiin miettimään paljon sitä, miten toimintaa aiotaan parantaa tulevaisuudessa. Monesti opiston toimintaprosessit tuntuivat jo hyvinkin hiotuilta ja mahdolliset muutokset melko vähäisiltä. Kuitenkin, mikäli ulkopuolinen arvioija tulee arvioimaan toimintaa, hän haluaa aina tietää, miten kuvattua toimintaa aiotaan parantaa. Toisaalta, kun laatukäsikirjassa kuvattua toimintaa tarkasteltiin esim. kahden vuoden päästä, niin huomattiin, että itse asiassa toimintaan olikin tullut aika paljon muutoksia. Ulkopuolisen arvioinnin kannalta oli pulmallista se, että muutokset eivät välttämättä tapahtuneet tietoisen järjestelmällisen kehittämisen kautta.

Toimintaprosessien sujuvuutta voi siis arvioida, kunhan toiminta ja mahdolliset parantamistoimet on kuvattu. Viimeisenä osiona eri arviointijärjestelmissä ovat toiminnan tulokset. Näiltä osin helpointa on esittää numeraalisia tuloksia, jotka liittyvät toiminnan taloudellisuuteen tai tehokkuuteen. Tällaisia mittareita ovat esim. opistotoiminnan kustannukset euroa/tunti, euroa/opiskelija, euroa/asukas tai paljonko kurssilaisia on per kurssi, kuinka monta prosenttia kunnan asukkaista on opiston opiskelijoita, kuinka paljon opistolla on käytössään henkilötyövuosia opetustuntimäärään nähden jne.

Vaikeinta on mitata toiminnan vaikuttavuutta ja yhdistää se jotenkin taloudellisuuteen ja tehokkuuteen. Kaikkien mittareiden osalta olisi loogista toimia TOI-TOI-periaatteella eli toimintasuunnitelmassa asetetaan tavoitteet ja toimintakertomuksessa kuvataan miten tavoitteet on saavutettu. Aika harvan kunnallisen kansalaisopiston kuntasuunnitelmassa on vaikuttavuutta kuvaavia mittareita. Vaikuttavuutta yleensä arvioidaan kurssi- tai asiakastyytyväisyyskyselyllä. Tällöin saadaan kuitenkin jossain määrin pinnallista tietoa toiminnan vaikuttavuudesta, ja monesti kyselyn tulokset eivät vaikuta kovinkaan paljoa opiston toimintakulttuuriin. Syvällisempää tietoa saadaan haastattelun avulla, mutta tällaisen toteuttaminen on opistoille taloudellisesti lähes mahdotonta. Onneksi Jyri Manninen on omassa, kiitettävästi huomiota saaneessa Bell-tutkimuksessaan saanut tuotua esiin myös näitä hyötyjä.

Toiminnan laadun arviointi on siis vaikeaa, mutta ei mahdotonta. Kansalaisopistot joutuvat tulevaisuudessa aiempaa enemmän perustelemaan toimintaansa myös toiminnan laadukkuuden ja vaikuttavuuden kautta. Tällöin on hyvä, jos on olemassa jo valmis järjestelmä, jolla toimintaa arvioidaan.

Pirsig, Robert M, 2010, Zen ja moottoripyörän kunnossapito, Juva: WSOY.