Kansainvälisten arviointitutkimusten menestyksellinen toteuttaminen edellyttää ammattitaitoa niin tutkimuksen suunnittelussa, valmistelussa kuin kerätyn aineiston käsittelyssä. Joskus – varsinkin kun PISA-tulokset julkistetaan – kuitenkin tuntuu, että suuren työn tuloksena saadaan vain hetken kestäviä mediatapahtumia, jotka keskittyvät Suomen kansainvälisen rankingin ympärille. Mediatapahtumien keskipisteenä ovat lähinnä raportin laatineet tutkijat ja heidän työtään kommentoivat poliitikot. Harva tietää, millaisen ponnistelun tuloksena tällaiset tutkimukset syntyvät. Tämä artikkeli valottaa sitä arkista tiimityötä, jota tutkimusten toteutuminen edellyttää.

Suomi osallistuu lukuisiin kansainvälisiin arviointeihin

Suomi osallistuu säännöllisesti useisiin kansainvälisiin koulutuksen arviointitutkimuksiin. Tunnetuin niistä on 15-vuotiaiden lukutaitoa sekä matematiikan ja luonnontieteiden osaamista kartoittava PISA-tutkimusohjelma. Muita tunnettuja tutkimuksia ovat TIMSS, jossa arvioidaan neljäs- ja kahdeksasluokkalaisten matematiikan ja luonnontieteiden osaamista, neljäsluokkalaisten lukutaitoa kartoittava PIRLS-tutkimus sekä kahdeksasluokkalaisten monilukutaitoa kartoittava ICILS-tutkimus. PIAAC-hankkeessa tarkastellaan aikuisväestön luku- ja numerotaitoja ja opettajille ja rehtoreille suunnatussa TALIS-tutkimuksessa koulujen työoloja.

Koulutuksen tutkimuslaitoksen (KTL) noin 20 hengen arviointitiimi vastaa näiden hankkeiden Suomen osuuden toteuttamisesta. Osa hankkeista toteutetaan yhteistyössä Helsingin yliopiston ja Tilastokeskuksen kanssa. Työhön kuuluu kansallisesti edustavan aineiston kerääminen alkuvalmisteluineen sekä kansainvälisesti laskettujen tulosten ja omien jatkoanalyysien kansallinen raportointi.

Aineistonkeruu vaatii huolellisen valmistelun

Aineistonkeruu sisältää testit taustakyselyineen. Sen vaatima työmäärä on melkoinen: yhdessä hankkeessa kerätään tietoja tyypillisesti 150–300 suomalaiskoululta ja 3 000–9 000 oppilaalta tai opettajalta.

Vuosi ennen varsinaista aineistonkeruuta suoritetaan kaikissa maissa esikoe pienemmällä koulu- ja oppilasmäärällä. Esikokeessa testataan koetehtävien ja kyselyiden toimivuus. Tavoitteena on koe, joka kattaa mitattavan aihealueen laaja-alaisesti ja on kulttuurisesti tasapuolinen osallistujamaiden kesken. Ennen esikoetta kussakin maassa käydään läpi kansainvälisen asiantuntijaryhmän ehdottamat tehtävät ja kyselyt. Lisäksi niiden käyttökelpoisuus tarkistetaan samoin kuin käännösten kelvollisuus. Tämä vaatii lukuisia kommenttikierroksia ja yhteydenpitoa kansainvälisten toimijoiden kanssa.

Ennen kuin koetta päästään toteuttamaan, on laadittava pätevä otantasuunnitelma, joka takaa valtakunnallisesti edustavan koulu- ja oppilasaineiston. Tätä varten on koottava mahdollisimman ajantasaiset oppilaitos- ja oppilasluettelot. Otantasuunnitelman hyväksyy kansainvälinen konsortio, joka myös suorittaa otannan. Osallistujamaa ei voi siten itse valita, mitkä koulut ja oppilaat tulevat otokseen.

Tietokoneet eivät poista käsityön tarvetta

Arviointitutkimukset toteutetaan tietokoneilla oppilaskohtaisilta USB-tikuilta ajettavilla testausohjelmilla. Kukin testattava oppilas saa oman USB-tikkunsa, joka sisältää juuri hänelle rakennetun tehtäväkokonaisuuden, ja lisäksi varatikun, jos varsinainen sattuu rikkoutumaan (sitäkin tapahtuu). Niinpä yhdessä hankkeessa KTL:ssä kopioidaan pyöreästi 10 000 tikkua ja postitetaan ne kouluille. Kun kokeet on tehty, tikut vastaanotetaan kouluilta ja tiedot puretaan tietokantaan. Osa tallennuksista joudutaan tekemään käsin; lisäksi on hoidettava avovastausten pisteytys ja avoimien taustakysymysten koodaus.

Kaikkien koulujen tietokoneet eivät sovellu testien tekemiseen. Näissä tapauksissa apuun rientävät KTL:n arviointivankkurit. Neljän pakettiauton (jokaisella kyydissään 40 tietokonetta) muodostama iskuryhmä toteuttaa testit kouluissa. Logistiset haasteet ovat melkoiset, sillä kouluja on kuvaannollisesti Hangosta Petsamoon. 

Myös paperityötä ja postitusta riittää. Kouluille toimitetaan muun muassa kokeenvalvojien ohjeistukset, ja erilaisia lomakkeita liikkuu KTL:n ja koulujen välillä. Paperityön ja postituksen organisointiin ollaankin suunnittelemassa tietoturvallista digitaalista ratkaisua.

Kokeiden suorittamisesta koulussa vastaa nimetty yhteyshenkilö, yleensä opettaja. Koulujen yhteyshenkilöt perehdytetään tähän tehtävään erityisissä koulutustilaisuuksissa eri puolilla maata. Koulujen yhteyshenkilöiden kanssa ollaan yhteydessä pitkin matkaa ja kysymyksiin vastaillaan niin puhelimitse kuin sähköpostitse.

Hankkeita meneillään koko ajan

Kansainväliset arviointitutkimukset pyörivät 3–5 vuoden sykleissä toisistaan riippumatta. Yhden arvioinnin elinkaari on yli kaksi vuotta. Niinpä arviointitiimi joutuu hetkittäin varsin koville. Tätä kirjoitettaessa henkilöstömme työskentelee seitsemän kansainvälisen hankkeen parissa: PISA 2018, ICILS 2018, TALIS 2018 ja TIMSS 2019 ovat kaikki meneillään, ja lisäksi hankkeiden PISA 2021, PIAAC 2022 ja PIRLS 2021 valmistelut on käynnistetty. Kun yhden hankkeen saa valmiiksi, seuraava odottaa jonossa. Käytännössä kaikkia hankkeita on kuitenkin hoidettava limittäin. Osaava ja työhönsä sitoutunut tiimi on enemmän kuin kullanarvoinen.

Lopputuloksena luotettavaa tietoa

Koulutuksen arvioinnit tarjoavat kansainvälisen kehyksen ja kriteeristön, jolla suomalaisen peruskoulun tuloksia ja niiden kehittymistä voidaan luotettavasti tarkastella. Samalla ne tuottavat päätöksenteon tueksi tietoa oppimistuloksiin vaikuttavista koulu- ja oppilaskohtaisista tekijöistä.

On hyvä huomata, että kaikki kansainväliset arviointiaineistot ovat vapaasti käytettävissä sen jälkeen, kun ensimmäiset tulokset on julkistettu. Aineistoista on luonnollisesti poistettu yksittäisiä oppilaita ja kouluja koskevat tunnistetiedot. Kansainvälisiä arviointitutkimuksia on Suomessakin tehty suunnilleen 20 vuoden ajan. Sinä aikana on kertynyt tutkijoiden käyttöön melkoinen tietovaranto paitsi koululaisten myös aikuisten osaamisesta ja siihen liittyvistä tekijöistä.

Kari Nissinen ja Juhani Rautopuro

Kirjoittajat työskentelevät Jyväskylän yliopiston Koulutuksen tutkimuslaitoksella. Apulaisprofessori Juhani Rautopuro johtaa Koulutuksen arviointi -tiimiä, jossa yliopistotutkija Kari Nissinen toimii tilastollisten menetelmien asiantuntijana ja PISA-tutkimuksen datamanagerina.

Lähetä palautetta kirjoittajille: kari.nissinen@jyu.fi tai juhani.rautopuro@jyu.fi

Kuvat: Martti Minkkinen

Edellinen | Seuraava | Palaa pääsivulle