Kuntoutussäätiö toteutti vuosina 2020–2023 STEAn tuella kokeilun, jossa tarkoituksena oli tunnistaa ja kokeilla käytännössä erilaisia järjestölähtöisen tavoitteellisen ryhmätoiminnan vaikutusten arviointiin mahdollisesti soveltuvia itsearviointimenetelmiä, sekä selvittää vaikutusten arvioinnin käytänteiden yhtenäistämisen mahdollisuuksia. Lisäksi tarkoituksena oli tukea järjestöjen osaamista ja tietoisuutta vaikutusten arviointiin soveltuvista itsearviointimenetelmistä.

Kokeilu käynnistyi kuntoutuksen vaikutusten arviontiin soveltuvien itsearviointimenetelmien kartoituksella. Kartoituksessa huomioitiin mm. Kelan kuntoutuksen hyödyn arvioinnissa suositellut menetelmät sekä KUTI-hankkeessa laadittu 2020 laadittu suositus ”Aikuisten toimintakyvyn itsearviointi kuntoutumistarpeen tunnistamisessa ja kuntoutumisen seurannassa”. Selvitystyön ja järjestöyhteistyökumppaneiden (Eläkeliitto, Lihastautiliitto, Neuroliitto ja Mielenterveyden keskusliitto) kanssa käytyjen keskustelujen pohjalta valittiin itsearviointimittarit, joiden toimivuutta kokeiltiin pilottiryhmiksi valituilla kursseilla. Mittareita (vähintään yksi / järjestö) kokeiltiin vuodesta 2021 alkaen Eläkeliiton, Lihastautiliiton ja Neuroliiton kursseilla. Loppuvuodesta 2022 alkaen mittareita kokeiltiin myös Mielenterveyden keskusliiton kursseilla sovelletulla toteutustavalla, mittarien valinnassa otettiin huomioon myös niiden soveltuvuus kurssien hyötyjen taloudelliseen arviointiin.

Eläkeliiton, Lihastautiliiton ja Neuroliiton kursseille kokeiluun valitut itsearviointimittarit olivat Promis Yleinen terveys, Kykyviisari tai EuroHIS-8. Vastaukset kerättiin kurssin alussa ja 3–12 kuukauden kuluttua kurssin pääjakson päättymisestä. Seuranta-ajan valinnassa huomioitiin kurssin kesto ja rakenne. Seurantavaiheessa itsearviointimenetelmän lisäksi vastaajille esitettiin kysymys ”Koetko hyötyneesi kurssista” (vastausvaihtoehdot: erittäin paljon, melko paljon, melko vähän, en lainkaan), lisäksi mahdollisia koettuja hyötyjä pyydettiin kuvaamaan avovastauksin.  Vastaajia pyydettiin myös arvioimaan kouluarvosanalla, kuinka hyvin koki käytetyn mittarin tavoittaneen hyötyjä, joita on mahdollisesti kurssilta saanut, ja perustelemaan miksi päätyi valitsemaansa arvosanaan. Myös kurssiohjaajilta kerättiin tietoa menetelmän toimivuudesta pienryhmissä keskustellen.

Kokemukset EuroHIS-8 -mittarista

Eläkeliitto kokeili koettua elämänlaatua kartoittavaa EuroHIS-8-mittaria yhteensä seitsemällä ryhmämuotoisella kurssilla. Kurssin alussa kyselyyn vastasi 89 kurssiosallistujaa. Vastaajat olivat keskimäärin 68-vuotiaita, heistä 82 prosenttia oli naisia ja 91 prosenttia asui kotona yksin.  Kolmen kuukauden seuranta-ajan jälkeen toteutettuun kyselyyn vastasi 65 kurssiosallistujaa.  

Koetun elämänlaadun keskiarvo oli hieman korkeampi seurantajakson päättyessä kuin kurssin alussa, mutta muutos ei ollut tilastollisesti merkitsevä. Kurssista koki hyötyneensä erittäin tai melko paljon 92 prosenttia kysymykseen vastanneista.

Kysyttäessä kuinka hyvin ja osuvasti EuroHIS-8 mittarin kysymykset tavoittivat keskeisimmät koetut kurssihyödyt, oli mittarin kurssiosallistujilta saama kouluarvosanan keskiarvo 8,0 (keskihajonta 1,2). Vastaajien palautteessa (39 avovastausta) mittari oli koettu selkeäksi ja ymmärrettäväksi ja kysymykset hyviksi ja monipuolisiksi. Osa vastaajista koki, että kysymyksiä olisi voinut olla enemmänkin. Lisäksi tuotiin esiin kyselyihin yleisesti liittyvät, seuranta-aikaan ja muuttuviin olosuhteisiin liittyvät ongelmat (esim. vointi voi olla tilapäisesti huonompi). Asioita joihin osallistujat kokivat saaneensa hyötyä kurssilta, mutta puuttuivat EuroHIS-8-kyselystä, olivat: oman itsen hyväksyminen ja armollisuus, tunteiden käsittely ja hyväksyminen, usko tulevaisuuteen, ajattelun avartuminen, yksinäisyyden väheneminen, elämänhallinnan kohentuminen, itsevarmuuden lisääntyminen, tiedon ja työkalujen lisääntyminen sekä vertaistuen saanti.

Kokemukset PROMIS Yleinen terveys -mittarista

Neuroliitto kokeili PROMIS Yleinen terveys -mittaria yhteensä kuudella ryhmämuotoisella kurssilla. Kurssin alussa kyselyyn vastasi 47 kurssiosallistujaa. Vastaajat olivat keskimäärin 47-vuotiaita, heistä selkeä enemmistö (92 %) oli naisia ja 92 prosenttia asui kotona perheen kanssa. Seurantakyselyyn vastattiin 6–12 kuukauden seuranta-ajan jälkeen kurssin rakenteen mukaan, seurantakyselyyn vastasi 30 kurssiosallistujaa. 

Koetussa yleisessä mielenterveydessä tapahtui tilastollisesti merkitsevä (p = 0,042) myönteinen muutos lähtötilanteen ja seurannan välisenä aikana. Myös koetun fyysisen terveyden keskiarvo oli korkeampi seurantavaiheessa kuin lähtötilanteessa, mutta muutos ei ollut tilastollisesti merkitsevä. Kurssista koki hyötyneensä erittäin tai melko paljon 94 prosenttia kysymykseen vastanneista.

Kysyttäessä kuinka hyvin ja osuvasti PROMIS yleinen terveys -mittarin kysymykset tavoittivat keskeisimmät koetut kurssihyödyt, oli mittarin kurssiosallistujilta saama kouluarvosanan keskiarvo 7,9 (keskihajonta 1,0). Vastaajien palautteessa (27 avovastausta) nousi keskeisenä esiin vertaistuen saanti ja sen merkitys. Vertaistuen koettiin vaikuttaneen paljon elämään, mikä ei tule esiin PROMIS-mittarin kysymyksissä. Merkitykselliseksi koettiin myös asioiden hyväksyminen, kokemuksen itsestä ja sairaudesta koettiin muuttuneen merkittävästi. Muita asioita, joihin osallistujat kokivat saaneensa hyötyä, mutta PROMIS-mittari ei riittävästi tavoita, olivat mm. omien vahvuuksien huomaaminen, tulevaisuuden selkiytymisen kokemus, välineiden saanti parempaan arkeen ja kohentunut kivun hallinta. Lisäksi vastauksissa tuotiin esiin kyselyihin yleisesti liittyvät, seuranta-aikaan ja muuttuviin olosuhteisiin liittyvät ongelmat, esim. voinnin voimakas vaihtelu vaikuttaa vastauksiin ja monessa kohdin vastaaja olisi hyvin voinut valita toisenlaisenkin vastauksen. Yleiseen terveyteen ja sen kokemiseen koettiin vaikuttavan niin monet eri seikat, että suoranainen yhteys näin yleisellä tasolla ei täysin mittaa kurssin hyötyjä.

Kokemukset Kykyviisarista

Lihastautiliitto kokeili työ- ja toimintakykyä kartoittavaa Kykyviisaria yhteensä viidellä ryhmämuotoisella kurssilla, jotka oli suunnattu lihastautia sairastaville tai henkilöille, joilla oli lääkärin toteama epäilylihassairaudesta. Kurssin alussa Kykyviisarin täytti 35 kurssiosallistujaa. Vastaajat olivat keskimäärin 45-vuotiaita, suurin osa (75 %) oli naisia ja asui kotona perheen kanssa (64 %). Seurantakyselyyn vastasi 19 kurssiosallistujaa, seuranta-aika vaihteli eri kursseilla kolmesta kuuteen kuukauteen.

Kykyviisarilla arvioiduilla osa-alueilla ei tapahtunut tilastollisesti merkitseviä muutoksia seurannan aikana. Kurssista koki hyötyneensä erittäin tai melko paljon 93 prosenttia kysymykseen vastanneista (n = 15).

Kysyttäessä kuinka hyvin ja osuvasti kykyviisarin kysymykset tavoittivat keskeisimmät koetut kurssihyödyt, oli mittarin kurssiosallistujilta saama kouluarvosanan keskiarvo 8,1 (keskihajonta 1,5).  Vastaajien palautteessa (10 avovastausta) tuotiin esiin, että kysely on kovin pitkä, eikä yleensä ole riittävästi aikaa käytettävissä, että voisi tehdä testin kunnolla. Kysymysten suuren määrän takia oli myös vaikea arvioida niitä suhteutettuna kurssin antiin. Toisaalta nähtiin positiivisena se, että kysymykset ohjasivat miettimään monipuolisesti omia toimintakyvyn mahdollisuuksia. Vastauksissa tuotiin myös esiin, että Kykyviisari ei ole ehkä paras mittari arvioimaan etenevää lihassairautta sairastavaa, tai henkilöille, joilla on ylipäätään vaikeita toimintarajoitteita.

Muut kokeilussa käytetyt mittarit

Mielenterveyden keskusliiton (MTKL) kansa tehdyn yhteiskehityskokeilun alkuperäinen tavoite oli mitata kustannusvaikuttavuutta, mutta tavoitetta muokattiin yleisempään suuntaan, keinoihin seurata ja mitata järjestöjen tavoitteellisen ryhmätoiminnan taloudellista merkitystä yhteiskunnallisella tasolla. Menetelmissä hyödynnettiin mm. Kuntoutussäätiön SROI-analyyseissa käytettyjä mittaustapoja, validoituja mittareita sekä järjestön omia mittareita. Tässä kuvaamme vain käytettyjä mittareita ja niihin liittyviä kokemuksia, emme taloudellista arviointia.

Selvitystyön ja MTKLn kanssa käytyjen keskustelujen pohjalta yhdessä valittiin käytettävät mittarit ja kurssit, joista tietoja kerätään. Tietoja kerättiin 10:ltä erimuotoiselta kurssilta: verkko-, avo- ja läsnä kursseilta (yöpyvä).  Kursseille osallistui 166 henkeä, joista 146 palautti alkukyselyn ja 58 seurantakyselyn. Kyselyt täytettiin kurssin alussa ja noin 2 kk kuluttua kurssin päättymisen jälkeen. Vastanneista hieman yli 75 prosenttia oli 30–54-vuotiaita, alkukyselyyn vastanneista oli naisia 86 prosenttia ja loppukyselyyn vastanneista 79 prosenttia. Alku- ja seurantakyselyvastauksia ei ollut mahdollista yhdistää henkilötasolla. Tietojen keruu käynnistyi marraskuussa 2022 ja jatkui marras-joulukuuhun 2023.

MTKL-pilottiin valittiin seuraavat yleisessä käytössä olevat validoidut mittarit ja tietojen keruut:

• EuroHIS-8 Elämänlaatumittari
• Masennus (Kaksi kysymystä masennuksesta, eli PRIME-MD:n kahden kysymyksen seula)
• Ahdistuneisuuskysely (GAD-2) (”Hermostuneisuuden, ahdistuneisuuden tai kireyden tunne” ja ” Kyvyttömyys lopettaa huolehtiminen tai pitää se kurissa”)
• Koettu yksinäisyys (Tunnetko itsesi yksinäiseksi? En koskaan / hyvin harvoin / joskus / melko usein / jatkuvasti)
• Koettu työkyky / Työkykypistemäärä (Minkä pistemäärän antaisitte nykyiselle työkyvyllenne, asteikolla 0–10?)
• MTKLn oma mittari (11 kysymystä)

Kaikki valitut/käytetyt validoidut mittarit osoittivat muutosta parempaan mielen terveyteen, vaikkakaan ei aina tilastollisesti merkittävästi: kursseille osallistuneiden koettu elämänlaatu ja työkyky paranivat, sekä koettu masennus, ahdistuneisuus ja yksinäisyys vähenivät. Myös kaikki MTKL:n oman mittarin osiot kertoivat positiivisesta muutoksesta.