Betri yfirsýn yfir þarfir og vanda barna með nýju tölvustýrðu mati

„Við erum með ágætis geðheilbrigðisstefnu þar sem lögð er áhersla á snemmtæka íhlutun og ábyrgð kerfisins gagnvart börnum og fjölskyldum, en á sama tíma vantar okkur áreiðanleg matstæki til að finna börn í vanda,“ segir Örnólfur Thorlacius, lektor við Sálfræðideild. Hann stýrir rannsóknarverkefni um þróun tölvustýrðra prófa (e. computerized adaptive testing; CAT) til að meta tilfinningastjórn og félagshæfni barna og unglinga. Til grundvallar prófunum liggur matskvarði sem Örnólfur þróaði í doktorsnámi sínu við HÍ og fengið hefur lofsamlega dóma á erlendri grundu.

Snemmtæk íhlutun lykill að betri stuðningi

Þótt Ísland hafi sett fram metnaðarfull markmið um að efla geðheilbrigði ungmenna og grípa fyrr inn í vanda er enn skortur á gagnreyndum matstækjum sem metið geta stöðu barna og unglinga á áreiðanlegan og skilvirkan hátt. Þessu vill Örnólfur breyta.

Verkefnið byggist á hugmyndafræði snemmtækrar íhlutunar, þ.e. að þjónusta, stuðningur eða úrræði séu veitt áður en vandi eykst og þróast yfir í flóknari geðræn vandkvæði. Örnólfur bendir á að snemmtæk íhlutun sé burðarás í geðheilbrigðisstefnu stjórnvalda til 2030 og að hún sé álitin lykilforsenda þess að tryggja jafnari tækifæri og heildstæðan stuðning fyrir börn. Áhersla sé á að grípa börn snemma til að koma í veg fyrir að vandinn fylgi þeim inn á fullorðinsárin. Örnólfur segir að skimunartæki gegni þar lykilhlutverki og að velja þurfi þau vel.

Hann bendir á að mörg matstæki séu fyrst og fremst hönnuð til að finna þau börn sem eiga við mestan vanda að stríða. Börn sem séu að þróa með sér vanda standi gjarnan utan greiningarmarka og fái ekki stuðning fyrr en vandinn sé orðinn verulegur. Örnólfur spyr því: „Viljum við nota matstæki sem ná aðeins utan um þau sem þarfnast augljóslega aðstoðar eða viljum við líka geta greint þau sem eru á leiðinni í vanda?“

Örnólfur segir lykilatriðið að leita ekki aðeins að 5–10% barna sem eiga við mestan vanda að stríða. „Við viljum ná til allra barna og á víddum sem lýsa þroska, svo sem tilfinningastjórn og félagshæfni. Þá getum við staðsett börnin betur og séð hver eru á mörkunum áður en þau fara niður í þessar neðstu prósentur.“

Tölvustýrð próf spara tíma og auka nákvæmni

Rannsóknir Örnólfs snúa m.a. að þróun tölvustýrðra prófa. Þessi aðferð, sem þekkt er úr kunnáttuprófum og samræmdum prófum, aðlagar sig að svörum próftaka í rauntíma. Prófið velur næstu spurningu út frá svörum einstaklings og sleppir spurningum sem eru of auðveldar eða of erfiðar fyrir viðkomandi. Þetta gerir prófið bæði skilvirkara og markvissara en hefðbundnar útgáfur. „Markmiðið með tölvustýrðum prófum er að stytta próf en halda, eða jafnvel auka, nákvæmni þeirra,“ útskýrir Örnólfur.

Á Íslandi sárvantar lista fyrir kennara til að skima fyrir félags- og tilfinningavanda meðal nemenda.  Að sögn Örnólfs er mikilvægt að hafa matstæki sem hafa góða eiginleika og meta þætti sem tengjast hegðun, líðan og námsþroska. „Ef barn er með góða félagsfærni þarf kennari ekki að svara fjölda spurninga sem tengjast klínískum vanda. Það gerir verkefnið viðráðanlegra fyrir kennarann en skilar jafn nákvæmu mati,“ segir Örnólfur. Hann bendir á að í hefðbundnum skimunartækjum þurfi kennarar oft að svara allt að 60 spurningum fyrir hvern nemanda, jafnvel tvisvar á ári. Það sé bæði tímafrekt og geti reynst ónákvæmt, sérstaklega ef spurningarnar eiga ekki við viðkomandi barn. Tölvustýrt próf spyrji hins vegar einungis þeirra spurninga sem skipta máli fyrir hvern einstakling.

Alþjóðlega viðurkennt matstæki sem grunnur

Rannsóknin sem Örnólfur vinnur nú að byggist á matskvarða sem hann þróaði frá grunni í doktorsverkefni sínu og nefnist „Children‘s Emotional Adjustment Scale (CEAS)“. Kvarðinn metur tilfinningastjórn barna á breiðum grundvelli í stað þess að huga einungis að frávikum eða geðrænum einkennum. Listinn hefur vakið athygli á alþjóðavettvangi. Hann hefur verið flokkaður í yfirlitsrannsóknum á meðal bestu matstækja á grundvelli góðra próffræðilegra eiginleika, m.a. í bandarískri rannsókn sem birt var árið 2021 í tímaritinu Journal of Clinical Child and Adolescent Psychology. Þar greindu sérfræðingar við læknadeild Háskólans í Pittsburgh 87 matstæki sem notuð eru til að meta tilfinningastjórn barna og unglinga. Aðeins sjö þeirra fengu hæstu einkunn og tilfinningastjórnarlisti Örnólfs var þar á meðal. „Þetta gefur okkur sterkan grunn til að byggja á,“ segir hann. 

Gervigreind þarf gagnreyndan próffræðilegan grunn

Nú er unnið að því að hanna CAT-próf sem nýtir m.a. spurningar úr listanum og safna gögnum frá foreldrum og kennurum. Þúsundir svara þarf til að staðsetja börn rétt á kvörðunum og tryggja að prófið virki eins og til er ætlast. Slík vinnsla er nauðsynleg því tölvustýrð próf byggjast ekki aðeins á spurningalistum heldur einnig á flóknum líkindalíkönum sem meta hversu vel spurningarnar greina á milli einstaklinga sem hafa mismikla hæfni.

Þótt CAT-próf falli tæknilega undir vélrænt nám (e. machine learning), og þar með kerfi sem lærir sjálfvirkt út frá gefnum gögnum, leggur Örnólfur áherslu á að ekki sé nóg að treysta eingöngu á gervigreind án vísindalegrar nálgunar og vitneskju um próffræðilega eiginleika matstækja. „Það er t.d. ekki hægt að mata milljónir sjúkraskráa inn í tölvulíkan og búast við að fá áreiðanlegar niðurstöður um hegðun og líðan fólks.“ segir hann.

Vill að rannsóknirnar nýtist samfélaginu

Örnólfur vinnur að verkefninu í nánu samstarfi við sérfræðinga erlendis, þar á meðal alþjóðleg samtök vísindamanna um CAT-próf (International Association for Computerized Adaptive Testing; IACAT). Hann vonast til að geta prufukeyrt CAT-prófin í raunaðstæðum á næstunni en verkefnið enn þá á frumstigi. Um er að ræða tímafrekt ferli og mikilvægt að sögn Örnólfs að gera vandaðar hermigreiningar (e. simulation studies) áður en próf er lagt fyrir í raunaðstæðum. Hluti af þessari vinnu felst í að skoða vel hvaða spurningar gagnist best í kennaramati og gera verður ráð fyrir að það taki sinn tíma.

Örnólfur segir brýna þörf á slíku matstæki og að mikilvægt sé að bæta matsumhverfið hérlendis og að tryggja að til séu áreiðanleg og vel unnin próf. „Við viljum að rannsóknirnar sem við vinnum geri raunverulegt gagn í samfélaginu. Það er kjarni þessa verkefnis,“ segir hann.

Höfundur greinar: Sigrún Björk Hjartardóttir, nemi í blaðamennsku.