Doktorsvörn sálfræði - Ivan Makarov

Miðvikudaginn 13. nóvember 2024 ver Ivan Makarov doktorsritgerð sína í sálfræði við Sálfræðideild Háskóla Íslands. Ritgerðin ber heitið: Nýting fjölskynjunar við hönnun skynskiptabúnaðar fyrir einstaklinga með sjón- og heyrnarskerðingu. Using multimodal attention to design sensory substitution devices: Basic research and application.

Andmælendur eru dr. Jeremy Marozeau, aðstoðarprófessor við Danmarks Tekniske Universitet, DTU, og dr. Karl Ægir Karlsson, prófessor við Háskólann í Reykjavík.

Umsjónarkennari og leiðbeinandi voru Árni Kristjánsson, prófessor, og Rúnar Unnþórsson, prófessor. Auk þeirra sat Ian M. Thornton, prófessor, í doktorsnefnd.

Ragnar Pétur Ólafsson, prófessor og deildarforseti Sálfræðideildar, stjórnar athöfninni sem fer fram í Hátíðasal Háskóla Íslands og hefst kl. 13.00. 

Ágrip 

Skynjun á heiminum í kringum okkur takmarkast sjaldnast við aðeins eitt skynfæri. Skynjun heimsins er því fjölskynjun þar sem öll skynfærin leika hlutverk. Skilningur á því hvernig menn skynja og samþætta upplýsingar frá mismunandi skynfærum er nauðsynlegur til að þróa skilvirkan skynskiptibúnað. Í þessari ritgerð er flókið samspil mismunandi skynfæra kannað ásamt hlutverki athygli í skynjun og hvaða áhrif það hefur á hönnun skynskiptibúnaðar. Einkum er athyglinni beint að snertiskyni og lögð áhersla á mikilvægi þess að skilja skynvillur og túlkun. Í grein I var ný skynvilla rannsökuð. Skynvillan felst í að sterkari snertiáreiti eru skynjuð ofar en þau sem eru af lægri styrk (e. Intensity order illusion, IOI). Ef seinna titringsáreiti á sama stað á mjóbakinu hefur hærri styrk en fyrra áreitið hafa þátttakendur tilhneigingu til að skynja það sem hreyfingu upp á við (og öfugt). Tvær tilraunir voru gerðar til að skilja hvað veldur IOI og til að komast að því hvort það virkar í láréttri vídd eða aðeins í lóðréttri vídd. Niðurstöðurnar úr grein I veita innsýn í IOI og hlutverk tíðni og styrkleika í skynvillunni. Auk þess staðfestir rannsóknin virkni Lofelt 5 titrara fyrir snertiörvun, sem skiptir sköpum fyrir þróun skynskiptibúnaðar okkar. Í greinum II og III er fjallað um fjölþætta athygli og áhrif samstillingar áreita fyrir mismunandi skynfæri fyrir frammistöðu í söfnunarverkefnum (e. foraging). Í grein II voru áhrif sjónar og heyrnar á söfnunarverkefni rannsökuð. Niðurstöður úr þremur tilraunum sýna að þegar markáreiti breytast í samstillingu sjónar og heyrnar leiðir þetta athyglina að mörgum markáreitum. Engar vísbendingar voru um að leitin gengi betur þegar hljóð, sem ekki er staðbundið, fylgdi með, jafnvel þegar söfnunarverkefnið var flóknara (tilraun 3). Rannsóknirnar í grein III voru gerðar til að skilja hvort vísbendingar frá mismunandi skynfærum geti bætt frammistöðu í sjónrænu söfnunarverkefni. Vísbendi frá þremur mismunandi skynfærum (sjónræn, haptic og hljóð) voru borin saman við það þegar engar vísbendingar komu fram. Niðurstöðurnar sýndu greinilega að vísbendi frá öðrum skynfærum (heyrn og snerting) bættu frammistöðuna meira en vísbendi innan sömu skynjunarvíddar.  Vonast er til þess að niðurstöðurnar geti gagnast við að þróa skynskiptibunað og að þær veiti innsýn í hvernig upplýsingum sé best að miðla, og með hvaða hætti,  þegar þróa á skynskiptibúnað. Á heildina litið undirstrika rannsóknirnar mikilvægi þess að huga að samþættingu mismunandi skynfæra og virkni athyglinnar við þróun skynskiptibúnaðar, en einnig almennt til að skilja skynjun. Með því að nýta innsýn frá snertiskynjun og fjölþættri athygli getum við aukið notagildi og skilvirkni skynskiptibúnaðar fyrir notendur sem glíma við truflanir á skynjun.

Abstract 

Perception of the world around us can never be limited to only one stream. The perception of the world is multimodal. Understanding how humans perceive and integrate information from multiple sensory modalities is essential for developing effective sensory substitution devices (SSDs). This thesis explores the complex interplay of sensory modalities and attention in perception and how it relates to the design of SSDs. The research investigates tactile perception and its implications for SSDs, highlighting the importance of understanding tactile illusions and anisotropies. In paper I the intensity order illusion (IOI) was studied. This illusion can be described as the mislocalization of the second stimuli following the first one. If the second stimulus on the lower back has higher intensity than the first stimulus then participants tend to perceive it as an upward movement. This also works vice versa. Two experiments were conducted to understand what causes the IOI and to find out whether it works in horizontal deimension or only in vertical dimension. The findings from Paper I reveal insights into the IOI and the role of amplitude for the IOI. Additionally, the study validates the effectiveness of Lofelt 5 actuators for tactile stimulation, crucial for SSD development involving tactile stimulation.

Examining multimodal attention, Papers II and III delve into the effects of synchrony and cross-modal cueing on foraging performance. In Paper II the focus was on studying the influence of visual and auditory synchrony on foraging. Three experiments were run to study the the influence of synchrony. The results show that when targets move in visual synchrony, this guides attention during multiple target visual search. These results can possibly be explained by the grouping of the targets. There was no evidence that participans have any search benefit from non-spatial sound even when the task was more complicated (Experiment 3).  Paper III was made as an extension of the second paper. The main goal was to understand whether cues from different modalities can improve visual search. Three cues from different modalities (visual, haptic and sound) were compared to the condition where no cues were presented. The results clearly showed that cross-modal cueing (haptic cue and sound cue) is more effective compared to uni-modal cueing (visual cue). These findings can benefit in developing SSD and provide some insights about how information should be conveyed using SSD’s.

Overall, the research underscores the importance of considering multimodal integration and attentional mechanisms in the development of SSDs, but also more generlly, for understanding perception. By leveraging insights from tactile perception and multimodal attention, future SSD designs can optimize sensory feedback delivery, enhancing usability and effectiveness for users with sensory impairments.

Um doktorsefnið 

Ivan Makorov er fæddur árið 1997 í Moskvu. Hann lauk B.Sc. gráðu í sálfræði frá Higher School of Economics University í Moskvu árið 2019 og M.Sc. gráðu í hagnýtri hugrænni sálfræði frá Háskólanum í Utrecht, Hollandi, 2021.

Haustið 2021 hóf Ivan doktorsnám við Sálfræðideild og Iðnaðarverkfræði-, vélaverkfræði- og tölvunarfræðideild Háskóla Íslands. Rannsóknir Ivans við HÍ eru styrktar af Tækniþróunarsjóði.