On hyvin dokumentoitu, että kaksoistehtäväsuoritukset ovat tarkempia, kun kumpikin tehtävä perustuu eri aistimodaliteettiin. On myös hyvin dokumentoitu, että kunkin aistin muistin kesto on epätasainen, erityisesti visuaalisen (ikonisen) ja auditiivisen (kaikuisen) aistimuistin. Tässä väitöskirjassa tarkastelen, onko aistimuistin (esim. ikonisen vs. kaikuisen) keston eroilla vaikutuksia multimodaalisen näytön suunnitteluun. Koska kaikumuisti säilyy sekunteja toisin kuin ikoninen muisti, joka säilyy vain millisekunteja, yksi hypoteesistani oli, että visuaalis-auditiivisessa kaksoistehtävässä suorituskyky on parempi, jos visuaalinen tehtävä suoritetaan ennen auditiivista tehtävää kuin päinvastoin. Kokeessa 1 tutkin, vaikuttaako monimodaalisten ärsykkeiden mieleenpalauttamiskykyyn mieleenpalautusjärjestys, jossa kuhunkin moodiin vastataan erikseen. Kokeessa 2 tutkin ärsykejärjestyksen ja muistutusjärjestyksen vaikutuksia kykyyn muistaa tietoa multimodaalisesta esityksestä. Kokeessa 3 tutkin esitysjärjestyksen vaikutusta käyttämällä realistisempaa tehtävää. Kokeessa 4 tutkin, parantaako eri modaliteetteihin kuuluvien ärsykkeiden esitysjärjestyksen manipulointi ihmisten kykyä yhdistää kahdesta modaliteetista saatua tietoa, jotta he voivat tehdä päätöksensä ennalta opittujen sääntöjen perusteella. Kuten oletettiin, tarkkuus oli suurempi, kun visuaalisiin ärsykkeisiin reagoitiin ensin ja auditiivisiin ärsykkeisiin toisena. Kuten oletettiin, suorituskykyä paransi myös se, että molempia sekvenssejä ei esitetty samanaikaisesti, mikä rajoitti havaintokuormitusta. Vastoin odotuksiani kokonaissuorituskyky oli parempi, kun visuaalinen sekvenssi esitettiin ennen äänisekvenssiä. Vaikka visuaalisen sekvenssin esittäminen ennen auditiivista sekvenssiä pidentää visuaalista muistinväliä, se antaa myös aikaa visuaalisen informaation uudelleenkoodaamiselle kestävämpään muotoon ilman häiriöitä. Koe 4 osoitti, että päätöksentekoa, joka edellyttää visuaalisen ja auditiivisen tiedon yhdistämistä, parannetaan vähentämällä työmäärää ja edistämällä kaikumuistin strategista käyttöä. Kokeiden 1-4 tulosten ennustamista varten ehdotetaan ja arvioidaan kehystä.
Kaiku- ja ikonisen muistin erojen vaikutukset multimodaalisten näyttöjen suunnitteluun
joulu 23, 2021