A fost bine documentat faptul că performanța în sarcini duble este mai precisă atunci când fiecare sarcină se bazează pe o modalitate senzorială diferită. De asemenea, este bine documentat faptul că memoria pentru fiecare simț are durate inegale, în special memoria senzorială vizuală (iconică) și auditivă (ecoică). În această teză de doctorat, abordez dacă diferențele de durată a memoriei senzoriale (de exemplu, iconic vs. ecoic) au implicații pentru proiectarea unui afișaj multimodal. Deoarece memoria ecoică persistă timp de câteva secunde, spre deosebire de memoria iconică, care persistă doar câteva milisecunde, una dintre ipotezele mele a fost că, într-o condiție de sarcină dublă vizuală-auditivă, performanța va fi mai bună dacă sarcina vizuală este finalizată înainte de cea auditivă decât invers. În Experimentul 1 am investigat dacă abilitatea de reamintire a stimulilor multimodali este afectată de ordinea de reamintire, fiecare mod fiind răspuns separat. În Experimentul 2, am investigat efectele ordinii stimulilor și ale ordinii de reamintire asupra capacității de reamintire a informațiilor dintr-o prezentare multimodală. În Experimentul 3, am investigat efectul ordinii de prezentare folosind o sarcină mai realistă. În Experimentul 4 am investigat dacă manipularea ordinii de prezentare a stimulilor de diferite modalități îmbunătățește capacitatea oamenilor de a combina informațiile din cele două modalități pentru a lua o decizie pe baza unor reguli învățate în prealabil. Așa cum s-a presupus, acuratețea a fost mai mare atunci când s-a răspuns mai întâi la stimuli vizuali și apoi la stimuli auditivi. De asemenea, conform ipotezei, performanța a fost îmbunătățită prin faptul că nu au fost prezentate ambele secvențe în același timp, limitând sarcina perceptivă. Contrar așteptărilor mele, performanța generală a fost mai bună atunci când o secvență vizuală a fost prezentată înainte de secvența audio. Deși prezentarea unei secvențe vizuale înainte de o secvență auditivă prelungește intervalul de retenție vizuală, aceasta oferă, de asemenea, timp pentru ca informațiile vizuale să fie recodificate într-o formă mai robustă fără întreruperi. Experimentul 4 a demonstrat că luarea deciziilor care necesită integrarea informațiilor vizuale și auditive este îmbunătățită prin reducerea volumului de muncă și promovarea unei utilizări strategice a memoriei ecoice. Este propus și evaluat un cadru de predicție a rezultatelor Experimentului 1-4.

.