Bardzo dobrze udokumentowano, że wykonanie dwóch zadań jest dokładniejsze, gdy każde zadanie oparte jest na innej modalności sensorycznej. Dobrze udokumentowano również, że pamięć dla każdego zmysłu ma nierówny czas trwania, szczególnie wzrokowa (ikoniczna) i słuchowa (echogeniczna) pamięć sensoryczna. W tej pracy badam, czy różnice w czasie trwania pamięci sensorycznej (np. ikonicznej i echowej) mają wpływ na projektowanie multimodalnych wyświetlaczy. Ponieważ pamięć echowa utrzymuje się przez sekundy, w przeciwieństwie do pamięci ikonicznej, która utrzymuje się tylko przez milisekundy, jedną z moich hipotez było to, że w warunkach podwójnego zadania wzrokowo-słuchowego, wyniki będą lepsze, jeśli zadanie wzrokowe zostanie ukończone przed zadaniem słuchowym, niż odwrotnie. W eksperymencie 1 badałem, czy na zdolność do zapamiętywania bodźców wielomodalnych wpływa kolejność zapamiętywania, przy czym na każdy z trybów reagowano osobno. W eksperymencie 2 badałem wpływ kolejności bodźców i kolejności przywoływania na zdolność do przywoływania informacji z prezentacji wielomodalnej. W eksperymencie 3 badałem wpływ kolejności prezentacji, używając bardziej realistycznego zadania. W eksperymencie 4 badałem, czy manipulowanie kolejnością prezentacji bodźców o różnych modalnościach poprawia zdolność człowieka do łączenia informacji z dwóch modalności w celu podjęcia decyzji w oparciu o wcześniej wyuczone reguły. Zgodnie z hipotezą, dokładność była większa, gdy najpierw reagowano na bodźce wzrokowe, a dopiero potem na słuchowe. Również zgodnie z hipotezą, wydajność była lepsza, gdy obie sekwencje nie były prezentowane w tym samym czasie, co ograniczało obciążenie percepcyjne. W przeciwieństwie do moich oczekiwań, ogólne wyniki były lepsze, gdy sekwencja wizualna była prezentowana przed sekwencją dźwiękową. Mimo, że prezentacja sekwencji wizualnej przed sekwencją słuchową wydłuża okres retencji wzrokowej, daje również czas na przekodowanie informacji wizualnej do bardziej stabilnej formy bez zakłóceń. Eksperyment 4 wykazał, że podejmowanie decyzji wymagających integracji informacji wzrokowych i słuchowych jest usprawnione poprzez zmniejszenie obciążenia pracą i promowanie strategicznego wykorzystania pamięci echolokacyjnej. Zaproponowano i oceniono ramy przewidywania wyników eksperymentów 1-4.

.