Výsledky

Výsledky této práce jsou ověření funkcionality Hermanova nástroje pro eye-tracking testování interaktivních 3D modelů, vizualizace výsledků získaných při vlastním eye-tracking experimentu s interaktivními 3D modely, hodnocení kognice respondentů experimentu a návrh na další využití nástroje. Konkrétním výsledkem praktické části práce je projekt programu ArcScene obsahující digitalizovaná a vizualizovaná data získaná při eye-tracking experimentu a dále zpracovaná v modulech Hermanova nástroje, následně manuálně upravená v prostředí programů Excel a PSPad. Neméně důležitým výsledkem jsou grafy proměnlivosti souřadnice Z v čase. Všechny tyto výstupy sloužily k hodnocení kognice, které je jedním z hlavních výsledků této práce. Dalšími výsledky jsou data v podobě tabulek a grafů znázorňujících správnost odpovědí respondentů testu a dobu potřebnou k vyřešení daných úkolů.

Po seznámení se s Hermanovým nástrojem, v té době v polo-interaktivní podobě, bylo provedeno zkušební testování. Tím byla zjištěna funkcionalita nástroje v době před jeho dokončením a také podoba výstupů, se kterými bylo v práci potřeba pracovat. Zkušební testování přineslo poznatky pro zlepšení nástroje. Také bylo možné vyzkoušet si práci se získanými daty a díky tomu si ujasnit možnosti budoucí práce s daty v době plné interaktivity nástroje.

Byl připraven vlastní eye-tracking experiment pro přístroje EyeTribe a SMI RED 250 dostupné na Katedře geoinformatiky. Pro hlavní test byl zvolen přístroj EyeTribe z důvodu větší kompatibility se zvoleným počítačem, který byl pro testování použit, a také pro možnost jeho přenosu. Pro vlastní eye-tracking experiment byly v prostředí programu ArcGIS vytvořeny 3D modely terénu s 3D modely těles. Pro ty byly sestaveny úkoly v podobě otázek na daná 3D tělesa. Test byl rozdělen do dvou variant po osmi úkolech, A a B, které se od sebe lišily pouze pokryvem 3D terénu nebo jeho průhledností. Dvě varianty byly vytvořeny proto, aby mohlo dojít k následnému porovnání kognice na základě různých faktorů. Pro potřeby konkrétního testu bylo také potřeba upravit Hermanův nástroj, konkrétně soubory šablon HTML. Nástroj v upravené podobě pro konkrétní testy byl nahrán na server Katedry geoinformatiky, stránky eye-tracking laboratoře (odkaz zde). Zde mohla být upravována podoba Testovacího i Výpočetního modulu, stejně jako prováděno testování a zpracování dat. Souběžně byl vytvořen i malý test pro zařízení SMI RED 250, který byl obdobou hlavního testu pro EyeTribe. Probíhal na stejném počítači, který byl napojen na monitor a zařízení SMI v eye-tracking laboratoři Katedry geoinformatiky.

Data z eye-tracking testování bylo třeba exportovat do textových souborů, data o pohybu virtuální kamery z Testovacího modulu uložit a obojí manuálně upravit. Data hlavního testu musela být ořezána na jednotlivé úkoly. Ty byly nahrány do Spojovacího modulu, který spojil eye-tracking data a data o pohybu virtuální kamery do jednoho souboru. Ten mohl být nahrán do Výpočetního modulu, který poskytl výstup v podobě souboru se souřadnicemi pohledu X, Y a Z v čase. Data tohoto souboru byla dále manuálně upravována pro potřeby importu do GIS. Byly jim také dodány atributy potřebné pro požadované vizualizace.

Proces vizualizace sestával především z úpravy digitalizovaných vrstev v prostředí programu ArcScene. Zde jim byla nastavena požadovaná symbolika na základě různých kritérií. Byla provedena i prostorová analýza nástrojem Kernel Density nebo vytvořena animace na základě dodání do vrstvy atributu časové složky v požadovaném formátu. Hodnocení kognice proběhlo právě analyzováním vizualizovaných dat.

Výsledky eye-tracking testování

Eye-tracking testování přineslo kromě dat o pohledu oka také výsledky správnosti odpovědí a údaje o době trvání řešení jednotlivých úkolů jednotlivými respondenty. Statistický přehled správnosti odpovědí je možné vidět zde:

Odpovědi testu varianty A


Odpovědi testu varianty B


Ve sloupci respondent je seznam o 20 položkách, modrým písmem jsou znázorněni muži, červeným ženy, světle šedé vybarvení pole tabulky značí respondenta s kartografickou znalostí (studenta Katedry geoinformatiky), tmavě šedé vybarvení poukazuje na laika. V přehledu odpovědí testu varianty A jsou sloupce seřazeny podle posloupnosti úkolů a jsou tak i pojmenovány. V přehledu odpovědí varianty B je řazení převzato z tabulky A pro jednodušší srovnání. Názvy sloupců obsahují jak číslo úkolu varianty B, tak číslo odpovídajícího úkolu ve variantě A. Správná odpověď má hodnotu 1 a pole je vybarveno zeleně, částečně správná odpověď má hodnotu 0,5 a pole je vybarveno žlutě a špatná odpověď má hodnotu 0 a pole je vybarveno červeně. Barva i hodnoty byly zvoleny na základě asociativnosti. Sloupec Součet obsahuje sečtenou hodnotu správných odpovědí. Barva pole sečtené hodnoty poukazuje na to, zda měl respondent v dané verzi testu více správných odpovědí, než v druhé verzi testu (světle modrá), zda měl méně správných odpovědí (šedá) nebo měl stejný počet správných odpovědí (bílá). Byly také vytvořeny přehledové grafy správnosti odpovědí.



Varianta testu B znesnadňovala zjištění správné odpovědi jen o trochu více, než varianta A (varianta B se od varianty A lišila v polovině případů tím, že měla nastavenou průhlednost terénu 30 %, nebo tím, že byl terén pokryt družicovým snímkem a ne barevnou hypsometrií). Průměrný počet správných odpovědí varianty A byl 6,78 a varianty B 6,60.



Jak je patrné z grafu, muži na tom byli s řešením úkolů o něco lépe, než ženy. Také můžeme pozorovat, že obě pohlaví odpovídala o něco lépe ve variantě A.



Z obrázku je patrné, že ve variantě A měli nepatrně vyšší úspěšnost řešení úkolů laici. Ve variantě B byly naopak úspěšnější studenti Katedry geoinformatiky s kartografickou znalostí. Nedá se tedy říci, že by se kartografická znalost nějak podílela na lepší orientaci v 3D terénu a práci s ním.

Dále byl vytvořen přehled času, který byl potřebný k vyřešení úkolu. Limit na úkol byl stanoven na 60 s. Přehledová tabulka času byla vytvořena podobným stylem jako ta pro správnost odpovědí (barvy respondentů podle pohlaví, světle a tmavě šedé podbarvení kolonky dle kartografické znalosti, pořadí sloupců varianty B dle korespondujících úkolů varianty A). Čas je uveden v sekundách. Byl také spočítán průměrný čas respondentů na jednotlivé úkoly a průměrný čas na úkoly jednotlivých respondentů.

Přehled času potřebného k vyřešení úkolu testu varianty A


Přehled času potřebného k vyřešení úkolu testu varianty B


Hodnota průměrného času potřebného k vyřešení úkolu se pro jednotlivé úkoly pohybovala od 32,65 s do 50,30 s. Vliv měla jak náročnost úkolu, tak i jiná varianta terénu. Pokud porovnáme hodnoty průměrného času na úkol, zjistíme, že průměrně bylo potřeba více času na řešení úkolů s variantou terénu B. Pokryv družicovým snímkem či průhlednost terénu ztížily hledání správné odpovědi.



Z grafu je na první pohled patrné, které úkoly v jaké variantě byly náročnější a projevily se v delším čase řešení.

Výsledky vedlejšího testování s přístrojem SMI jsou shrnuty v následujícím přehledu, ze kterého je díky malému rozsahu testu i malému počtu respondentů na první pohled patrné množství informací, které bylo potřeba u hlavního testování vyobrazit na samostatných grafech. Na druhou stranu při tak malém množství respondentů není průkazný vliv zkoumaných faktorů, jak tomu bylo u hlavního testu. Toto však ani nebylo záměrem vedlejšího testování. Vedlejší testování mělo ověřit především funkcionalitu nástroje pro zařízení SMI, efektivitu postupu a umožnit srovnání výsledných dat o pohledu obou testování.

Výsledky testu se zařízením SMI RED 250

Výsledky vizualizace a hodnocení kognice

Hlavními výsledky práce jsou digitalizovaná a vizualizovaná data z eye-tracking experimentu a hodnocení kognice na příkladech těchto vizualizací. Výsledky vizualizací jsou uloženy v projektu programu ArcScene. Jedná se o sadu dat pro úkol 4A6B, čili úkol 4 varianty A, jemuž odpovídá úkol 6 varianty B (lišící se pouze průhledností terénu). Sada zahrnuje vizualizace 3D Scanpath, 3D raw data, 3D Bee swarm, 3D HeatMap a animace a to pro obě varianty úkolu.

Vizualizace 3D scanpath tvoří fixace jednotlivých respondentů, kterým byly dodány atributy délky fixace a času ve formátu potřebném pro animace. Fixace mají různou symboliku dle vytvořených intervalů délky trvání (jsou znázorněny koulemi různé velikosti a barvy). Vrstvám byla nastavena 30 % průhlednost pro lepší čitelnost a viditelnost 3D modelu terénu a těles pod nimi. Z 3D vrstvy fixací byly nástrojem Point to Line vytvořeny 3D liniové vrstvy, které propojily fixace a znázornily tak jejich návaznost. Podobným způsobem byla také vizualizována raw data. Rozdílem je, že neobsahují atribut délky fixace, jsou tedy vizualizovány stejně velkými koulemi. Vrstvám raw dat byla také nastavena průhlednost a byly pro ně vytvořeny spojovací linie. Pro přehlednost skupin vytvořených seskupením raw dat byla použita jednoduchá vizualizace Bee swarm. Pro jednotlivá raw data respondentů a pro raw data skupin byly vytvořeny 3D teplotní mapy prostorovou analýzou Kernel Density. Vznikly tak 3D polygonové vrstvy, kterým byla nastavena barevná stupnice a průhlednost. Byla také provedena operace odečtení vrstvy Teplotní mapy všech dat varianty B od vrstvy Teplotní mapy všech dat varianty A a vznikla jedna výsledná polygonová vrstva, která podává přehled o tom, kam se na stejném 3D modelu dívali více respondenti ve variantě A a kam ve variantě B. Kromě 3D vrstev byla v projektu vytvořena časová animace, kterou lze spustit pro všechny vrstvy, kterým byl dodán atribut časové složky v požadovaném formátu a povolen čas. Pro animaci byly vytvořeny vrstvy dvojic fixací na základě různých faktorů. Animaci lze spustit jak pro jednotlivé vrstvy fixací, tak pro vrstvy dvojic, kde jsou data podle faktorů barevně odlišena a lze je porovnávat. S animací je v programu ArcScene možné v průběhu jejího chodu otáčet. Všechny vrstvy tedy v ArcScene nabízí interaktivní práci s výsledky. Dále byly vytvořeny grafy proměnlivosti souřadnice Z v čase a to v programu Excel.

Na příkladech všech těchto zmíněných vizualizací eye-tracking dat je v práci hodnocena kognice interaktivních 3D modelů. Je zde hodnocena jak kognice jednotlivců, tak skupin a dochází k porovnání. Některé faktory ovlivnily kognici více, jiné méně. Práce také hodnotí vhodnost použitých metod pro analýzu kognice interaktivních 3D modelů. V neposlední řadě jsou v práci vizualizace porovnávány s GazeReplay pro posouzení přesnosti a celé efektivity postupu.