TESTOVÁNÍ MOŽNOSTÍ ZÁZNAMU POHYBU OČÍ POMOCÍ WEB KAMERY

Eye-tracking je technologie, která umožňuje sledovat a zaznamenávat pohyb očí (Popelka, 2018). Lze tak snadno zjistit, kam se člověk dívá, a z toho rozpoznat, co si myslí, jak reaguje nebo jakým způsobem přemýšlí. Tímto způsobem lze snížit nebo zcela smazat zkreslení názoru člověka získaného slovním nebo jiným vyjádřením. Proto se eye-tracking využívá stále častěji v širokém rozsahu nejrůznějších odvětví. Způsobů provádění eye-trackingu je dnes celá řada, jedná se totiž o stále se vyvíjející technologii. Nejpřesnější způsoby eye-trackingu jsou však poměrně finančně náročné. Zároveň je u většiny eye-trackingových technologií nutný osobní kontakt osoby provádějící měření s respondenty. Respondenti se tak musejí osobně dostavit do laboratoře s měřícím zařízením a tam měření podstoupit. To však může být leckdy problém a řadu potenciálních respondentů to může zcela odradit. Nejvíce se tento problém projevil během pandemie COVID-19, kdy bylo nutné co nejvíce omezit kontakt mezi lidmi, a při potřebě měření eye-trackingu tak nebylo možné získat potřebné množství respondentů.

Pro tyto účely již naštěstí existuje řešení, a to eye-tracking pomocí webkamery. Tato technologie jednak nevyžaduje žádná speciální eye-trackingová zařízení, je tak snadno dostupná pro každého, navíc existují i nízkonákladové možnosti této technologie. Některé možnosti navíc umožňují provádění eye-trackingu online, lze tak experiment poslat přímo respondentům. Tato možnost tak obchází nutnost respondenta docházet do eye-trackingové laboratoře, experiment si může pustit kdykoliv a kdekoliv podle vlastní potřeby. Díky tomu lze také získat výrazně větší počet respondentů, než při měření v laboratoři.

S eye-trackingem pomocí webkamery se však pojí celá řada problémů. Dostupných nástrojů je v současnosti mnoho, liší se však cenovou dostupností, funkcionalitou, uživatelskou náročností a v neposlední řadě kvalitou samotného měření. Tato práce má za cíl prozkoumat nízkonákladové možnosti této technologie, otestovat nejvhodnější dostupné nástroje a vyhodnotit jejich přínosy a použitelnost.

Hlavním cílem diplomové práce je prověření možností nízkonákladového způsobu sledování a záznamu pohybu očí pomocí webkamery bez použití jiného speciálního hardwaru, a využití těchto možností v kartografii. Takový způsob záznamu pohybu očí může být proveden z pohodlí domova respondenta. Při sběru dat tato metoda proto poskytuje výhodu, kdy se respondent nemusí dostavovat do eye-trackingové laboratoře, ale postačí mu na vlastním zařízení s jakoukoliv připojenou webkamerou kliknout na odkaz a studii provést odkudkoliv během pár minut. Studii proto může absolvovat výrazně větší množství respondentů v kratším časovém období než při měření v laboratoři, což poskytne větší množství naměřených dat a tedy objektivnější výsledky celkového měření. Tento způsob však s sebou nese i mnoho nevýhod, především nižší přesnost záznamů, nižší kvalitu naměřených dat, a to z důvodu různých podmínek při samotném měření (osvětlení místnosti, kvalita webkamery), absence asistenta při měření, který respondentovi přesně vysvětlí, jak má postupovat, nebo výstupním formátu naměřených dat.

Pro splnění hlavního cíle této práce je proto třeba splnit několik dílčích cílů. Nejprve je nutné prověřit všechny možnosti nízkonákladových nástrojů a aplikací pro eye-tracking. Při tom bude posuzována technologická i finanční dostupnost nástrojů, přístupnost bez nutnosti instalace nového softwaru, samotné funkce jednotlivých nástrojů, tedy způsob záznamu pohybu očí, možnost exportu dat, možnost sdílení studie s větším množstvím respondentů apod. Z těchto nástrojů pak bude vybrán jeden nejvhodnější nástroj, se kterým se bude dále pracovat podrobněji.

Další fází práce bude testování respondentů pomocí webkamerového nástroje a zároveň profesionálního infračerveného eye-trackingového přístroje. Tento způsob měření umožní přímo porovnat data z webcam nástroje s mnohem přesnějšími daty z eye-trackingového přístroje. Jelikož jsou data měřena ve stejný čas, v ideálním případě by měla být totožná. Lze tak dobře zjistit, s jakou přesností webcam nástroj měří. Pro lepší představu o přesnosti nástroje bude tato část měření provedena s více eye-trackingovými přístroji.

Pro správné pochopení přesnosti a funkčnosti nástroje bude dál nutné otestovat nástroj na více druzích webkamer. Na kvalitě rozlišení webkamer totiž může velmi záviset nejen přesnost nástroje, ale i celková funkčnost. Pro zjištění přesnosti měření u jednotlivých kamer bude opět nutné měřit současně s eye-trackingovým přístrojem. Jedině tak bude možné data porovnat s přesným měřením a zjistit, jak moc moc se data webcam nástroje odchylují od přesnějšího měření.

Hlavní výhodou záznamu pohybu očí pomocí webkamery je možnost provedení experimentu z jakéhokoliv zařízení s jakoukoliv připojenou webkamerou. Téměř nikdy nebudou podmínky měření ideální. Proto je nutné provést měření co nejvíce autentickou formou, tedy rozesláním odkazu na experiment většímu množství respondentů. Respondenti měření provedou v různých světelných podmínkách, na různých typech webkamer a také bez jakéhokoliv dohledu. Závisí tedy na pochopení zadání respondentem přímo z psaných instrukcí před nebo během experimentu. Jelikož se jedná o nejpravděpodobnější způsob využití této formy eye-trackingu, je tato část měření naprosto nezbytná.

Konečnou částí této práce bude všechny dílčí cíle zhodnotit, navzájem porovnat a především finálně vyhodnotit možnosti vybraného nástroje a možnosti jeho využití. Stejně tak i budou zhodnoceny nevýhody vybraného nástroje nebo překážky, které se při tvorbě této práce vyskytnou. Součástí této závěrečné části bude i rozbor možností využití nástroje v rámci kartografie, tedy na jakých typech map a s jakými úkoly lze nástroj používat. Na konečné vyhodnocení bude navazovat sada doporučení pro používání nástroje, a to nejen v kartografii, tj. na jaký typ experimentů se dá nástroj použít, jaký typ úloh je vhodný, jaká nastavení je nutné zvolit nebo se kterými limity je nezbytné počítat.

Tato práce tak umožní případným zájemcům o webcam eye-tracking zjistit dostupnost různých nástrojů a vyhodnotit jejich využitelnost pro jejich práci. V případě rozhodnutí se pro vybraný měřený nástroj pak mohou zájemci poznat možnosti i úskalí daného nástroje a vhodné způsoby jeho použití. Možnosti využití nástroje by měly být užitečné jak pro oblast kartografie, tak i pro jiné obvyklé oblasti využití eye-trackingu.

Prvním krokem tvorby práce bylo provedení rešerše co nejvíce existujících nástrojů pro webcam eye-tracking, bez ohledu na funkcionalitu a možnosti nástrojů. Některé nástroje byly přitom rovnou vyřazeny z výběru kvůli vyšší náročnosti zprovoznění. Tak bylo pro tuto práci vybráno 10 nástrojů. Možnosti nástrojů byly poté prověřeny detailněji v rámci výuky předmětu TEEY (Technologie eye-trackingu), kdy tyto vybrané nástroje studenti vyzkoušeli a zhodnotili jejich další využitelnost. Většina těchto nástrojů byla přitom nepoužitelná, vybrány tak byly finální tři nástroje. U těchto vybraných nástrojů pak byly opět v rámci předmětu TEEY prověřeny možnosti detailněji. Na základě zhodnocení těchto nástrojů byl vybrán nástroj nejvhodnější pro splnění cílů této práce, tedy GazeRecorder.

Druhým krokem bylo prověřit možnosti nástroje GazeRecorder, způsoby měření, zpracování a exportu dat, a možnosti porovnávání dat navzájem. V rámci této části byl vytvořen testovací experiment, na kterém byla objevena řada limitů nástroje, se kterými pak bylo třeba počítat při tvorbě finálního experimentu. Pro experiment bylo třeba vytvořit vhodné obrázky a zvolit pro ně vhodné úkoly, které by co nejlépe vystihly možnosti nástroje a hlavně jeho limity. Do finálního experimentu tak vstupovalo celkem 11 obrázků zahrnující také dva obrázky s pokyny pro respondenty. Pro tyto obrázky také bylo třeba stanovit vhodný časový interval, po který se budou respondentovi zobrazovat. Pro tuto práci bylo zvoleno 10 sekund.

Dále přišlo na řadu samotné měření. Nejprve bylo třeba experiment měřit současně s infra-red eye-trackery v laboratorních podmínkách pro otestování nejen možností měření, ale i možnosti exportu a srovnání dat. Díky této metodě bylo možné zhodnotit přesnost nástroje. Bylo také nutné experiment otestovat na více webkamerách pro zjištění vlivu rozlišení webkamery na kvalitu měření. Tato měření proběhla opět v laboratorních podmínkách na třech typech webkamer, a to současně s infra-red eye-trackerem SMI. Z těchto výsledků nebyl patrný žádný výrazný vliv rozlišení webkamery na kvalitu měření, pro další práci proto byla vybrána prostřední kamera z hlediska kvality rozlišení. Nakonec byla v laboratorních podmínkách opět provedena měření na vybrané webkameře a společně s infra-red eye-trackery.

Finální fází měření se pak stalo měření online. V této fázi byl náhodné množině respondentů rozeslán odkaz na experiment. Respondenti si experiment otevřeli na vlastním zařízení v různých podmínkách. Instrukce před experimentem jim byly dodány ve formě odkazu na PDF dokument uložený v úložišti Disk Google. Z těchto instrukcí respondenti museli pochopit celý jejich úkol. Experiment byl schválně rozeslán především lidem, kteří s eye-trackingem nemají zkušenosti, takže neví, co je čeká a zadání musejí pochopit z psaného textu. Poté respondent otevřel experiment a postupoval podle daných pokynů. Po skončení experimentu byl respondent automaticky přesměrován do dotazníku, kde o sobě vyplnil pár základních informací (především pohlaví, věková kategorie nebo zda měl během experimentu brýle).

Nakonec byla veškerá data upravena podle potřeby a naimportována do programu Ogama, kde byla data srovnána a finálně vyhodnocena. Na základě těchto výsledků byla poté sestavena sada doporučení pro využití nástroje (nejen) v kartografii. Pro zpřehlednění postupu práce byl vytvořeno schéma postupu.

Cílem diplomové práce bylo prověřit a otestovat možnosti záznamu očí pomocí webkamery. Práce byla rozčleněna do několika částí, přičemž na sebe z většiny navzájem navazovaly a z výsledků jedné části práce tak vycházel postup další části práce. Prvním krokem práce bylo prozkoumání v současnosti dostupných možností webcam eye-trackingu, tedy eye-trackingových nástrojů. Z celkového počtu 16 nástrojů pak byly vybrány tři vhodné nástroje – GazeRecorder, CoolTool a RealEye. Možnosti těchto vybraných nástrojů byly následně podrobněji prověřeny. Z hlediska ceny, dostupných funkcí a přesnosti byl pro další práci zvolen nástroj GazeRecorder. Následně byly prověřeny veškeré možnosti nástroje a otestovány jeho funkce na zkušebních experimentech. Tato část pomohla odhalit problémy nástroje, které by při dalším měřením mohly celý průběh práce komplikovat. Největšími problémy byla nutnost stanovit jeden časový interval pro všechny části experimentu nebo export naměřených dat. Na základě těchto zjištění byl vytvořen nejvhodnější testovací experiment. Současně byl sestaven postup pro úpravu vyexportovaných dat do formátu, který lze nahrát do programu Ogama, včetně zautomatizování části postupu pomocí funkce Macro v MS Excel.

Testování nástroje na více kamerách

Pro ověření vlivu kvality rozlišení zvolené webkamery bylo nutné nástroj otestovat na více typech webkamer . Pro tuto práci byly vybrány kamery Logitech QuickCam Pro 5000, Logitech c920 a Logitech Rally. Respondenti podstoupili experiment na každé webkameře současně s infra-red eye-trackerem SMI. Díky tomu bylo možné porovnat rozdíly dat a vyhodnotit tak přesnost měření pomocí webkamery.

Při vyhodnocení této části měření bylo zjištěno, že na kvalitu měření nemá kvalita rozlišení webkamery výrazný vliv. Rozdíly v přesnosti byly pro jednotlivé respondenty velmi individuální. Špatná přesnost byla pravděpodobně způsobena špatnou přesností kalibrace. Tuto domněnku však nelze nijak potvrdit, data samotné kalibrace totiž nelze nijak prohlížet a není ani jisté, zda nástroj přesnost kalibrace vůbec umí vyhodnotit.

Výraznější problém nastal při použití kamery Logitech Rally, tedy kamery s nejlepší kvalitou rozlišení. Při jejím připojení k počítači experiment u některých respondentů výrazně sekal. To způsobilo problém hlavně při kalibraci, která byla v důsledku sekání obrazu provedena špatně a negativně se to promítlo na kvalitě naměřených dat. Vzhledem k tomu, že při měření na kamerách Logitech Quickcam Pro 5000 a Logitech c920 nebyly zaznamenány rozdíly v přesnosti měření, které by mohly mít původ v kvalitě rozlišení, nebyla žádná z testovaných kamer vyhodnocena jako nejvhodnější. Pro další měření tak byla použita kamera Logitech c920, která měla kvalitu rozlišení menší než Logitech Rally, ale vyšší než Logitech QuickCam Pro 5000.

Testování nástroje současně s infra-red eye-trackery

Další částí práce bylo otestovat nástroj současně s infra-red eye-trackery. Na základě testování v předchozí části byla pro webcam eye-tracking vybrána kamera Logitech c920. Z infra-red eye-trackerů byla vybrána zařízení SMI RED 250 a Tobii Spectrum 300, která jsou dostupná v eye-trackingové laboratoři na katedře geoinformatiky. Každý respondent podstoupil experiment dvakrát – poprvé při měření pomocí webkamery současně se zařízením SMI a podruhé při měření pomocí webkamery současně s Tobii. Vzhledem k tomu, že se pokaždé jednalo o zcela odlišná měření, nebylo možné srovnávat tato měření mezi sebou, ale pouze v rámci jednotlivých měření. Srovnávána tak byla naměřená data z testování pomocí webkamery s daty naměřenými pomocí infra-red eye-trackeru.

Výsledné porovnání naměřených dat posílilo některé domněnky z předchozích částí testování nástroje. Zdá se, že kvalita dat závisí nejvíce na kvalitě provedení kalibrace. Špatná kalibrace může být důsledkem špatného osvětlení obličeje (což však nebyl problém této části práce – všichni respondenti byli testováni v laboratorních podmínkách se stále stejným osvětlením), nestabilně umístěnou webkamerou nebo hlavně pohybem respondenta. Nepřesné umístění dat bylo totiž způsobeno často nízkou přesností Accuracy. Přesnost dat ve smyslu Precision nebyla vysloveně špatná, data byla pouze oproti bodům zájmu shodně posunuta. Vzhledem k nedostupnosti kalibračních dat se však jedná pouze o domněnku. Nepřesnost dat však může být způsobena příliš velkou rychlostí pohybu očí. Dále bylo zjištěno, že při úkolu, kdy se měl respondent soustředit střídavě na dva body, byla přesnost výrazně vyšší, než při úkolu, kde se měl dívat na 20 bodů. Při druhém zmíněném úkolu byla přitom přesnost vyšší, pokud respondent nestihl všechny body prohlédnout, na rozdíl od respondentů, kteří v časovém intervalu prohlédli body všechny. Z toho plyne domněnka, že čím rychleji respondent pohybuje očima, tím větší problém má nástroj se zaznamenáním pohledu.

Testování nástroje online

Finální část testování byla provedena formou online testování. Takto provedené testování je nejčastější formou použití nástroje. Využívá totiž všechny výhody nástroje, tedy rozeslání experimentu množství respondentů, kteří mohou experiment spustit kdykoli a kdekoliv na vlastním zařízení. Tento způsob měření také umožňuje neomezené množství respondentů a případnou anonymitu. Pro potřeby tohoto testování byl použit stejný experiment, jako u předešlých částí, pouze byl propojen s vlastním dotazníkem, díky kterému bylo možné o respondentech zjistit více informací, tedy pohlaví, věková kategorie, nošení brýlí během experimentu, předchozí zkušenosti s eye-trackingem nebo případné poznámky či problémy s experimentem. Tyto informace potom bylo možné spárovat se záznamy z eye-trackingu pomocí atributů času dokončení, což je poměrně nejistý způsob a může při něm snadno dojít k chybě, jiná možnost však neexistuje.

Tak byla srovnána data z online měření, při kterém největším problémem byla nemožnost dohlížet na respondenta. Bylo tak nutné spoléhat se na správné pochopení a splnění pokynů respondentem, což ale pravděpodobně ne každý respondent zvládl. U některých respondentů bylo množství záznamů pohledu mimo monitor vysoké, což bylo pravděpodobně důsledkem špatné kalibrace, a proto byla jejich data zcela nehodnotná. Vliv na přesnost kalibrace mělo právě v této části nejvíce osvětlení místnosti, usazení respondenta nebo nošení brýlí. Respondenti s brýlemi sice dostali pokyn usadit se tak, aby od brýlí nevznikaly pokud možno žádné odlesky, prakticky to však byl problém, což se výrazně promítlo do přesnosti dat, a to jak Accuracy, tak Precision.

Využitelnost nástroje

Z provedených měření a vyhodnocení nástroje byla zhodnocena celková využitelnost nástroje v oblasti kartografie i mimo ni. V rámci této části byly zhodnoceno, na jaké největší problémy lze u nástroje narazit a jaké možnosti nástroj nabízí pro jeho využití v kartografii. Tato zhodnocení zahrnují výběr vhodných typů map pro testování, přes vhodné úkoly a zadání pro respondenty až po export a výsledné zpracování dat. Nakonec byl sestaven soupis doporučení pro používání nástroje nejen v kartografii, kde je popsán ideální postup při jeho použití a vysvětleny případné obtíže a nedostatky nástroje. Tato doporučení vycházejí zcela z výsledků a poznatků zjištěných při této práci. Jedná se však o informace aktuální k jaru 2022. Vzhledem k tomu, jak rychle se oblast webcam eye-trackingu vyvíjí, lze předpokládat, že do budoucna se leckteré předměty poznatků změní, v ideálním případě pak zmíněné problémy zmizí úplně.

Přesnost měření nástroje byla porovnávána nejprve dle výsledků z kamer s různou kvalitou rozlišení. Další měření mělo být provedeno na kameře s nejlepšími výsledky. Ukázalo se však, že kvalita rozlišení kamery nemá na kvalitu měření výrazný vliv, pro další měření proto byla vybrána kamera se střední kvalitou rozlišení. Následné měření probíhalo současně s měřením na infra-red eye-trackerech SMI a Tobii. To pomohlo zjistit, jaká je skutečně přesnost nástroje, co ji ovlivňuje a jakým způsobem nástroj je a není vhodné používat. Finální fáze měření pak spočívala v rozeslání experimentu online. Tato část práce pomohla otestovat možnosti nástroje v podmínkách, pro které byl navržen a v nichž představuje použití nástroje hlavní výhodu – eye-tracking z domova. Měření pomohlo odhalit úskalí nejen samotného nástroje při tomto použití, ale i online eye-trackingu obecně.

Na základě poznatků získaných během všech částí měření a srovnávání výsledků byl vytvořen přehled doporučení pro využití vybraného nástroje. Tento přehled může pomoci potenciálním uživatelům s rozhodováním mezi více nástroji. Dále je přehled upozorní na různá úskalí nástroje a umožní jim snadněji a lépe sestavit potřebný experiment. Výsledná práce zároveň posuzuje celkové možnosti nástroje a jejich možný vývoj dopředu. Z toho si mohou vzít příklad i vývojáři, kteří by obdobný nástroj chtěli sami vytvořit.

The main aim of the thesis is to examine possibilities of eye-tracking using webcam without no other special hardware, and to examine options of its use in cartography. This form of eye-tracking can be done at the comforts of respondent’s home. From several available eye-tracking tools the most suitable tool was chosen. Then, the tool’s possibilities were tested, both in terms of its functionality and in terms of measurement quality. Therefore, the tool was tested on different types of webcams with different resolution quality. Furthermore, the tool was tested simultaneously with two infra-red eye-trackers, which helped verify the accuracy of the tool by direct comparison of data. Finally, the experiment was distributed to respondents in the way the tool was primarily designed - online experiment undergoing from any place and anytime on respondent’s own device. From the results, the possibilities of using the tool in cartography were evaluated and finally a set of recommendations for the use of the tool in any field was compiled.