Objevování neznámých neznámých ve výzkumné kartografii pomocí vysokokapacitního přirozeného popisu

Abstrakt
Domníváme se, že pro úspěch bude výzkumná kartografie vyžadovat vysokokapacitní přirozený popis, který umožní identifikovat neznámé neznámé v určitém návrhovém prostoru. Vysokokapacitní přirozený popis, tedy systematický sběr a anotace reprezentativních korpusů podnětů z reálného světa, čelí logistickým výzvám, ty však lze překonat řešeními, která se uplatňují v pozdějších fázích integrativního experimentálního designu.

Integrativní přístup prosazovaný Almaatouqem a kol. začíná mapováním výzkumného pole do n-rozměrného návrhového prostoru, který definuje univerzum relevantních experimentů – což označují jako „výzkumnou kartografii“ (cílový článek, sekce 3.1, odst. 2). Navrhují, že dimenze tohoto návrhového prostoru lze odvodit z dostupných taxonomií, předchozího experimentálního výzkumu a praktických zkušeností. Jak však sami připouštějí, tento přístup je zranitelný vůči neznámým neznámým: taxonomie, předchozí experimenty i praktická zkušenost mohou opomenout důležité dimenze, které by měly být do návrhového prostoru zahrnuty.

Zde se zaměřujeme na jeden způsob identifikace neznámých neznámých: vysokokapacitní přirozený popis. Tento přístup může pomoci výzkumným kartografům odhalit chybějící dimenze návrhového prostoru výzkumu, přičemž jeho náklady jsou srovnatelné s pozdějšími fázemi integrativního experimentálního designu.

Abychom ocenili hodnotu vysokokapacitního přirozeného popisu, zvažme případy, kdy výzkumníci zaznamenali nesoulad mezi experimentálními podněty a jejich přirozenou variabilitou v reálném světě. Například Schutz a Gillard (2020) ukázali, že mnoho experimentů zkoumajících sluchové vnímání řeči nepoužívající řeč využívalo jako podněty ploché tóny, přestože takové tóny nejsou realistické: postrádají dynamické změny přítomné v časové struktuře přirozených zvuků. Experimenty, které zahrnovaly takový přirozený obsah, vedly k novým objevům o sluchovém systému. Například studie audiovizuální integrace ukázala, že tóny s časovou strukturou podobnou zvukům nárazu, jako je zvuk xylofonu, ale nikoli ploché tóny bez časové variability, byly spolehlivě integrovány s vizuálními informacemi při hodnocení délky tónu účastníky (Schutz & Kubovy, 2009).

Podobně Dawel, Miller, Horsburgh a Ford (2021) a Barrett, Adolphs, Marsella, Martinez a Pollak (2019) ukázali, že mnoho experimentů zkoumajících vnímání obličejů používalo silně standardizované a pózované konfigurace obličeje, které nereprezentují variabilitu konfigurací obličeje v reálném světě. Pokud se v experimentech používají přirozené konfigurace obličeje, zjištěné výsledky se liší od předchozích závěrů. Například Sutherland a kol. (2013) při použití přirozených podnětů obličeje zjistili, že první dojmy z obličeje mají tři základní dimenze (důvěryhodnost, dominance a mladistvost/atraktivita), namísto dvou dimenzí (důvěryhodnost a dominance), které byly dříve uváděny při použití standardizovaných podnětů obličeje (Oosterhof & Todorov, 2008; Todorov, Said, Engell, & Oosterhof, 2008).

V těchto příkladech výzkumníci zaznamenali a vyřešili určité nesoulady mezi variabilitou experimentálních a reálných podnětů. Takový přístup je sice užitečný, ale problém neznámých neznámých zcela neřeší. V reálném světě totiž může existovat mnohem více variant podnětů, které by mohly změnit naše chápání daného jevu, pokud by byly zahrnuty do experimentálního designu. Výzkumník je však nemůže identifikovat bez důkladného popisu variability v reálném světě.

Jedním z řešení tohoto problému je „vysokokapacitní přirozený popis“: systematický sběr a anotace rozsáhlých reprezentativních korpusů podnětů z reálného světa za účelem identifikace neznámých neznámých.

Příklad z oblasti vnímání emocí ukazuje hodnotu tohoto přístupu. Shromážděním a anotací 7 milionů fotografií obličejů a 10 000 hodin videí z internetu Srinivasan a Martinez (2018) zjistili, že kategorie emocí znechucení, hněv, smutek a štěstí jsou spojeny s 1, 5, 5 a 17 „odlišnými“ konfiguracemi obličeje. Taková variabilita rozsahu konfigurací obličeje vyjadřujících různé emoce představovala neznámou neznámou ve výzkumné kartografii vnímání emocí. Studie zkoumající reakce na konfigurace obličeje vyjadřující určité kategorie emocí dosud podle našich znalostí nezkoumaly reakce na celé spektrum pozorované variability (Barrett et al., 2019). Vysokokapacitní přirozený popis tedy může pomoci definovat návrhový prostor relevantních experimentů prostřednictvím identifikace neznámých neznámých.

Toto řešení však není jednoduchou nápravou problému neznámých neznámých. Rozsáhlé naturalistické pozorování je logisticky náročné. Získání 7 milionů obrazů obličejů z internetu je samo o sobě obtížné a obtížnost dále roste, pokud výzkumníci chtějí získat vzorek obličejů z rozmanitějších zdrojů. Kromě toho může být rozsáhlá anotace stejně náročná jako rozsáhlé naturalistické pozorování. Například vytvoření korpusu 7 milionů obličejů, který je užitečný pro zodpovězení různých výzkumných otázek, vyžaduje anotaci obrazů podle smysluplných dimenzí. Ruční kódování akčních jednotek (konkrétních pohybů obličejových svalů) lidskými anotátory může vyžadovat odborné znalosti nebo může trvat roky, pokud je datový soubor extrémně rozsáhlý (Benitez-Quiroz, Srinivasan, & Martinez, 2016; Srinivasan & Martinez, 2018). Navíc samotný okruh anotátorů musí být velmi rozsáhlý, aby bylo možné zvládnout velikost korpusu a zároveň identifikovat relevantní individuální a kulturní rozdíly v tom, jak anotátoři vnímají dimenzionalitu podnětů.

Shrnuto, vysokokapacitní přirozený popis sice pomáhá identifikovat neznámé neznámé návrhového prostoru výzkumu, ale zároveň přináší významné logistické výzvy. Tyto výzvy však lze překonat kombinací masové spolupráce, automatizace (příklad využití již existuje ve výše zmíněném příkladu vnímání emocí, kde Srinivasan a Martinez, 2018, používají algoritmus počítačového vidění k anotaci akčních jednotek v internetových obrazech; Benitez-Quiroz et al., 2016; Yitzhak et al., 2017), občanské vědy (Awad et al., 2018, 2020; Hilton & Mehr, 2021) a gamifikace (Long, Simson, Buxó-Lugo, Watson, & Mehr, 2023). Almaatouq a kol. ostatně již navrhují, že tato řešení mohou být využita v pozdějších fázích integrativního experimentálního designu.

Přesto by aplikace těchto řešení při realizaci vysokokapacitního přirozeného popisu neměla být přehlížena, protože zvyšuje obavy ohledně počátečních nákladů a inkluzivity integrativního přístupu. Jen málo výzkumných skupin může mít zdroje k implementaci integrativního experimentálního designu a ještě méně skupin může být schopno vyřešit problém neznámých neznámých již ve fázi výzkumné kartografie. Přestože jsme myšlenkami uvedenými v cílovém článku nadšeni, domníváme se, že je nutné jasně a konstruktivně formulovat požadavky integrativního přístupu k experimentálnímu designu.

Poděkování. T. K. by rád poděkoval Dr. Julii Grèzes za krátkou diskusi o současném stavu literatury týkající se vnímání obličejů a sociální kognice.

Finanční podpora. S. A. M. je podporován grantem NIH DP5OD024566.
J.-F. B. děkuje za podporu grantů ANR-19-PI3A-0004, ANR-17-EURE-0010 a výzkumné nadace TSE-Partnership.

Střet zájmů. Žádný.

Reference

Awad, E., Dsouza, S., Bonnefon, J. F., Shariff, A., & Rahwan, I. (2020). Crowdsourcing moral machines. Communications of the ACM, 63(3), 48–55.
Awad, E., Dsouza, S., Kim, R., Schulz, J., Henrich, J., Shariff, A., … Rahwan, I. (2018). The moral machine experiment. Nature, 563, 59–64.
Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M., & Pollak, S. D. (2019). Emotional expressions reconsidered: Challenges to inferring emotion from human facial movements. Psychological Science in the Public Interest, 20(1), 1–68.
Benitez-Quiroz, C. F., Srinivasan, R., & Martinez, A. M. (2016). EmotioNet: An accurate, real-time algorithm for the automatic annotation of a million facial expressions in the wild.
Dawel, A., Miller, E. J., Horsburgh, A., & Ford, P. (2021). A systematic survey of face stimuli used in psychological research 2000–2020.
Hilton, C., & Mehr, S. (2021). Citizen science can help to alleviate the generalizability crisis.
Long, B., Simson, J., Buxó-Lugo, A., Watson, D. G., & Mehr, S. A. (2023). How games can make behavioural science better.
Oosterhof, N. N., & Todorov, A. (2008). The functional basis of face evaluation.
Schutz, M., & Gillard, J. (2020). On the generalization of tones: A detailed exploration of non-speech auditory perception stimuli.
Schutz, M., & Kubovy, M. (2009). Causality and cross-modal integration.
Srinivasan, R., & Martinez, A. M. (2018). Cross-cultural and cultural-specific production and perception of facial expressions of emotion in the wild.
Sutherland, C. A. M., et al. (2013). Social inferences from faces: Ambient images generate a three-dimensional model.
Todorov, A., Said, C. P., Engell, A. D., & Oosterhof, N. N. (2008). Understanding evaluation of faces on social dimensions.
Yitzhak, N., et al. (2017). Gently does it: Humans outperform a software classifier in recognizing subtle, nonstereotypical facial expressions.