Některé odkazy na MEHR mohou být součástí partnerských programů. Pokud se rozhodnete zaregistrovat nebo provést vklad prostřednictvím jednoho z těchto odkazů, můžeme získat provizi – pro vás to není nic navíc. Náš redakční tým důkladně prověřuje všechny partnery a poskytovatele služeb. Zavázali jsme se k udržování transparentnosti a integrity našeho obsahu prostřednictvím jasných redakčních standardů.

Občanská věda může pomoci zmírnit krizi zobecnitelnosti

Abstrakt
Zlepšení zobecnitelnosti v psychologii bude vyžadovat rozsáhlejší sběr dat pro podporu komplexnějších statistických modelů, které přesahují rozsah tradičního laboratorního výzkumu. Tvrdíme, že občanská věda má jedinečnou schopnost rozšířit sběr dat a že navzdory určitým omezením může pomoci zmírnit krizi zobecnitelnosti.

Yarkoni tvrdí, že běžné statistické postupy v psychologii nedokážou kvantitativně podpořit zobecnění, o která psychologům jde. Je tomu tak proto, že většina analýz ignoruje důležité zdroje variability a v důsledku toho neoprávněně zobecňuje z úzce vybraných případů.

Je tento problém řešitelný? Jsme optimisté, proto ponecháváme stranou Yarkoniho návrhy „dělat něco jiného“ nebo „přijmout kvalitativní výzkum“ a soustředíme se na jeho klíčové doporučení: zavedení modelů se smíšenými efekty pro odhad účinků na úrovni určitého faktoru (např. podnětu), který je interpretován jako jedna z možných hodnot populace měření, což umožňuje zobecnění přes tento faktor.

Yarkoni má pravdu, že takto postupuje příliš málo studií. V našem oboru psychologie hudby se například často nesprávně zobecňuje z jediného hudebního příkladu na veškerou hudbu; nebo ze souboru písní z určitého kontextu (např. popové písně) na všechny písně; nebo ze schopností vnímání hudby u určité podskupiny lidí na všechny lidi.

Zvažme „Mozartův efekt“: známý pozitivní vliv poslechu Mozartovy sonáty na prostorové uvažování, který byl přehnaně zobecněn na „veškerého Mozarta“ a nakonec na „veškerou hudbu“. Přestože byl reprodukovatelný za úzce vymezených podmínek, původní výsledek nebyl ve skutečnosti specifický ani pro prostorové uvažování, ani pro Mozarta, ani pro hudbu obecně – efekt byl výsledkem obecných změn úrovně vzrušení a nálady (Thompson, Schellenberg & Husain, 2001).

Modelování náhodných efektů pro podněty a další relevantní faktory však představuje značnou výzvu: výzkumníci budou potřebovat mnohem více podnětů a účastníků, širší a hlubší výběr vzorků a mnohem více měření, než je obvykle prakticky možné. Psychologové již nyní mají potíže získat dostatečnou statistickou sílu pro studie s úzce vybranými, fixními efekty (Smaldino & McElreath, 2016).

Jak tedy můžeme krizi zobecnitelnosti zmírnit? Domníváme se, že občanská věda může pomoci.

Občanská věda označuje soubor výzkumných nástrojů a postupů, které spojuje sladění zájmů účastníků s cíli projektu, takže účast je vnitřně motivovaná (např. zvědavostí na téma), nikoli motivovaná vnějšími faktory (např. penězi nebo studijními kredity). Výsledkem jsou studie, které levně získávají tisíce či dokonce miliony různorodých účastníků prostřednictvím internetu. Studie mají mnoho podob – od „gamifikovaných“ experimentů, které se virálně šíří online, jako je náš „Test hudební hluchoty“ (aktuálně N > 1,2 milionu; https://themusiclab.org), až po kolektivní terénní sběr dat, jako je celostátní sčítání holubů na Novém Zélandu (Great Kererū Count, https://www.greatkererucount.nz/).

Potenciál občanské vědy je ohromující. Například experiment Moral Machine (Awad et al., 2018) shromáždil 40 milionů rozhodnutí od milionů lidí (zahrnujících 10 jazyků a více než 200 zemí) týkajících se morálních intuic spojených se samořiditelnými automobily. Takto masivní rozsah umožnil kvantifikovat rozdíly v morálních intuicích mezi zeměmi a zjistit, jak jsou ovlivněny kulturními a ekonomickými faktory specifickými pro jednotlivé státy, což má významné praktické důsledky.

Navíc pokud je občanská věda spojena s korpusovými metodami, lze účinně maximalizovat zobecnitelnost napříč podněty. Dříve jsme zkoumali vysokou úroveň reprezentací vznikajících při poslechu hudby tím, že jsme testovali, zda nezkušení posluchači dokážou odhadnout behaviorální kontext písní vytvořených v neznámých zahraničních společnostech (Mehr et al., 2018, 2019). Každá verze virálního „World Music Quizu“ přehrávala náhodný výběr písní z korpusu Natural History of Song, což je rozsáhlý soubor podnětů reprezentativně zahrnující hudbu z 86 světových kultur.

Výsledky experimentu – že posluchači dokázali přesně odhadnout behaviorální kontext písní – lze proto spolehlivě zobecnit (a) na populaci písní, ze které byly podmnožiny podnětů vybrány (např. ukolébavky); (b) slaběji na hudbu obecně (nakolik podpopulace písní zastoupené těmito kategoriemi reprezentují i jiné kategorie); a (c) na populaci posluchačů, ze které byli naši účastníci vybráni (tj. členy společností připojených k internetu). Všechny tyto faktory lze explicitně modelovat pomocí náhodných efektů.

Stejná logika platí pro studium podpopulací účastníků (měřených podle jakékoli charakteristiky) i podmnožin korpusů. Například ve studii akustických pravidelností ve vokalizacích zaměřených na kojence napříč kulturami modelujeme náhodné efekty charakteristik posluchačů, charakteristik mluvčích či zpěváků (tj. producentů podnětů) a kategorií podnětů (např. řeč zaměřená na kojence vs. řeč zaměřená na dospělé). To je možné pouze díky velkým datovým souborům (v našem případě téměř 1 milion hodnocení posluchačů; Hilton, Moser, et al., 2021). Další málo využívané analytické postupy se díky velkým datům z občanské vědy stávají praktičtějšími, včetně radikální randomizace (Baribault et al., 2018), predikce s křížovou validací (Yarkoni & Westfall, 2017) a párovacích metod pro kauzální inferenci (Stuart, 2010).

Metody občanské vědy však mají omezení – je nutné zohlednit zájmy a motivace účastníků; vyhnout se faktorům, které by mohly účast odrazovat (např. neintuitivní uživatelské rozhraní nebo nudné časově náročné úkoly), což může vyžadovat grafický design a webový vývoj pro účely gamifikace (např. Cooper et al., 2010); existuje riziko náboru zaujatého vzorku populace (tj. osob s přístupem k internetu; Lourenco & Tasimi, 2020); a dochází ke kompromisům mezi hustým vzorkováním podnětů mezi účastníky a uvnitř účastníků vzhledem k obvykle krátkému trvání experimentů občanské vědy.

Naše snahy o nábor dětí ve velkém měřítku prostřednictvím online občanské vědy sice přinášejí slibné výsledky (Hilton, Crowley deThierry, Yan, Martin & Mehr, 2021), ale vzácné nebo obtížně zkoumatelné populace může být obtížné získat ve velkém množství (srov. Lookit – platforma pro online výzkum u kojenců; Scott & Schulz, 2017). Jak Yarkoni poznamenává, alternativní přístupy, jako jsou vícemístní spolupráce (např. ManyBabies Consortium, 2020), by mohly být nastaveny tak, aby maximalizovaly zobecnitelnost napříč podněty místo přímé replikace výsledků se stejnými podněty.

Navzdory těmto omezením – díky rostoucímu ekosystému open-source nástrojů (např. de Leeuw, 2015; Hartshorne, de Leeuw, Goodman, Jennings & O’Donnell, 2019; Peirce et al., 2019); dostupnosti rozsáhlých naturalistických korpusů od průmyslových partnerů (např. Spotify Research; Way, Garcia-Gathright & Cramerr, 2020); a výzvám ke spolupracujícím investicím do infrastruktury občanské vědy (Sheskin et al., 2020) – nebylo řešení těchto omezení nikdy snazší.

Domníváme se proto, že občanská věda může hrát užitečnou roli, když se psychologové začnou zabývat krizí zobecnitelnosti.