4.5.4 Partner z močnimi

Partnerstvo lahko zmanjša stroške in poveča obseg, lahko pa se spremenijo vrste udeležencev, zdravljenja, in rezultatov, ki jih lahko uporabite.

Alternativa samemu sebi je partnerstvo z močno organizacijo, kot je družba, vlada ali nevladna organizacija. Prednost sodelovanja s partnerjem je, da vam omogočajo izvajanje poskusov, ki jih sami ne morete storiti. Na primer, eden od poskusov, ki vam jih bom povedal spodaj, je vključevalo 61 milijonov udeležencev - noben posamezni raziskovalec ne bi dosegel te lestvice. Hkrati pa to partnerstvo poveča, kar lahko storite, tudi vas omejuje. Na primer, večina podjetij vam ne dovoli izvajanja preizkusa, ki bi lahko škodovalo njihovemu poslovanju ali njihovemu ugledu. S sodelovanjem s partnerji tudi to pomeni, da lahko pride do pritiska, da "znova uokvirate" svoje rezultate, pri nekaterih partnerjih pa celo poskušajo blokirati objavo svojega dela, če je videti slabo. Nenazadnje pa partnerstvo prinaša tudi stroške, povezane z razvojem in vzdrževanjem teh sodelovanj.

Glavni izziv, ki ga je treba rešiti, da bi bila ta partnerstva uspešna, je najti način za uravnoteženje interesov obeh strani, koristen način razmišljanja o tem ravnotežju pa je Pasteurjev kvadrant (Stokes 1997) . Mnogi raziskovalci mislijo, da če delajo na nečem praktičnem - nekaj, kar bi lahko bilo zanimivo za partnerja - potem ne morejo početi prave znanosti. Ta miselnost bo zelo težko ustvarjati uspešna partnerstva, prav tako pa se zgodi, da je popolnoma napačna. Problem s tem načinom razmišljanja je čudovito ponazorjen z raziskovanjem biologa Louisa Pasteurja. Medtem ko je delal na komercialnem projektu fermentacije za pretvorbo pekovega soka v alkohol, je Pasteur odkril novo skupino mikroorganizmov, ki je sčasoma pripeljala do zarodne teorije bolezni. To odkritje je rešilo zelo praktičen problem - pomagalo je izboljšati proces fermentacije - in to je pripeljalo do velikega znanstvenega napredka. Zato je bolje razmišljati o raziskavah s praktičnimi aplikacijami kot nasprotju s pravimi znanstvenimi raziskavami kot dve ločeni razsežnosti. Raziskave lahko motivirate z uporabo (ali ne), raziskave pa lahko iščejo temeljno razumevanje (ali ne). Kritično je, da lahko nekatere raziskave, podobne Pasteurju, motivirajo z uporabo in iščejo temeljito razumevanje (slika 4.17). Raziskave v Pasteurjevem kvadrantu, ki sama po sebi dosegajo dva cilja, so idealne za sodelovanje med raziskovalci in partnerji. Glede na to ozadje bom opisal dve poskusni študiji s partnerstvom: enega z družbo in enega z nevladno organizacijo.

Slika 4.17: Pasteurjev kvadrant (Stokes 1997). Namesto razmišljanja o raziskavah bodisi kot osnovnega bodisi uporabljenega, je bolje, da ga razmišljamo kot motivirano z uporabo (ali ne) in iščemo temeljito razumevanje (ali ne). Primer raziskav, ki sta oba motivirana z uporabo in išče osnovno razumevanje, je delo Pasteurja pri pretvorbi sladkorne pese v alkohol, ki vodi k zarodni teoriji bolezni. To je delo, ki je najbolj primerno za partnerstva z močnimi. Primeri dela, ki so motivirani z uporabo, vendar ne iščejo temeljnega razumevanja, prihajajo od Thomas Edison in primeri dela, ki niso motivirani z uporabo, temveč jih želi razumeti pri Niels Bohr. Glej Stokes (1997) za podrobnejšo razpravo o tem okviru in vsakem od teh primerov. Prilagojeno od Stokesa (1997), slika 3.5.

Slika 4.17: Pasteurjev kvadrant (Stokes 1997) . Namesto da bi razmišljali o raziskavah kot "osnovnih" ali "uporabljenih", je bolje, da ga razmišljamo kot motivirane z uporabo (ali ne) in iščemo temeljno razumevanje (ali ne). Primer raziskav, ki sta oba motivirana z uporabo in išče osnovno razumevanje, je delo Pasteurja pri pretvorbi sladkorne pese v alkohol, ki vodi k zarodni teoriji bolezni. To je delo, ki je najbolj primerno za partnerstva z močnimi. Primeri dela, ki so motivirani z uporabo, vendar ne iščejo temeljnega razumevanja, prihajajo od Thomas Edison in primeri dela, ki niso motivirani z uporabo, temveč jih želi razumeti pri Niels Bohr. Glej Stokes (1997) za podrobnejšo razpravo o tem okviru in vsakem od teh primerov. Prilagojeno od Stokes (1997) , slika 3.5.

Velika podjetja, zlasti tehnološka podjetja, so razvila neverjetno prefinjeno infrastrukturo za izvajanje zahtevnih eksperimentov. V tehnološki industriji se ti poskusi pogosto imenujejo testi A / B, ker primerjajo učinkovitost dveh načinov zdravljenja: A in B. Takšni poskusi se pogosto izvajajo za stvari, kot so večje razmerje med prikazi in kliki na oglasih, vendar lahko ista eksperimentalna infrastruktura se uporablja za raziskave, ki spodbujajo znanstveno razumevanje. Primer, ki ponazarja potencial takšne raziskave, je študija, ki jo je izvedlo partnerstvo med raziskovalci na Facebooku in Univerzo Kalifornije v San Diegu o učinkih različnih sporočil na volilno udeležbo (Bond et al. 2012) .

2. novembra 2010 - dan ameriških kongresnih volitev - vsi 61 milijoni Facebook uporabnikov, ki so živeli v Združenih državah Amerike in so bili stari 18 let in več, so se udeležili eksperimenta o glasovanju. Ob obisku na Facebooku so bili uporabniki naključno razporejeni v eno od treh skupin, ki so ugotovile, kaj je bil banner (če sploh kateri) na vrhu njihove novice (slika 4.18):

  • kontrolna skupina
  • informativno sporočilo o glasovanju z gumbom »I Voted«, ki ga je mogoče klikniti, in števec (Info)
  • informativno sporočilo o glasovanju z gumbom »I Voted«, ki ga je mogoče klikniti, in števec plus imena in slike svojih prijateljev, ki so že kliknili »I voted« (Info + Social)

Bond in sodelavci sta preučevali dva glavna rezultata: poročali o glasovanju in dejanskem glasovanju. Prvič, ugotovili so, da so bili ljudje v skupini Info + Socialni skupini približno 2 odstotni točki bolj verjetni kot ljudje iz skupine Info, da kliknejo "I Glasoval" (približno 20% v primerjavi z 18%). Nadalje, ko so raziskovalci združili svoje podatke z javno dostopnimi glasovnimi zapisi za približno šest milijonov ljudi, so ugotovili, da so bili ljudje v skupini Info + Social 0,39 odstotne točke bolj verjetni, da bodo glasovali dejansko kot tisti v kontrolni skupini, in da bodo ljudje v skupini Info enako verjetno glasovali kot tisti v kontrolni skupini (slika 4.18).

Slika 4.18: Rezultati preizkusa glasovanja na Facebooku (Bond et al., 2012). Udeleženci v Info skupini so glasovali po enaki stopnji kot v kontrolni skupini, ljudje v skupini Info + Social pa so glasovali nekoliko višje. Plošče predstavljajo ocenjene interval zaupanja 95%. Rezultati v grafu so približno za približno šest milijonov udeležencev, ki so se ujemali z glasovalno evidenco. Prilagojeno od Bond et al. (2012), slika 1.

Slika 4.18: Rezultati preizkusa glasovanja na Facebooku (Bond et al. 2012) . Udeleženci v Info skupini so glasovali po enaki stopnji kot v kontrolni skupini, ljudje v skupini Info + Social pa so glasovali nekoliko višje. Plošče predstavljajo ocenjene interval zaupanja 95%. Rezultati v grafu so približno za približno šest milijonov udeležencev, ki so se ujemali z glasovalno evidenco. Prilagojeno od Bond et al. (2012) , slika 1.

Rezultati tega preizkusa kažejo, da so nekatera spletna sporočila o izvleku glasu učinkovitejša od drugih in da je ocena uspešnosti raziskovalca odvisna od tega, ali je o rezultatu prijavljeno glasovanje ali dejansko glasovanje. Ta eksperiment na žalost ne navaja nobenih namigov o mehanizmih, preko katerih so socialni podatki, ki so se nekateri raziskovalci igrivično imenovali "obrazni kup", povečali glasovanje. Mogoče bi bilo, da bi socialne informacije povečale verjetnost, da nekdo opazijo banner ali da je povečal verjetnost, da bi nekdo, ki je opazil, da je banner dejansko glasoval ali oboje. Tako je ta preizkus zanimiva ugotovitev, ki jo bodo verjetno raziskovali drugi raziskovalci (glej npr. Bakshy, Eckles, et al. (2012) ).

Poleg napredovanja ciljev raziskovalcev je ta poskus napredoval tudi za cilj partnerske organizacije (Facebook). Če spremenite vedenje, preučevano s glasovanja, do nakupa mila, lahko vidite, da ima študija popolnoma enako strukturo kot poskus za merjenje učinka spletnih oglasov (glej npr. RA Lewis and Rao (2015) ). Te študije učinkovitosti oglasov pogosto merijo učinek izpostavljenosti spletnim oglasom - zdravljenja v Bond et al. (2012) so v bistvu oglasi za glasovanje o neponovnem vedenju. Tako bi lahko ta raziskava izboljšala sposobnost Facebooka, da preuči učinkovitost spletnih oglasov in bi lahko pomagal Facebooku prepričati potencialne oglaševalce, da so oglasi Facebook učinkoviti pri spreminjanju vedenja.

Čeprav so bili v tej študiji v glavnem usklajeni interesi raziskovalcev in partnerjev, so bili tudi delno napeti. Zlasti razvrstitev udeležencev v tri skupine - nadzor, Info in Info + Socialna - je bila izjemno neuravnotežena: 98% vzorca je bilo dodeljeno Info + Socialu. Ta neuravnotežena dodelitev je statistično neučinkovita in za raziskovalce bi imelo veliko tretjino udeležencev v vsaki skupini. Ampak neuravnotežena dodelitev se je zgodila, ker je Facebook želel, da vsi prejmejo info + socialno obravnavo. Na srečo so jih raziskovalci prepričali, naj zadržijo 1% za povezano zdravljenje in 1% udeležencev za nadzorno skupino. Brez kontrolne skupine bi bilo v osnovi nemogoče izmeriti učinek Info + Socialne obravnave, ker bi bil namesto randomiziranega nadzorovanega poskusa eksperiment "perturbacija in opazovanje". Ta primer zagotavlja dragoceno praktično lekcijo za sodelovanje s partnerji: včasih ustvarite poskus, tako da prepričate nekoga, da bo zdravljenje opravil, včasih pa boste ustvarili poskus, tako da boste prepričali nekoga, da ne bo izvajal zdravljenja (tj. Ustvariti kontrolno skupino).

Partnerstvo ne vključuje vedno tehnoloških podjetij in testov A / B z milijoni udeležencev. Alexander Coppock, Andrew Guess in John Ternovski (2016) sta na primer sodelovala z okoljsko nevladno organizacijo - Lige konservatorskih volivcev - da bi izvajala eksperimente za testiranje različnih strategij za spodbujanje socialne mobilizacije. Raziskovalci so uporabili račun NVO na Twitterju, da so poslali javne tweete in zasebna neposredna sporočila, ki so poskušala prevzeti različne vrste identitet. Nato so izmerili, katera od teh sporočil je najbolj učinkovita za spodbujanje ljudi, da podpišejo peticijo in poizvedujejo podatke o peticiji.

Tabela 4.3: Primeri eksperimentov, ki vključujejo partnerstva med raziskovalci in organizacijami
Tema Reference
Učinek Facebook News Feed o izmenjavi informacij Bakshy, Rosenn, et al. (2012)
Učinek delne anonimnosti na vedenje na spletnih straneh za zmenke na spletu Bapna et al. (2016)
Učinek poročil o energetski učinkovitosti pri porabi električne energije Allcott (2011) ; Allcott and Rogers (2014) ; Allcott (2015) ; Costa and Kahn (2013) ; Ayres, Raseman, and Shih (2013)
Učinek zasnove aplikacij na širjenje virusov Aral and Walker (2011)
Učinek razpršilnega mehanizma na difuzijo SJ Taylor, Bakshy, and Aral (2013)
Učinek družbenih informacij v oglasih Bakshy, Eckles, et al. (2012)
Učinek katalogne frekvence na prodajo preko kataloga in na spletu za različne vrste strank Simester et al. (2009)
Učinek priljubljenih informacij o potencialnih aplikacijah za zaposlitev Gee (2015)
Učinek začetnih ocen popularnosti Muchnik, Aral, and Taylor (2013)
Učinek vsebine sporočil na politično mobilizacijo Coppock, Guess, and Ternovski (2016)

Na splošno partnerstvo z močnimi omogoča, da delate na lestvici, ki je drugače težko narediti, v tabeli 4.3 pa so prikazani drugi primeri partnerstev med raziskovalci in organizacijami. Partnerstvo je lahko veliko lažje kot gradnja lastnega preizkusa. Toda te prednosti imajo pomanjkljivosti: partnerstva lahko omejijo vrste udeležencev, zdravljenje in izide, ki jih lahko študirate. Poleg tega lahko ta partnerstva vodijo do etičnih izzivov. Najboljši način za prepoznavanje priložnosti za partnerstvo je opaziti resnično težavo, ki jo lahko rešite, medtem ko delate zanimivo znanost. Če niste navajeni na ta način gledanja na svet, je v Pasteurjevem kvadrantu težko odkriti težave, vendar boste s prakso začeli opazovati vse več.