4.4 Irrottautuminen yksinkertaisia ​​kokeita

Katsotaan siirtyä yksinkertaisia ​​kokeita. Kolme käsitteet ovat hyödyllisiä runsaasti kokeita: voimassaolo, heterogeenisuus hoidon vaikutuksia, ja mekanismi.

Tutkijat, jotka ovat uusia kokeita keskittyvät usein hyvin erityinen, kapea kysymys: onko tämä hoito "työ"? Esimerkiksi ei puhelun vapaaehtoinen kannustaa joku äänestää? Onko muuttamalla sivuston painikkeen sinisestä vihreäksi lisäys click-through rate? Valitettavasti löysä fraseeraus mitä "toimii" hämärtää se, että kapea-alainen kokeita ei oikeastaan ​​kertoa, onko hoito "toimii" yleisessä merkityksessä. Pikemminkin, kapea-alainen kokeita vastata paljon erityisen kysymyksen: mikä on keskimääräinen vaikutus tämän erityistä hoitoa tällä Erityinen toteutus tälle potilasryhmälle osallistujia tällä hetkellä? Soitan kokeita, jotka keskittyvät kapealla kysymykseen yksinkertaisia ​​kokeita.

Yksinkertaisia ​​kokeita voi antaa arvokasta tietoa, mutta ne eivät vastata moniin kysymyksiin, jotka ovat tärkeitä ja mielenkiintoisia, kuten: on olemassa joitakin ihmisiä, joille hoito oli suurempi tai pienempi vaikutus ?; onko toinen hoito, joka olisi tehokkaampi ?; ja miten tämä koe liittyy laajempia sosiaalisia teorioita?

Sen osoittamiseksi arvon päästä eteenpäin yksinkertaisia ​​kokeita, Tarkastellaan yksi suosikkini analogisen kenttäkokeissa, tutkimus P. Wesley Schultz ja kollegoiden suhdetta sosiaalisten normien ja energiankulutus (Schultz et al. 2007) . Schultz ja työtovereiden ripustettu doorhangers 300 kotitalouksiin San Marcos, California, ja nämä doorhangers toimitetaan erilaisia ​​viestejä tarkoituksena on kannustaa energiansäästöön. Sitten, Schultz ja kollegat mitataan vaikutus näiden viestien sähkönkulutuksen sekä viikon kuluttua ja kolme viikkoa; katso kuvio 4.3 yksityiskohtaisempi kuvaus kokeellisen suunnittelun.

Kuva 4.3: Kaaviokuva design Schultz et al. (2007). Kenttäkokeen mukana vierailevat noin 300 kotitaloutta San Marcos, California viisi kertaa kahdeksan viikon aikana. Jokaisena käy tutkijat käsin otti lukema talon tehomittarilla. On kaksi käyntiä tutkijat sijoitetaan doorhangers talon tarjoamaan joitakin tietoja niiden energiankulutus. Tutkimus kysymys oli, miten viestien sisällöstä vaikuttaisi energian käyttöä.

Kuva 4.3: Kaaviokuva design Schultz et al. (2007) . Kenttäkokeen mukana vierailevat noin 300 kotitaloutta San Marcos, California viisi kertaa kahdeksan viikon aikana. Jokaisena käy tutkijat käsin otti lukema talon tehomittarilla. On kaksi käyntiä tutkijat sijoitetaan doorhangers talon tarjoamaan joitakin tietoja niiden energiankulutus. Tutkimus kysymys oli, miten viestien sisällöstä vaikuttaisi energian käyttöä.

Kokeilu oli kaksi ehtoa. Ensimmäisessä tilassa kotitalouksista sai yleinen energiansäästövinkeistä (esim käyttö fanit sijasta ilmastointilaitteet) ja tietoa heidän kotitalouden energiankulutus verrattuna keskimääräiseen energian käyttö niiden läheisyydessä. Schultz ja kollegat kutsui tätä kuvaava normatiivinen ehto, koska tiedot energiankäyttöä naapurustossa antoivat tietoja tyypillinen käyttäytyminen (ts kuvaava normi). Kun Schultz ja työtovereiden katsoin tuloksena energian käyttö tässä ryhmässä, hoito ei vaikuttanut olevan vaikutusta joko lyhyellä aikavälillä tai pitkällä aikavälillä; toisin sanoen hoito ei näyttänyt "työ" (Kuva 4.4).

Mutta onneksi Schultz et al. (2007) ei tyydy tähän suppean analysoinnin. Ennen kokeilun aloittamista he päättelivät, että suurkäyttäjiä sähkön-ihmiset yli keskimääräisen-saattaisi vähentää kulutusta, ja että valo sähkön käyttäjille-ihmiset alle keskimääräisen-saattaisi lisätä kulutustaan. Kun he katsoivat tietoja, se on juuri sitä, mitä he löysivät (Kuva 4.4). Siten mikä näytti hoito, joka oli ottaa mitään vaikutusta oli itse hoito, joka oli kaksi kumoavat vaikutusta. Tutkijat kutsuivat tätä haitallista kasvu keskuudessa valo käyttäjät bumerangivaikutus.

Kuva 4.4: Tulokset Schultz et al. (2007). Ensimmäinen paneeli esittää, että kuvaileva normi hoito on arvioitu nolla keskimääräinen hoitovaikutus. Kuitenkin, toinen paneeli osoittaa, että tämän keskiarvon hoidon vaikutus on itse asiassa koostuu kahdesta kumoavat vaikutukset. Suurkäyttäjiä, hoito akku loppuu, mutta kevyen käyttäjille, hoito käytön kasvu. Kolmas paneeli osoittaa, että toinen käsittely, jossa käytettiin kuvailevaa ja väliaikaisiin normeja, oli suunnilleen sama vaikutus suurkäyttäjiä mutta lievensi bumerangivaikutus valon käyttäjille.

Kuva 4.4: Tulokset Schultz et al. (2007) . Ensimmäinen paneeli esittää, että kuvaileva normi hoito on arvioitu nolla keskimääräinen hoitovaikutus. Kuitenkin, toinen paneeli osoittaa, että tämän keskiarvon hoidon vaikutus on itse asiassa koostuu kahdesta kumoavat vaikutukset. Suurkäyttäjiä, hoito akku loppuu, mutta kevyen käyttäjille, hoito käytön kasvu. Kolmas paneeli osoittaa, että toinen käsittely, jossa käytettiin kuvailevaa ja väliaikaisiin normeja, oli suunnilleen sama vaikutus suurkäyttäjiä mutta lievensi bumerangivaikutus valon käyttäjille.

Edelleen, Schultz ja työtovereiden odotettavissa tämän mahdollisuuden, ja toinen edellytys niiden käyttöön hieman erilainen kohtelu, yksi nimenomaan pyritään eliminoimaan bumerangivaikutus. Kotitalouksista toinen edellytys sai täsmälleen saman kohtelun-yleinen energiansäästö vihjeitä ja tietoja heidän kotitalouden energiankulutus verrattuna niiden naapuruston-yksi pieni lisäys: ihmisiä, joilla on keskiarvoa kulutus, tutkijat lisäsi :) ja ihmiset keskimääräistä kulutusta ne lisätään :(. Nämä hymiöitä suunniteltu laukaisemaan mitä tutkijat kutsutaan kieltotoimia normeja. Kohtuullinen normeja viittaavat käsityksiä, mitä yleisesti hyväksytty (ja hylätty) taas kuvaileva normit viittaavat käsityksiä, mitä tehdään yleisesti (Reno, Cialdini, and Kallgren 1993) .

Lisäämällä tämä pieni hymiö, tutkijat dramaattisesti vähentänyt bumerangivaikutus (Kuva 4.4). Siten tekemällä tämä yksinkertainen muutos-muutos, joka motivoi abstraktin sosiaalipsykologisen teoria (Cialdini, Kallgren, and Reno 1991) -the tutkijat pystyivät kääntämään ohjelmaa, joka ei näytä toimivan yhdeksi että toimi, ja samalla he pystyivät edistää yleistä ymmärrystä siitä, miten sosiaaliset normit vaikuttavat ihmisten käyttäytymiseen.

Tässä vaiheessa on kuitenkin saatat huomata, että jotain on vähän erilaista tässä kokeessa. Erityisesti koe Schultz ja työtovereiden ei oikeastaan ​​ollut vertailuryhmää samalla tavalla kuin satunnaistetussa kontrolloidussa kokeiden tekemistä. Verrattaessa tätä suunnittelu ja suunnittelu Restivo ja van de Rijt havainnollistaa erot kahden suuren malleja käytetään tutkijoiden. Välillä-aiheita malleja, kuten Restivo ja van de Rijt, on hoitoryhmässä ja kontrolliryhmän ja sisäinen aiheista suunnittelee käyttäytymistä osallistujien verrataan ennen ja jälkeen hoidon (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Vuonna sisällä-aihe kokeilu on ikään kuin jokainen osallistuja toimii oman kontrolliryhmään. Vahvuus välinen-altistaa malleja on, että se antaa suojan sekoittavien tekijöiden (kuten olen kuvattu aiemmin), ja vahvuus sisällä-aiheista kokeiden suuremman tarkkuuden arvioissa. Kun jokainen osallistuja toimii oman valvonta, välillä-osallistuja vaihtelu eliminoituu (ks tekniset liite). Esikuvaksi joka tulee myöhemmin kun antaa neuvoja suunnittelussa digitaalinen kokeita, on lopullinen muotoilu, jota kutsutaan sekoittaa muotoilu, joka yhdistää parannetun tarkkuuden puitteissa-aiheita suunnittelee ja suoja sekoittava välillä-aiheista malleja.

Kuva 4.5: Kolme kokeellista malleja. Standard satunnaistettu kontrolloitu kokeissa käyttää välillä-altistaa malleja. Esimerkki välillä-aiheista suunnittelu on Restivo ja van de Rijt n (2012) kokeilu barnstars ja maksuja Wikipedia: tutkijat satunnaisesti jaettu osallistujat hoitoon ja kontrolliryhmissä, antoi osallistujille hoidossa ryhmälle Barnstar, ja verrattiin tuloksia kahden ryhmiä. Toinen tyyppi suunnittelu on sisällä-aiheita muotoilu. Kaksi kokeiluja Schultz ja kollegansa (2007) tutkimuksen sosiaalisten normien ja energiankäytön havainnollistavat kuluessa-aiheita suunnittelu: tutkijat vertasivat sähkön käytön osallistujien ennen ja saatuaan hoitoa. Within-aiheita ratkaisut tarjoavat parempaa tilastollista tarkkuutta poistamalla subjektin varianssi (katso tekniset liite), mutta ne ovat avoimia mahdollisia sekoittavat tekijät (esim muutokset sään välillä esikäsittelyn ja hoitojakson aikana) (Greenwald 1976 Charness, Gneezy, ja Kuhn 2012). Within-aiheita mallit ovat myös joskus kutsutaan toistuvia toimenpiteitä malleja. Lopuksi sekoitettu muotoilussa yhdistyvät parantunut tarkkuus sisäistä altistaa suunnittelee ja suoja sekoittava välillä-aiheista malleja. Mixed suunnittelu, tutkija vertaa muutosta tuloksia ihmisille hoidossa ja kontrolliryhmiin. Kun tutkijat jo esikäsittelyn tietoja, kuten on laita monissa digitaalisen kokeissa sekoitettu mallit ovat parempi välillä-aiheita malleja, koska voittoja tarkkuus (katso tekniset liite).

Kuva 4.5: Kolme kokeellista malleja. Standard satunnaistettu kontrolloitu kokeissa käyttää välillä-altistaa malleja. Esimerkki välillä-aiheista suunnittelu on Restivo ja van de Rijt n (2012) kokeilu barnstars ja maksuja Wikipedia: tutkijat satunnaisesti jaettu osallistujat hoitoon ja kontrolliryhmissä, antoi osallistujille hoidossa ryhmälle Barnstar, ja verrattiin tuloksia kahden ryhmiä. Toinen tyyppi suunnittelu on sisällä-aiheita muotoilu. Kaksi kokeiluja Schultz ja kollegansa (2007) tutkimuksen sosiaalisten normien ja energiankäytön havainnollistavat kuluessa-aiheita suunnittelu: tutkijat vertasivat sähkön käytön osallistujien ennen ja saatuaan hoitoa. Within-aiheita ratkaisut tarjoavat parempaa tilastollista tarkkuutta poistamalla subjektin varianssi (katso tekniset liite), mutta ne ovat avoimia mahdollisia sekoittavat tekijät (esim muutokset sään välillä esikäsittelyn ja hoitojakson aikana) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Within-aiheita mallit ovat myös joskus kutsutaan toistuvia toimenpiteitä malleja. Lopuksi sekoitettu muotoilussa yhdistyvät parantunut tarkkuus sisäistä altistaa suunnittelee ja suoja sekoittava välillä-aiheista malleja. Mixed suunnittelu, tutkija vertaa muutosta tuloksia ihmisille hoidossa ja kontrolliryhmiin. Kun tutkijat jo esikäsittelyn tietoja, kuten on laita monissa digitaalisen kokeissa sekoitettu mallit ovat parempi välillä-aiheita malleja, koska voittoja tarkkuus (katso tekniset liite).

Kaiken suunnittelun ja tulokset Schultz et al. (2007) osoittavat arvo päästä eteenpäin yksinkertaisia ​​kokeita. Onneksi sinun ei tarvitse olla nero luoda kokeita näin. Sosiaalinen tutkijat ovat kehittäneet kolme konsepteja, jotka ohjaavat kohti rikkaampaa ja luovia kokeita: 1) voimassaolo, 2) heterogeenisyys hoidon vaikutuksia, ja 3) mekanismit. Eli jos pidät nämä kolme ajatuksia mielessä, kun olet suunnittelussa kokeilun, et luonnollisesti luoda enemmän mielenkiintoisia ja hyödyllisiä kokeiluja. Sen havainnollistamiseksi näitä kolmea konsepteja toiminnassa, minä kuvaavat useita seuranta osittain digitaalinen kenttäkokeissa että rakennettu tyylikäs muotoilu ja jännittävä tuloksia Schultz et al. (2007) . Kuten näet, läpi enemmän huolellista suunnittelua, toteutusta, analysointi ja tulkinta, sinäkin voit siirtyä yksinkertaisia ​​kokeita.