4.4 Շարժվող դուրս պարզ փորձերի

Եկեք տեղափոխել դուրս պարզ փորձերի: Երեք հասկացություններն են օգտակար հարուստ փորձերի: վավերականության, համասեռութ բուժման հետեւանքների, եւ մեխանիզմ:

Հետազոտողները, ովքեր նոր են փորձերի հաճախ կենտրոնանում է շատ կոնկրետ, նեղ Արդյոք այս բուժման «աշխատանքի». Օրինակ, արդյոք հեռախոսազանգը է կամավոր խրախուսելու որեւէ մեկին քվեարկելու. Արդյոք փոխվում կայքի կոճակը կապույտ է կանաչ բարձրացնելու սեղմեք միջոցով տոկոսադրույքը. Ցավոք սրտի, ազատ կարդում այն ​​մասին, թե ինչ է «աշխատում» ստվերում են այն փաստը, որ նեղ փորձեր չեն, իրոք, ասել, թե արդյոք մի բուժում »է աշխատում" - ի ընդհանուր իմաստով. Փոխարենը, նեղ կենտրոնացած փորձարկումները պատասխանել է շատ ավելի կոնկրետ հարցին `ինչ է միջին ազդեցությունը կոնկրետ այս բուժման այս կոնկրետ իրագործման համար այս բնակչության մասնակիցների այս անգամ: Ես կզանգեմ փորձարկումներ, որոնք ուղղված են այդ նեղ հարցին պարզ փորձերի:

Պարզ փորձարկումները կարող է ապահովել արժեքավոր տեղեկություններ, բայց նրանք չեն կարողանում պատասխանել բազմաթիվ հարցեր, որոնք երկուսն էլ կարեւոր են, եւ հետաքրքիր է, ինչպիսիք են `կան որոշ մարդիկ, որոնց համար բուժումը ուներ ավելի մեծ է կամ փոքր ազդեցություն ?; կա մեկ այլ բուժում է, որ կարող է լինել շատ ավելի արդյունավետ ?; եւ ինչպես է դա փորձ է վերաբերի լայն սոցիալական տեսությունների.

Որպեսզի ցույց արժեքը շարժվող դուրս պարզ փորձերի, եկեք համարենք մեկը իմ սիրած անալոգային դաշտային փորձերի կատարած ուսումնասիրությունը, Պ Ուեսլի Շուլցը եւ գործընկերների վրա միջեւ հարաբերությունների սոցիալական նորմերի եւ էներգիայի սպառման (Schultz et al. 2007) : Schultz եւ գործընկերները կախել doorhangers 300 տնային տնտեսությունների San Marcos, Կալիֆորնիա, եւ այդ doorhangers առաքվում տարբեր հաղորդագրությունները նախագծված է խրախուսել էներգիայի խնայողությունը: Այնուհետեւ, Schultz եւ գործընկերները չափվում ազդեցությունը այդ հաղորդագրություններից էլեկտրաէներգիայի սպառման, այնպես էլ հետո, մեկ շաբաթվա եւ երեք շաբաթվա ընթացքում: տես Նկար 4.3 է ավելի մանրամասն նկարագրությունը փորձարարական նախագծման.

Նկար 4.3: սխեմատիկ դիզայնի ից Շուլցի et al. (2007 թ.): Դաշտը փորձարկումը ներգրավված հայտնվելու շուրջ 300 տնային տնտեսություններ է San Marcos, Կալիֆորնիա հինգ անգամ ավելի է ութ շաբաթվա ընթացքում: On յուրաքանչյուր այցելել հետազոտողները ձեռքով վերցրեց ընթերցման տնից էլեկտրաէներգիայի մետրի: On երկու այցերի հետազոտողները տեղադրված doorhangers տան վրա ապահովող որոշ տեղեկություններ դրանց էներգետիկ օգտագործման. Հետազոտությունը Հարցն այն էր, թե ինչպես է բովանդակությունը, այդ հաղորդագրությունից կանդրադառնա էներգիայի օգտագործումը:

Նկար 4.3: սխեմատիկ դիզայնի ից Schultz et al. (2007) : Դաշտը փորձարկումը ներգրավված հայտնվելու շուրջ 300 տնային տնտեսություններ է San Marcos, Կալիֆորնիա հինգ անգամ ավելի է ութ շաբաթվա ընթացքում: On յուրաքանչյուր այցելել հետազոտողները ձեռքով վերցրեց ընթերցման տնից էլեկտրաէներգիայի մետրի: On երկու այցերի հետազոտողները տեղադրված doorhangers տան վրա ապահովող որոշ տեղեկություններ դրանց էներգետիկ օգտագործման. Հետազոտությունը Հարցն այն էր, թե ինչպես է բովանդակությունը, այդ հաղորդագրությունից կանդրադառնա էներգիայի օգտագործումը:

Փորձը ուներ երկու պայմանները: Այս տարվա առաջին վիճակում, տնային տնտեսությունները ստացել ընդհանուր առմամբ էներգախնայողության խորհուրդներ (օրինակ, օգտագործման երկրպագուները փոխարեն օդորակիչներ) եւ տեղեկություններ իրենց ընտանիքի էներգետիկ օգտագործման համեմատ միջինը էներգետիկ օգտագործման իրենց հարեւանությամբ: Schultz եւ գործընկերները կոչվում այս նկարագրական նորմատիվ պայմանը, քանի որ տեղեկատվությունը մասին էներգիայի օգտագործման իրենց հարեւանությամբ տրամադրել տեղեկատվություն մասին բնորոշ վարքագծի (այսինքն, մի նկարագրական նորմերի): Երբ Schultz եւ գործընկերները նայեց արդյունքում էներգետիկ օգտագործման այս խմբում, բուժումը հայտնվել է ոչ մի ազդեցություն չունեն, կամ կարճաժամկետ կամ երկարաժամկետ: այլ կերպ ասած, բուժումը չի, կարծես թե, «աշխատանքը» (Նկար 4.4).

Բայց, բարեբախտաբար, Schultz et al. (2007) Չի կարգավորել այս պարզունակ վերլուծության. Նախքան փորձարկումը սկսվել է, որ նրանք մտածում էին, որ ծանր օգտվողները էլեկտրաէներգիայի, մարդիկ վերը միջին, կարող է նվազեցնել իրենց սպառումը, եւ այդ լույսը օգտվողները էլեկտրաէներգիայի, մարդիկ ստորեւ միջին, կարող է իրականում բարձրացնել իրենց սպառումը: Երբ նրանք նայում տվյալներով, դա հենց այն, ինչ նրանք գտել (Գծապատկեր 4.4). Այսպիսով, ինչ նայեցի նման մի բուժում, որը որեւէ ազդեցություն էր իրականում բուժում, որը ունեցել է երկու հաշվանցելով հետեւանքները: Հետազոտողները կոչ է արել այս հակաարդյունավետ աճ շրջանում թեթեւ օգտվողների բումերանգի էֆեկտը:

Նկար 4.4: արդյունքները Շուլցի et al. (2007 թ.): Առաջինը վահանակը ցույց է տալիս, որ բնութագրական նորմը բուժումը ունի մոտ զրոյական միջին բուժման ազդեցություն: Սակայն երկրորդ վահանակը ցույց է տալիս, որ այս միջին բուժման ազդեցությունը իրականում բաղկացած է երկու հաշվանցման հետեւանքների: Համար ծանր օգտվողների, բուժումը նվազել օգտագործման համար, այլ թեթեւ օգտվողների, բուժումը ավելացել օգտագործման. Վերջապես, երրորդ վահանակը ցույց է տալիս, որ երկրորդ բուժում, որն օգտագործվում նկարագրական եւ արգելադրման նորմերը, ուներ մոտավորապես նույն ազդեցությունը ծանր օգտագործողների համար, սակայն մեղմել է բումերանգի ազդեցություն թեթեւ users.

Նկար 4.4: արդյունքները Schultz et al. (2007) : Առաջինը վահանակը ցույց է տալիս, որ բնութագրական նորմը բուժումը ունի մոտ զրոյական միջին բուժման ազդեցություն: Սակայն երկրորդ վահանակը ցույց է տալիս, որ այս միջին բուժման ազդեցությունը իրականում բաղկացած է երկու հաշվանցման հետեւանքների: Համար ծանր օգտվողների, բուժումը նվազել օգտագործման համար, այլ թեթեւ օգտվողների, բուժումը ավելացել օգտագործման. Վերջապես, երրորդ վահանակը ցույց է տալիս, որ երկրորդ բուժում, որն օգտագործվում նկարագրական եւ արգելադրման նորմերը, ուներ մոտավորապես նույն ազդեցությունը ծանր օգտագործողների համար, սակայն մեղմել է բումերանգի ազդեցություն թեթեւ users.

Բացի այդ, Schultz եւ գործընկերները սպասված այդ հնարավորությունը, իսկ երկրորդ վիճակում նրանք տեղակայվել մի փոքր այլ բուժում, մեկ բացահայտ նախագծված է վերացնել բումերանգի ազդեցություն: Տնային տնտեսությունները երկրորդ վիճակում ստացել են ճշգրիտ նույն բուժման գեներալ-էներգախնայողության խորհուրդներ եւ տեղեկատվություն իրենց ընտանիքի էներգետիկ օգտագործման համեմատ իրենց թաղամասը, ինչպես մեկ փոքրիկ լրումն `մարդկանց համար միջինից ցածր սպառման, հետազոտողները ավելացրել է :), եւ մարդիկ, վերը միջին սպառման նրանք ավելացրել է :( Այս emoticons, որոնք նախագծված են, որպեսզի կաշխատեցնի այն, ինչ հետազոտողները կոչվում արգելադրման նորմերը: արգելադրման նորմերը վերաբերում ընկալումները այն, ինչ սովորաբար հաստատված է (եւ հավանության), իսկ նկարագրական նորմերը վերաբերում ընկալումները այն, ինչ սովորաբար արվում (Reno, Cialdini, and Kallgren 1993) :

Ըստ ավելացնելով այս մեկ փոքրիկ հուզապատկերակ, հետազոտողները կտրուկ նվազեցրել է բումերանգի էֆեկտ (Նկար 4.4). Այսպիսով, դարձնելով այս մեկը պարզ փոփոխության, մի փոփոխություն, որը պատճառաբանվել է վերացական սոցիալ-հոգեբանական տեսության (Cialdini, Kallgren, and Reno 1991) , Այսինքն հետազոտողները կարողացել են դիմել մի ծրագիր է, մեկը, որը չի, կարծես թե աշխատանքի մեջ մեկը, որ աշխատել է, եւ, միաժամանակ, նրանք կարողացան նպաստել ընդհանուր հասկանալու, թե ինչպես սոցիալական նորմերի ազդում մարդու վարքը:

Այս պահին, սակայն, դուք կարող եք նկատել, որ ինչ - որ բան, մի քիչ տարբերվում այս փորձի: Մասնավորապես, փորձը Շուլցը եւ գործընկերների չունի, իրոք, պետք է հսկողության խումբը նույն ձեւով, որ randomized վերահսկվում փորձարկումները անել. Այդ համեմատությունը միջեւ դիզայնի եւ նախագծման Restivo եւ վան դե Rijt ցույց է տալիս, որ տարբերությունները երկու խոշոր նմուշների կողմից օգտագործվող հետազոտողների. Միջեւ-առարկաների նմուշների, ինչպիսիք են Restivo եւ վան դե Rijt, կա մի բուժում խումբը եւ վերահսկողության խումբ, իսկ ներսում առարկաների նմուշների վարքագիծը մասնակիցների համեմատ առաջ եւ հետո բուժման (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) : Մի ներսում առարկայի փորձարկմամբ, դա, քանի որ եթե յուրաքանչյուր մասնակից հանդես է գալիս որպես իր վերահսկման խմբի. Այն ուժը միջեւ թեմաներ նմուշներին այն է, որ ապահովում է պաշտպանություն confounders (քանի որ ես նկարագրված վաղ), եւ ուժը ներսում առարկաների փորձերի թիվը ավելացել ճշգրտությամբ գնահատականներով: Երբ յուրաքանչյուր մասնակից հանդես է գալիս որպես իրենց սեփական կոնտրոլ, միջեւ, մասնակցի փոփոխություն է վերացվի (տես տեխնիկական հավելվածը): Որպեսզի նախանշան է, որ կգա ավելի ուշ, երբ ես առաջարկում խորհուրդներ նախագծման թվային փորձարկումներ, կա վերջնական դիզայն, կոչվում է խառը դիզայն, որը համատեղում է բարելավված ճշգրտության ներսում առարկաների նմուշների եւ պաշտպանությունը դեմ Խառը եւ միջեւ-առարկաների նմուշների.

Նկար 4.5: Երեք փորձարարական նմուշներ. Ստանդարտ randomized վերահսկվող փորձեր օգտագործել միջեւ թեմաներ նմուշներ. Որպես օրինակ է միջեւ, առարկաների դիզայնի Restivo եւ Վան դե Rijt ի (2012 թ.), Էքսպերիմենտ է barnstars եւ վճարների Վիքիփեդիա: Հետազոտողները պատահականորեն բաժանվում մասնակիցներին բուժման եւ վերահսկման խմբերի, տվեց մասնակիցներին բուժման խմբի մի barnstar, եւ համեմատ արդյունքների համար երկու խմբեր: Երկրորդ տիպի դիզայնի մի ներսում առարկաների դիզայն. Այս երկու փորձեր Շուլցը եւ գործընկերոջ (2007) ուսումնասիրության սոցիալական նորմերի եւ էներգիայի օգտագործման ցույց են տալիս մի ներսում առարկաների դիզայն: Հետազոտողները համեմատել էլեկտրաէներգիայի օգտագործումը մասնակիցների առաջ եւ հետո ստանալով բուժում: Ընթացքում-առարկաների նմուշները առաջարկել բարելավված վիճակագրական ճշգրտությունը `վերացնելով միջեւ առարկայական շեղվում (տես տեխնիկական հավելված), բայց դրանք բաց են հնարավոր confounders (օրինակ, եղանակային փոփոխությունների միջեւ նախընտրական բուժման եւ բուժման ընթացքում) (Greenwald 1976 թ. Charness, Gneezy, եւ Kuhn 2012): Ընթացքում-առարկաների նմուշները են նաեւ երբեմն անվանում են կրկնվող միջոցառումներ նմուշներ. Վերջապես, խառը նմուշները համատեղել բարելավված ճշգրտության ներսում առարկաների նմուշների եւ պաշտպանությունը դեմ Խառը եւ միջեւ-առարկաների նմուշների. Մի խառը նախագծման, մի հետազոտող համեմատում փոփոխություն արդյունքների համար մարդկանց բուժման եւ վերահսկման խմբերի. Երբ հետազոտողները արդեն ունենք նախնական բուժում տեղեկատվություն, ինչպես այն դեպքն է, շատ թվային փորձերի, խառը նմուշները նախընտրելի միջեւ, սուբյեկտների նմուշների պատճառով հավելաճի ճշգրտությամբ (տես տեխնիկական հավելվածը):

Նկար 4.5: Երեք փորձարարական նմուշներ. Ստանդարտ randomized վերահսկվող փորձեր օգտագործել միջեւ թեմաներ նմուշներ. Որպես օրինակ է միջեւ, առարկաների դիզայնի Restivo եւ Վան դե Rijt ի (2012) Էքսպերիմենտ է barnstars եւ վճարների Վիքիփեդիա: Հետազոտողները պատահականորեն բաժանվում մասնակիցներին բուժման եւ վերահսկման խմբերի, տվեց մասնակիցներին բուժման խմբի մի barnstar, եւ համեմատ արդյունքների համար երկու խմբեր: Երկրորդ տիպի դիզայնի մի ներսում առարկաների դիզայն. Այս երկու փորձեր Շուլցը եւ գործընկերոջ (2007) ուսումնասիրության սոցիալական նորմերի եւ էներգիայի օգտագործման ցույց են տալիս մի ներսում առարկաների դիզայն: Հետազոտողները համեմատել էլեկտրաէներգիայի օգտագործումը մասնակիցների առաջ եւ հետո ստանալով բուժում: Ընթացքում-առարկաների նմուշները առաջարկել բարելավված վիճակագրական ճշգրտությունը `վերացնելով միջեւ առարկայական շեղվում (տես տեխնիկական հավելված), բայց դրանք բաց են հնարավոր confounders (օրինակ, եղանակային փոփոխությունների միջեւ նախընտրական բուժման եւ բուժման ընթացքում) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) : Ընթացքում-առարկաների նմուշները են նաեւ երբեմն անվանում են կրկնվող միջոցառումներ նմուշներ. Վերջապես, խառը նմուշները համատեղել բարելավված ճշգրտության ներսում առարկաների նմուշների եւ պաշտպանությունը դեմ Խառը եւ միջեւ-առարկաների նմուշների. Մի խառը նախագծման, մի հետազոտող համեմատում փոփոխություն արդյունքների համար մարդկանց բուժման եւ վերահսկման խմբերի. Երբ հետազոտողները արդեն ունենք նախնական բուժում տեղեկատվություն, ինչպես այն դեպքն է, շատ թվային փորձերի, խառը նմուշները նախընտրելի միջեւ, սուբյեկտների նմուշների պատճառով հավելաճի ճշգրտությամբ (տես տեխնիկական հավելվածը):

Ընդհանուր առմամբ, դիզայն եւ արդյունքները Schultz et al. (2007) Ցույց են տալիս արժեքը շարժվող դուրս պարզ փորձերի: Բարեբախտաբար, դուք չեք պետք է լինի հանճար է ստեղծել փորձեր հավանում են սա: Սոցիալական գիտնականները մշակել են երեք գաղափարներ, որոնք կառաջնորդեն ձեզ հանդեպ ավելի հարուստ եւ ավելի ստեղծագործական փորձեր 1) վավերականության, 2) Heterogeneity բուժման հետեւանքների, եւ 3) մեխանիզմներ. Այսինքն, եթե դուք պահել այդ երեք գաղափարները մտքում, իսկ դուք նախագծման Ձեր փորձարարություն, դուք, բնականաբար, ստեղծելու է ավելի հետաքրքիր եւ օգտակար փորձարկումներ: Որպեսզի ցույց տալու այդ երեք հայեցակարգի գործողության, ես նկարագրել, մի շարք հետագա մասնակիորեն թվային դաշտը փորձերի, որ կառուցվել է նրբագեղ դիզայնի եւ հետաքրքիր արդյունքների Schultz et al. (2007) : Քանի որ դուք կարող եք տեսնել միջոցով ավելի զգույշ դիզայնի, իրականացման, վերլուծության եւ մեկնաբանման, դուք էլ կարող եք տեղափոխել դուրս է պարզ փորձերի: