4.4 Symud tu hwnt i arbrofion syml
Gadewch i ni symud y tu hwnt arbrofion syml. Mae tri cysyniadau yn ddefnyddiol ar gyfer arbrofion cyfoethog: dilysrwydd, heterogenedd o effeithiau triniaeth, a mecanwaith.
Ymchwilwyr sy'n newydd i arbrofion yn aml yn canolbwyntio ar gwestiwn penodol iawn, cul: a yw'r driniaeth hon "gwaith"? Er enghraifft, a yw galwad ffôn gan wirfoddolwr yn annog rhywun i bleidleisio? A yw newid botwm gwefan o las i gyfradd cliciwch-drwy gynyddu gwyrdd? Yn anffodus, brawddegu rhydd am yr hyn y "gweithio" cuddio'r ffaith nad yw arbrofion ffocws cul ddim yn dweud wrthych a yw triniaeth "gweithio" mewn ystyr gyffredinol. Yn hytrach, ffocws cul arbrofion ateb cwestiwn llawer mwy penodol: beth yw effaith cyfartalog o driniaeth benodol hon gyda hyn ar waith penodol ar gyfer y boblogaeth hon o gyfranogwyr ar hyn o bryd? 'N annhymerus' galw arbrofion sy'n canolbwyntio ar y cwestiwn cul hwn arbrofion syml.
Gall arbrofion syml yn darparu gwybodaeth werthfawr, ond maent yn methu i ateb llawer o gwestiynau sydd yn y ddau bwysig a diddorol megis: a oes rhai pobl y cafodd y driniaeth yn cael effaith mwy neu lai ?; a oes triniaeth arall a fyddai'n fwy effeithiol ?; a sut mae arbrawf hwn yn ymwneud â damcaniaethau cymdeithasol ehangach?
Er mwyn dangos y gwerth o symud y tu hwnt i arbrofion syml, gadewch i ni ystyried un o fy hoff arbrofion maes analog, astudiaeth gan P. Wesley Schultz a chydweithwyr ar y berthynas rhwng normau cymdeithasol a defnydd o ynni (Schultz et al. 2007) . Schultz a chydweithwyr hongian doorhangers ar 300 o gartrefi yn San Marcos, California, ac doorhangers hyn gyflwyno negeseuon gwahanol wedi'u cynllunio i annog cadwraeth ynni. Yna, Schultz a chydweithwyr yn mesur effaith y negeseuon hyn ar y defnydd o drydan, y ddau ar ôl un wythnos a thair wythnos; gweler Ffigur 4.3 am ddisgrifiad mwy manwl o'r cynllun arbrofol.
Ffigur 4.3: Sgematig o ddylunio o Schultz et al. (2007) . Mae'r arbrawf maes yn cynnwys ymweld â tua 300 o gartrefi yn San Marcos, California bum gwaith dros gyfnod o wyth wythnos. Ar bob ewch i'r ymchwilwyr â llaw yn cymryd darlleniad o'r mesurydd grym y tŷ. Ar ddau yr ymweliadau yr ymchwilwyr gosod doorhangers ar y tŷ gan ddarparu rhywfaint o wybodaeth am eu defnydd o ynni. Y cwestiwn ymchwil oedd sut y byddai cynnwys y negeseuon hyn yn effeithio defnydd o ynni.
Roedd yr arbrawf dau amod. Yn y cyflwr cyntaf, cartrefi a dderbyniwyd awgrymiadau arbed ynni cyffredinol (ee, defnyddio cefnogwyr yn hytrach na tymheru) a gwybodaeth am y defnydd o ynni eu cartref o gymharu â'r cyfartaledd y defnydd o ynni yn eu cymdogaeth. Schultz a chydweithwyr gelwir hyn yn y cyflwr normadol disgrifiadol oherwydd bod y wybodaeth am y defnydd o ynni yn eu cymdogaeth yn rhoi gwybodaeth am ymddygiad nodweddiadol (hy, norm disgrifiadol). Pan edrychodd Schultz a chydweithwyr yn y defnydd o ynni gan arwain yn y grŵp hwn, yn ymddangos bod y driniaeth yn cael unrhyw effaith, naill ai yn y tymor byr neu'r tymor hir; mewn geiriau eraill, nid oedd yn ymddangos i "weithio" (Ffigur 4.4) y driniaeth.
Ond, yn ffodus, Schultz et al. (2007) nad oedd setlo ar gyfer y dadansoddiad simplistig. Cyn yr arbrawf ddechrau eu bod yn rhesymegol bod defnyddwyr trwm o drydan-pobl uwchben y cymedr-gallai lleihau eu defnydd, a bod defnyddwyr ysgafn o drydan-pobl yn is na chymedr-efallai mewn gwirionedd yn cynyddu eu defnydd. Pan fyddant yn edrych ar y data, dyna'n union yr hyn y maent o hyd (Ffigur 4.4). Felly, beth yn edrych fel triniaeth nad oedd yn cael unrhyw effaith oedd mewn gwirionedd yn driniaeth nad oedd gan ddwy effaith gwrthbwyso. Mae'r ymchwilwyr yn enw cynnydd hwn yn wrthgynhyrchiol ymhlith y defnyddwyr golau yn cael effaith bwmerang.
Ffigur 4.4: Canlyniadau o Schultz et al. (2007) . Mae'r panel cyntaf yn dangos bod y driniaeth norm ddisgrifiadol yn cael amcangyfrif o effaith triniaeth sero gyfartaledd. Fodd bynnag, mae'r ail banel yn dangos bod hon effaith triniaeth ar gyfartaledd yn cynnwys mewn gwirionedd o ddwy effaith gwrthbwyso. Ar gyfer defnyddwyr trwm, gostyngodd y driniaeth defnydd ond ar gyfer defnyddwyr ysgafn, y driniaeth mwy o ddefnydd. Yn olaf, y trydydd panel yn dangos bod yr ail driniaeth, a oedd yn defnyddio normau disgrifiadol a gwaharddol, roedd gan fwy neu lai yr un effaith ar ddefnyddwyr trwm ond liniaru yr effaith bwmerang ar ddefnyddwyr ysgafn.
Bellach, Schultz a chydweithwyr ragwelir y posibilrwydd hwn, ac yn yr ail amod eu bod yn defnyddio triniaeth ychydig yn wahanol, un a gynlluniwyd yn benodol i gael gwared ar yr effaith bwmerang. Mae'r cartrefi yn yr ail amod derbyn yr un driniaeth-cyffredinol awgrymiadau arbed ynni union a gwybodaeth am y defnydd o ynni eu cartref o gymharu â'r eu cymdogaeth-gydag un ychwanegiad bach: ar gyfer pobl ag yfed is na'r cyfartaledd, mae'r ymchwilwyr ychwanegu :) ac i pobl ag yfed uwch na'r cyfartaledd maent yn ychwanegu :(. mae'r rhain yn emoticons eu cynllunio i sbarduno hyn y mae'r ymchwilwyr a elwir normau gwaharddol. normau gwaharddol yn cyfeirio at ganfyddiadau o'r hyn a gymeradwywyd yn gyffredin (ac anghymeradwyo) tra normau disgrifiadol yn cyfeirio at ganfyddiadau yr hyn a wneir yn gyffredin (Reno, Cialdini, and Kallgren 1993) .
Trwy ychwanegu hyn un emoticon bach, mae'r ymchwilwyr yn ddramatig gostwng yr effaith bwmerang (Ffigur 4.4). Felly, trwy wneud hyn yn un newid-syml newid a gafodd ei ysgogi gan theori haniaethol cymdeithasol seicolegol (Cialdini, Kallgren, and Reno 1991) -y ymchwilwyr yn gallu troi rhaglen o un nad oedd yn ymddangos i weithio i mewn i un sy'n gweithio, ac, ar yr un pryd, roeddent yn gallu cyfrannu at y ddealltwriaeth gyffredinol o sut mae normau cymdeithasol yn effeithio ar ymddygiad dynol.
Ar y pwynt hwn, fodd bynnag, efallai y byddwch yn sylwi bod rhywbeth ychydig yn wahanol am yr arbrawf hwn. Yn benodol, nid yw'n wir yn cael yr arbrawf o Schultz a chydweithwyr grŵp rheoli yn yr un ffordd ag y rheoledig ar hap arbrofion yn ei wneud. Mae'r gymhariaeth rhwng dyluniad hwn a dyluniad Restivo a van de Rijt yn dangos y gwahaniaethau rhwng dau brif gynlluniau a ddefnyddir gan ymchwilwyr. Yn rhwng-pynciau dyluniadau, megis Restivo a van de Rijt, ceir grŵp triniaeth a grŵp rheoli, ac yn o fewn-pynciau yn cynllunio ymddygiad cyfranogwyr ei gymharu cyn ac ar ôl y driniaeth (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Mewn arbrawf fewn-destun y mae fel pe bai pob cyfranogwr yn gweithredu fel ei grŵp rheoli ei hun. Mae cryfder rhwng-bynciau dyluniadau yw ei fod yn darparu diogelwch yn erbyn confounders (fel y disgrifiais yn gynharach), a chryfder arbrofion o fewn-pynciau yn cael ei gynyddu cywirdeb yn yr amcangyfrifon. Pan fydd pob cyfranogwr yn gweithredu fel eu rheolaeth eu hunain, amrywiaeth rhwng-cyfranogwr yn cael ei ddileu (gweler Atodiad Technegol). I foreshadow yn a fydd yn dod yn nes ymlaen pan fyddaf yn cynnig cyngor am ddylunio arbrofion digidol, mae dyluniad terfynol, a elwir yn gynllun cymysg, sy'n cyfuno gwell cywirdeb o ddyluniadau o fewn-pynciau a'r amddiffyniad yn erbyn dryslyd o ddyluniadau rhwng-bynciau.
Ffigur 4.5: Tair dyluniadau arbrofol. Safon hap arbrofion rheoledig defnyddio rhwng-pynciau dyluniadau. Enghraifft o ddyluniad rhwng-pynciau yn Restivo a van de Rijt yn (2012) arbrawf ar barnstars a chyfraniadau i Wicipedia: ymchwilwyr rhannu'n hap cyfranogwyr yn grwpiau triniaeth a rheolaeth, rhoddodd cyfranogwyr yn y grwp triniaeth yn barnstar, ac yn cymharu canlyniadau ar gyfer y ddau grwpiau. Mae ail fath o ddyluniad yn gynllun o fewn-pynciau. Mae'r ddau arbrawf yn Schultz a cydweithiwr (2007) astudiaeth ar normau cymdeithasol a defnydd o ynni yn dangos dyluniad o fewn-bynciau: ymchwilwyr cymharu y defnydd o drydan o gyfranogwyr cyn ac ar ôl cael y driniaeth. O fewn-bynciau dyluniadau cynnig gwell cywirdeb ystadegol drwy ddileu rhwng amrywiant pwnc (gweler Atodiad Technegol), ond maent yn agored i confounders posibl (ee, newidiadau yn y tywydd rhwng y cyfnod cyn-driniaeth a thriniaeth) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . O fewn-bynciau dyluniadau yn hefyd mesurau weithiau o'r enw ailadrodd dyluniadau. Yn olaf, dyluniadau cymysg yn cyfuno gwell cywirdeb o fewn-bynciau dyluniadau a diogelu yn erbyn dryslyd o ddyluniadau rhwng-bynciau. Mewn dyluniad cymysg, ymchwilydd cymharu'r newid yn y canlyniadau ar gyfer pobl yn y grwpiau triniaeth a rheoli. Pan fydd yn barod yn cael gwybodaeth cyn-driniaeth ymchwilwyr, fel sy'n digwydd mewn nifer o arbrofion digidol, dyluniadau cymysg yn well na dyluniadau rhwng-pynciau oherwydd enillion mewn gywirdeb (gweler Atodiad Technegol).
At ei gilydd, mae'r dyluniad a chanlyniadau Schultz et al. (2007) yn dangos y gwerth o symud y tu hwnt i arbrofion syml. Yn ffodus, nid oes angen i chi fod yn athrylith i greu arbrofion fel hyn. gwyddonwyr cymdeithasol wedi datblygu tri cysyniadau a fydd yn eich tywys tuag at arbrofion creadigol cyfoethocach a mwy: 1) dilysrwydd, 2) heterogenedd o effeithiau triniaeth, a 3 mecanweithiau). Hynny yw, os ydych yn cadw y tri syniadau mewn cof wrth i chi ddylunio eich arbrawf, byddwch yn naturiol yn creu arbrofion yn fwy diddorol a defnyddiol. Er mwyn dangos y tri cysyniadau ar waith, 'n annhymerus' yn disgrifio nifer o arbrofion maes yn rhannol digidol dilynol sy'n adeiladu ar gynllun cain a chanlyniadau cyffrous yn Schultz et al. (2007) . Fel y gwelwch, trwy ddylunio mwy gofalus, gweithredu, dadansoddi, a dehongli, gallwch chi hefyd yn symud y tu hwnt i arbrofion syml.
