4.4 حرکت فراتر از آزمایش های ساده

اجازه دهید فراتر از آزمایش های ساده حرکت کنیم. سه مفهوم برای آزمایش های غنی مفید است: اعتبار، ناهمگونی اثرات درمان، و مکانیزم.

محققانی که آزمایشهای جدیدی دارند اغلب بر روی یک سوال بسیار مشخص و باریک تمرکز می کنند: آیا این درمان "کار می کند"؟ به عنوان مثال، آیا یک تماس تلفنی از یک داوطلب، کسی را تشویق می کند که رای دهد؟ آیا تغییر دکمه ی وب سایت از آبی به سبز، میزان کلیک را افزایش می دهد؟ متأسفانه، توصیف شل در مورد آنچه که "کار می کند" این واقعیت را محکم می کند که آزمایش های متمرکز به شدت به شما نمی گوید که آیا یک درمان "به طور کلی" کار می کند. در عوض، آزمایش های متمرکز با تمرکز دقیق به یک سوال بسیار متداول پاسخ می دهند: میانگین تأثیر این درمان خاص با این اجرای خاص برای این جمعیت شرکت کنندگان در این زمان چیست؟ من آزمایش هایی را می کنم که روی این سوال باریک آزمایش های ساده تمرکز می کنند.

آزمایش های ساده می توانند اطلاعات ارزشمندی را ارائه دهند، اما آنها قادر به پاسخگویی به بسیاری از سوالاتی هستند که هر دو مهم و جالب هستند، نظیر این که آیا برخی از افرادی که درمان آنها اثر بزرگتر یا کوچکتری دارد؛ آیا درمان دیگری وجود دارد که موثرتر خواهد بود؟ و این که این آزمایش مربوط به نظریه های اجتماعی گسترده تر است.

به منظور نشان دادن ارزش حرکت کردن فراتر از آزمایش های ساده، اجازه دهید یک آزمایش میدانی در زمینه آنالوگ توسط P. Wesley Schultz و همکارانش درباره رابطه هنجارهای اجتماعی و مصرف انرژی (Schultz et al. 2007) در نظر بگیریم. شولتز و همکارانش در 300 خانوار در San Marcos، کالیفرنیا، درباهنگارها را بر روی صندلی نشاندند و این doorhangers ارسال پیام های مختلف طراحی شده برای تشویق صرفه جویی در انرژی. سپس، شولتز و همکاران اثر این پیام ها را بر مصرف برق هر دو بعد از یک هفته و پس از سه هفته اندازه گیری کردند. برای توصیف دقیق تر طراحی تجربی به شکل 4.3 نگاه کنید.

شکل 4.3: طرح طرح آزمایشی از Schultz et al. (2007) . آزمایش مزرعه شامل بازدید از حدود 300 خانواده در سن مارکوس، کالیفرنیا پنج بار در طول دوره هشت هفته بود. در هر بازدید، محققان به صورت دستی خواندن از متر قدرت خانه را انجام دادند. در دو دیدار، آنها در هر خانه قرار دادند و اطلاعاتی در مورد مصرف انرژی خانوار ارائه دادند. سوال پژوهش این بود که چگونه محتوای این پیامها بر مصرف انرژی تأثیر می گذارد.

آزمایش دو شرایط داشت. در ابتدا، خانوارها به طور کلی راهنمایی صرفه جویی در انرژی (به عنوان مثال استفاده از طرفداران به جای تهویه مطبوع) و اطلاعات مربوط به مصرف انرژی خود را در مقایسه با مصرف متوسط ​​انرژی در محله خود دریافت کرد. شولتز و همکارانش این وضعیت را توصیفی هنجاری نامیدند؛ زیرا اطلاعات مربوط به استفاده از انرژی در محله اطلاعات مربوط به رفتار معمولی (یعنی یک نکته توصیفی) را ارائه دادند. زمانی که شوستل و همکارانش در مورد مصرف انرژی در این گروه در نظر گرفتند، درمان در کوتاهمدت یا بلند مدت تاثیری نداشت؛ به عبارت دیگر درمان به نظر نمی رسید "کار" (شکل 4.4).

خوشبختانه، شولتز و همکارانش برای این تحلیل ساده انجام ندادند. قبل از شروع آزمایش، آنها معتقد بودند که کاربران سنگین برق افراد بالاتر از حد متوسط ​​ممکن است مصرف خود را کاهش دهند و استفاده کنندگان نور از افراد الکتریسیته کمتر از حد متوسط ​​ممکن است مصرف خود را افزایش دهند. هنگامی که آنها به داده ها نگاه کردند، دقیقا همان چیزی است که آنها پیدا کرده اند (شکل 4.4). بنابراین، آنچه شبیه یک درمان بود که تاثیری نداشت، در واقع یک درمان بود که دو اثر جبران کننده داشت. این افزایش غیرمستقیم در میان کاربران نور یک مثال از اثر بومرنگ است ، که در آن درمان می تواند اثر متقابل از آنچه که در نظر گرفته شده است داشته باشد.

شکل 4.4: نتایج Schultz et al. (2007) . پانل (a) نشان می دهد که درمان ناکافی توصیفی دارای تأثیر تخمین میانگین صفر می باشد. با این حال، پانل (b) نشان می دهد که این اثر درمان میانگین در واقع متشکل از دو اثر جبران کننده است. برای کاربران سنگین، درمان کاهش یافته است، اما برای کاربران نور، درمان افزایش استفاده است. در نهایت پانل (c) نشان می دهد که درمان دوم که از هنجارهای توصیفی و اجباری استفاده می کرد تقریبا همان تاثیر را بر کاربران سنگین داشت اما اثر بومرنگ را بر روی کاربران نور کاهش داد. اقتباس از Schultz et al. (2007) .

شولتز و همکارانش همزمان با اولین شرایط، وضعیت دیگری را نیز تجربه کردند. خانوارهایی که در شرایط دوم قرار گرفتند، راهنمایی های صرفه جویی در مصرف انرژی عمومی و اطلاعات مربوط به مصرف انرژی خانگی خود را در مقایسه با متوسط ​​محله خود با همان مقدار کوچک به دست آوردند: برای افراد با مصرف کمتر از حد متوسط، محققان افزودند: ) و برای افرادی که دارای مصرف بیش از حد متوسط ​​هستند، اضافه شدند: (. این شکلک ها به منظور ایجاد محرک هایی از محققان هنجارهای مقدماتی طراحی شده اند. هنجارهای انضباطی به ادراکات آنچه که معمولا تایید می شود (و تایید نشده) اشاره می کنند، در حالی که هنجارهای توصیفی به ادراکات آنچه معمولا انجام می شود (Reno, Cialdini, and Kallgren 1993) .

با افزودن این یک شکلک کوچک، محققان به طور چشمگیری اثر بومرنگ را کاهش داد (شکل 4.4). بنابراین، با ساختن این یک تغییر ساده، تغییری که توسط یک نظریه روانشناسی اجتماعی انتزاعی (Cialdini, Kallgren, and Reno 1991) انگیزه شد، محققان توانستند یک برنامه را که به نظر نمی رسید به یک کارگر تبدیل شود، و به طور همزمان آنها توانستند به درک کلی این که چگونه هنجارهای اجتماعی بر رفتار انسان تاثیر می گذارند، کمک کند.

در این مرحله، با این حال، ممکن است متوجه شوید که چیزی در مورد این آزمایش کمی متفاوت است. به طور خاص، آزمايش شولتز و همكاران واقعا يك گروه كنترل را به همان روشي كه آزمايش كنترل شده تصادفي انجام مي دهد ندارد. مقایسه بین این طراحی و Restivo و ون د ریت تفاوت دو طرح عمده تجربی را نشان می دهد. در طرح های میان افراد ، مانند Restivo و Van de Rijt، یک گروه درمان و یک گروه کنترل وجود دارد. از سوی دیگر، در طرح های درون موضوع ، رفتار شرکت کنندگان قبل و بعد از درمان مقایسه می شود (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . در یک آزمایش درون موضوعی، به نظر می رسد که هر یک از شرکت کنندگان به عنوان گروه کنترل خود عمل می کند. استحکام طرح های میان افراد، این است که آنها در برابر عوامل مخالف محافظت می کنند (همان طور که قبلا توضیح دادم)، در حالی که قدرت آزمایش های درون گروه ها دقت برآوردها را افزایش می دهد. در نهایت، برای پیش بینی ایده ای که بعدا در هنگام ارائه مشاوره در مورد طراحی آزمایش های دیجیتال ارائه می شود، طراحی _ ترکیبی از دقت بهبود یافته طرح های درون حواس و حفاظت در برابر غلبه بر طرح های بین افراد است (شکل 4.5).

شکل 4.5: سه طرح آزمایشی. آزمایش های کنترل شده تصادفی استاندارد از طرح های بین افراد استفاده می کنند. یک نمونه از یک طرح بین موضوعاتی است که Restivo و Van de Rijt (2012) در مورد برنستار و مشارکت در ویکی پدیا است: محققان به طور تصادفی شرکت کنندگان را به گروه های کنترل و کنترل تقسیم کردند، به شرکت کنندگان در گروه درمان، یک برنستار، و مقادیر نتایج برای مقایسه دو گروه نوع دوم طراحی یک طرح درون موضوع است. دو آزمایش در مطالعات شولتز و همکاران (2007) در مورد هنجارهای اجتماعی و استفاده از انرژی نشان دهنده یک طرح درون موضوعی است: پژوهشگران استفاده از برق شرکت کنندگان را قبل و بعد از دریافت درمان مقایسه کردند. طرحهای درون موضوعی، دقت آماری را بهبود (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) ممکن (به عنوان مثال تغییرات آب و هوایی بین دورههای قبل از درمان و دورههای درمانی) باز است (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . طرح های درون موضوعی نیز گاهی به نام طرح های اندازه گیری تکرار می شوند. در نهایت، طرح های مخلوط ، دقت بهبود یافته طرح های داخل موضوع و حفاظت در برابر مخلوط طرح های بین افراد را ترکیب می کند. در یک طراحی مخلوط، محقق تغییرات در نتایج را برای افراد در گروه درمان و کنترل مقایسه می کند. هنگامی که محققان اطلاعات اولیه قبل از درمان دارند، همانطور که در بسیاری از آزمایشات دیجیتال مورد استفاده قرار می گیرد، طرح های مخلوط به طور کلی ترجیح داده می شود تا طرح های بین افراد، به این دلیل که آنها دقت بیشتری برآورده می شوند.

به طور کلی، طراحی و نتایج مطالعات شولتز و همکاران (2007) نشان می دهد که ارزش فراتر رفتن از آزمایش های ساده است. خوشبختانه، لازم نیست که یک نابغه خلاقانه برای طراحی آزمایشات مثل این باشید. دانشمندان علوم اجتماعی سه مفهوم است که شما را به سمت آزمایش های غنی تر هدایت می کند: (1) اعتبار، (2) ناهمگونی اثرات درمان و (3) مکانیسم ها. به این ترتیب، اگر شما این ایده ها را در ذهن داشته باشید در حالی که شما در حال طراحی آزمایش خود هستید، طبیعی است که یک تجربه جالب و مفید تر ایجاد کنید. برای نشان دادن این سه مفهوم در عمل، من تعدادی از مطالعات زمینه دیجیتالی پیگیری را که بر روی طراحی ظریف و نتایج هیجان انگیز شولتز و همکاران (2007) . همانطور که می بینید، از طریق طراحی دقیق تر، پیاده سازی، تجزیه و تحلیل و تفسیر، شما نیز می توانید فراتر از آزمایش های ساده حرکت کنید.