4.2 Які експерименти?
Рандомізовані контрольовані експерименти мають чотири основні компоненти: набір учасників, рандомізації лікування, надання лікування, і вимір результатів.
Рандомізовані контрольовані експерименти мають чотири основні інгредієнти: вербування учасників, рандомізація лікування, доставка лікування та оцінка результатів. Епоха цифр не змінює фундаментальний характер експериментів, але це полегшує логістику. Наприклад, у минулому було важко виміряти поведінку мільйонів людей, але зараз це відбувається в багатьох цифрових системах. Дослідники, які можуть зрозуміти, як використовувати ці нові можливості, зможуть проводити експерименти, які раніше були неможливі.
Щоб зробити це дещо більш конкретним, - те, що залишилося незмінним і що змінилося, - розглянемо експеримент Майкла Рестіво та Арнота ван де Рієта (2012) . Вони хотіли зрозуміти вплив неофіційних нагороди однолітків за редакційні внески до Вікіпедії. Зокрема, вони вивчали наслідки асоціації barnstars - нагороди, яку будь-який вікіпедій може дати будь-якому іншому Вікіпедію, щоб визнати важку роботу та належну увагу. Рестіво та ван де Рійт віддали бронстари до 100 гідних вікіпедіїв. Потім вони відстежували наступні внески отримувачів до Вікіпедії протягом наступних 90 днів. Багато чого з їхнього сюрпризу, люди, яким вони нагородили барнарст, мали тенденцію робити менше редагувань після одержання. Інакше кажучи, садиби, як видається, заважали, а не заохочували внесок.
На щастя, Рестіво та ван де Рійт не пройшли експеримент "обурення та спостереження"; вони виконували рандомізований контрольований експеримент. Таким чином, крім того, що вибирали 100 найкращих учасників для отримання barnstar, вони також вибрали 100 найкращих учасників, яких вони не надали. Ці 100 служили контрольної групою. І, критично, хто знаходився в лікувальній групі і який знаходився в контрольній групі був визначений випадковим чином.
Коли Рестіво та ван де Рійт розглянули поведінку людей у контрольній групі, вони виявили, що їх внесок також зменшується. Крім того, коли Рестіво та ван де Рієт порівнювали людей в групі лікування (тобто отримали ампули) людям у контрольній групі, вони виявили, що люди в групі лікування надали ще близько 60%. Інакше кажучи, внесок обох груп було збитковим, але у контрольній групі це робилося набагато швидше.
Як показує це дослідження, контрольна група в експериментах є критичною таким чином, що є дещо парадоксальним. Для того, щоб точно виміряти ефект Барнстар, Рестіво та Ван де Рійт повинні були спостерігати людей, які не одержували барса. Багато разів дослідники, не знайомі з експериментами, не оцінюють неймовірну цінність контрольної групи. Якщо Рестіво і ван де Рійт не мали контрольної групи, вони б склали точно неправильний висновок. Контрольні групи настільки важливі, що генеральний директор великої компанії казино заявив, що існує лише три способи, з яких працівники можуть бути звільнені зі своєї компанії: за крадіжку, за сексуальні домагання чи для проведення експерименту без контрольної групи (Schrage 2011) .
Дослідження "Рестіво" та "ван де Рієць" ілюструють чотири основні складові експерименту: вербування, рандомізація, втручання та результати. Разом ці чотири інгредієнти дозволяють вченим вийти за рамки співвідношення та вимірювати причинний ефект лікування. Зокрема, рандомізація означає, що люди в лікувальній та контрольній групах будуть подібними. Це важливо, тому що це означає, що будь-яка різниця в результатах між двома групами може бути віднесена до лікування, а не до конфлікту.
Крім прекрасної ілюстрації до механіки експериментів, дослідження Рестіво та ван де Рієта також показує, що логістика цифрових експериментів може цілком відрізнятись від аналогічних експериментів. У експерименті "Рестиво" і "ван де Рієт" було легко призначити barnstar для будь-кого, і було легко відстежувати результат під час редагування протягом тривалого періоду часу (оскільки історію редагування автоматично записує Wikipedia). Ця здатність доставляти лікування та вимірювати результати безоплатно є якісно несхожою експериментами в минулому. Хоча в цьому експерименті взяли участь 200 людей, його можна було б запустити з 2 000 або навіть 20 000 чоловік. Головне, що не дозволяє дослідникам розширювати свій експеримент у 100 разів, не було витрачено; це була етика. Тобто, Рестіво та ван де Рійт не хотіли віддавати авангарди небажаним редакторам і не хотіли, щоб їх експеримент порушив спільноту Вікіпедії (Restivo and Rijt 2012, 2014) . Я повернуся до деяких етичних міркувань, порушених експериментами пізніше в цьому розділі та у главі 6.
На закінчення, експеримент від Restivo та van de Rijt ясно показує, що, хоча основна логіка експериментів не змінилася, логістика експериментів цифрового віку може різко відрізнятися. Далі, щоб більш чітко ізолювати можливості, створені цими змінами, я порівняю експерименти, які дослідники можуть робити зараз, з тими експериментами, які були зроблені в минулому.
