4.6.1 შექმნა ნულოვანი ცვლადი ხარჯების მონაცემები

გასაღები გაშვებული დიდი ექსპერიმენტი მართვის თქვენი ცვლადი ღირებულება ნულის ტოლია. საუკეთესო გზა ამის გაკეთება, ავტომატიზაციისა და დიზაინი სასიამოვნო ექსპერიმენტი.

ციფრული ექსპერიმენტი შეიძლება ჰქონდეს მკვეთრად განსხვავებული ღირებულება სტრუქტურების და ეს საშუალებას მკვლევარები აწარმოებს ექსპერიმენტი, რომელიც შეუძლებელი იყო წარსულში. უფრო კონკრეტულად, ექსპერიმენტი, როგორც წესი, ორი ძირითადი ტიპის ხარჯები: ფიქსირებული ხარჯები და ცვლადი ხარჯები. ფიქსირებული ხარჯები ხარჯები, რომ არ იცვლება, თუ რამდენი მონაწილე გაქვთ. მაგალითად, ლაბორატორიული ექსპერიმენტი, ფიქსირებული ხარჯები შეიძლება იყოს ღირებულება ნაქირავებ სივრცეში და ყიდულობენ ავეჯით. ცვლადი ხარჯები, მეორეს მხრივ, ცვლილება დამოკიდებულია რამდენი მონაწილე გაქვთ. მაგალითად, ლაბორატორიული ექსპერიმენტი, ცვლადი ხარჯები შეიძლება მოდის გადახდის პერსონალი და მონაწილეებს. ზოგადად, ანალოგი ექსპერიმენტი აქვს დაბალი ფიქსირებული ხარჯების და მაღალი ცვლადი ხარჯები, და ციფრული ექსპერიმენტი აქვს მაღალი ფიქსირებული ხარჯები და დაბალი ცვლადი ხარჯები (ნახაზი 4.18). შესაბამისი დიზაინი, თქვენ შეგიძლიათ მართოთ ცვლადი ღირებულება თქვენი ექსპერიმენტი ყველა გზა ნულოვანი და შეიძლება შეიქმნას საინტერესო კვლევის შესაძლებლობები.

ფიგურა 4.18 სქემატური ღირებულება სტრუქტურების ანალოგური და ციფრული ექსპერიმენტი. ზოგადად, ანალოგი ექსპერიმენტი აქვს დაბალი ფიქსირებული ხარჯების და მაღალი ცვლადი ხარჯები, ხოლო ციფრული ექსპერიმენტი აქვს მაღალი ფიქსირებული ხარჯები და დაბალი ცვლადი ხარჯები. სხვადასხვა ღირებულება სტრუქტურების ნიშნავს, რომ ციფრული ექსპერიმენტი შეიძლება აწარმოებს მასშტაბის, რომ არ არის გამორიცხული, ანალოგი ექსპერიმენტი.

ფიგურა 4.18 სქემატური ღირებულება სტრუქტურების ანალოგური და ციფრული ექსპერიმენტი. ზოგადად, ანალოგი ექსპერიმენტი აქვს დაბალი ფიქსირებული ხარჯების და მაღალი ცვლადი ხარჯები, ხოლო ციფრული ექსპერიმენტი აქვს მაღალი ფიქსირებული ხარჯები და დაბალი ცვლადი ხარჯები. სხვადასხვა ღირებულება სტრუქტურების ნიშნავს, რომ ციფრული ექსპერიმენტი შეიძლება აწარმოებს მასშტაბის, რომ არ არის გამორიცხული, ანალოგი ექსპერიმენტი.

არსებობს ორი ძირითადი ელემენტები ცვლადი ხარჯების გადახდა თანამშრომლებს და გადასახადები მონაწილეებს და თითოეული ეს შეიძლება ბიძგი ნულოვანი გამოყენებით სხვადასხვა სტრატეგიას. გადასახადები, დააკომპლექტოს გამომდინარეობენ მუშაობა, რომ კვლევის თანაშემწეები არ გაწვევის მონაწილეებს, მიწოდების მკურნალობა, და საზომი შედეგებს. მაგალითად, ანალოგი სფეროში ექსპერიმენტი Schultz და კოლეგები (2007) სოციალური ნორმები და ელექტროენერგიის გამოყენება საჭირო კვლევის თანაშემწეები გამგზავრება ყოველ სახლში მიტანა მკურნალობა და წაიკითხა მრიცხველი (ნახაზი 4.3). ყველა ამ ძალისხმევას კვლევის თანაშემწეები იმას ნიშნავდა, რომ დასძინა ახალი საყოფაცხოვრებო შესწავლა იქნებოდა დასძინა ღირებულება. მეორეს მხრივ, ციფრული სფეროში ექსპერიმენტი Restivo და van de Rijt (2012) ჯილდოები in Wikipedia, მკვლევარები შეიძლება დაამატოთ მეტი მონაწილე თითქმის არ ღირებულება. საერთო სტრატეგიის შემცირების ცვლადი ადმინისტრაციული ხარჯები უნდა შეცვალოს ადამიანის მუშაობა (რომელიც ძვირი) კომპიუტერული მუშაობა (რომელიც არის იაფი). უხეშად რომ ვთქვათ, შეგიძლიათ ჰკითხეთ საკუთარ თავს: შეიძლება ეს ექსპერიმენტი აწარმოებს, ხოლო ყველას ჩემი კვლევის ჯგუფის სძინავს? თუ პასუხი დადებითია, თქვენ გავაკეთეთ დიდი სამუშაო ავტომატიზაციის.

მეორე ძირითადი ტიპის ცვლადი ღირებულება არის გადასახადები მონაწილეებს. ზოგიერთი მკვლევარი არ გამოიყენება Amazon მექანიკური თურქ და სხვა ონლაინ შრომის ბაზარზე, რათა შემცირდეს გადასახადები, რომლებიც საჭიროა მონაწილეებს. მართოს ცვლადი ხარჯები ყველა გზა ნულოვანი, თუმცა, განსხვავებული მიდგომაა საჭირო. დიდი ხნის განმავლობაში, მკვლევარებმა შექმნეს ექსპერიმენტი, რომელიც იმდენად მოსაწყენი მათ უნდა გადაიხადონ ადამიანი მონაწილეობა. მაგრამ, რა თუ შეგიძლიათ შექმნათ ექსპერიმენტი, რომ ხალხს სურს იყოს? ეს შეიძლება ჟღერდეს შორს fetched, მაგრამ მე მოგცემთ მაგალითს ქვემოთ ჩემი ნამუშევარი, და უფრო მეტი მაგალითები ცხრილი 4.4. გაითვალისწინეთ, რომ ეს მიდგომა დიზაინისა სასიამოვნო ექსპერიმენტი ეხმიანება ზოგიერთი თემები მე -3 დაკავშირებით შექმნასა უფრო სასიამოვნო კვლევები და მე -5 დაკავშირებით დიზაინი მასობრივი თანამშრომლობით. აქედან გამომდინარე, ვფიქრობ, რომ მონაწილე სიამოვნება რა შეიძლება ასევე მოუწოდა შესახებ გამოცდილება იქნება უფრო მნიშვნელოვანი ნაწილი კვლევის დიზაინი ციფრული ასაკი.

მაგიდის 4.4: მაგალითები ექსპერიმენტი ნულოვანი ცვლადი ღირებულება, რომელიც ანაზღაურდება მონაწილეებს ღირებული სამსახური და სასიამოვნო გამოცდილება.
ანაზღაურება Citation
საიტი ჯანდაცვის საინფორმაციო Centola (2010)
სავარჯიშო პროგრამა Centola (2011)
უფასო მუსიკა Salganik, Dodds, and Watts (2006) ; Salganik and Watts (2008) ; Salganik and Watts (2009b)
მხიარული თამაში Kohli et al. (2012)
ფილმის რეკომენდაციები Harper and Konstan (2015)

თუ გსურთ შექმნათ ნულოვანი ცვლადი ხარჯები ექსპერიმენტი თქვენ გსურთ, რომ ყველაფერი სრულად ავტომატიზირებული და რომ მონაწილეებს არ საჭიროებს რაიმე გადასახადები. იმისათვის, რომ ნახოთ როგორ არის ეს შესაძლებელი, მე აღწერს ჩემი დისერტაცია კვლევის წარმატება და მარცხი კულტურული პროდუქცია. ეს მაგალითი ასევე აჩვენებს, რომ ნულოვანი ცვლადი ხარჯების მონაცემები არ არის მხოლოდ აკეთებს რამ იაფია. პირიქით, ეს არის დაახლოებით საშუალებას აძლევს ექსპერიმენტი, რომელიც არ იქნება შესაძლებელი, სხვაგვარად.

ჩემი დისერტაცია იყო მოტივირებული უცნაური ბუნების წარმატება კულტურული პროდუქცია. Hit სიმღერები, საუკეთესო გაყიდვადი წიგნი და ბლოკბასტერი ფილმები ბევრად, ბევრად უფრო წარმატებული, ვიდრე საშუალო. ამის გამო, ბაზარზე ამ პროდუქტების ხშირად უწოდებენ "გამარჯვებული იღებს ყველაფერს" ბაზარზე. თუმცა, ამავე დროს, რომელიც კონკრეტული სიმღერა, წიგნი, ან ფილმი გახდება წარმატებული წარმოუდგენლად არაპროგნოზირებადი. სცენარისტი უილიამ Goldman (1989) ელეგანტურად შეაჯამა უამრავი აკადემიური კვლევა და განაცხადა, რომ როდესაც საქმე წინასწარმეტყველებდნენ წარმატება, "არავინ იცის არაფერი." არაპროგნოზირებადი გამარჯვებული იღებს ყველა ბაზრებზე მე მაინტერესებს, რამდენად წარმატების შედეგია ხარისხისა და რამდენად არის მხოლოდ წარმატებას. ან, გამოთქვა ოდნავ განსხვავებულად, თუ ჩვენ შეგვიძლია შევქმნათ პარალელურად სამყაროს და მათ ყველა ვითარდება დამოუკიდებლად, რომ იგივე სიმღერები პოპულარული გახდა თითოეულ მსოფლიოში? და თუ არა, რა შეიძლება იყოს მექანიზმი, რომელიც იწვევს ამ განსხვავებები?

იმისათვის, რომ ამ კითხვებზე პასუხის გაცემა, ჩვენ-Peter Dodds, Duncan Watts (ჩემი დისერტაცია მრჩეველი) და I-გაიქცა სერია ონლაინ სფეროში ექსპერიმენტი. კერძოდ, ჩვენ ავაშენეთ ნახვა მოუწოდა MusicLab, სადაც ადამიანი შეიძლება აღმოაჩინეთ ახალი მუსიკა და ჩვენ მას სერია ექსპერიმენტი. ჩვენ დაკომპლექტდა მონაწილეს მიერ გაშვებული ბანერი თინეიჯერი ინტერესი ნახვა (ნახაზი 4.19) და აღნიშნავს, რომ მედია. მონაწილეები ჩამოსვლის ჩვენს ვებგვერდზე ინფორმირებული თანხმობა, დასრულდა მოკლე ფონზე კითხვარი და შემთხვევით ენიჭება ერთი ორი ექსპერიმენტული პირობები დამოუკიდებელი და სოციალური გავლენა. დამოუკიდებელ მდგომარეობაში, მიიღეს გადაწყვეტილება იმის შესახებ, რომელშიც სიმღერები მოუსმინოს, მხოლოდ სახელები შემსრულებლები და სიმღერები. მოსმენისას სიმღერას, მონაწილეებს სთხოვა, შეფასება, რის მათ ჰქონდათ შესაძლებლობა (მაგრამ არა ვალდებულება) ატვირთოთ სიმღერა. სოციალური გავლენის მდგომარეობაში, მონაწილეებს იგივე გამოცდილება, გარდა ისინი ასევე, რამდენჯერ თითოეული სიმღერა უკვე გადმოწერილი წინა მონაწილეებს. გარდა ამისა, მონაწილეებს სოციალური გავლენის მდგომარეობა შემთხვევით ენიჭება ერთი რვა პარალელურად სამყაროს თითოეული რომელიც განვითარდა დამოუკიდებლად (ნახაზი 4.20). გამოყენება ამ დიზაინის, ჩვენ გაიქცა ორი დაკავშირებული ექსპერიმენტი. პირველი, ჩვენ წარმოდგენილი მონაწილეებს სიმღერებს დაუხარისხებელი ქსელის, რომელიც მათ სუსტი სიგნალი პოპულარობა. მეორე ექსპერიმენტი, ჩვენ წარმოდგენილი სიმღერა ადგილზეა სია, რომელიც იმ პირობით, ბევრად უფრო ძლიერი სიგნალი პოპულარობის (ნახაზი 4.21).

ფიგურა 4.19: მაგალითად ბანერისთვის რომ მე და ჩემი კოლეგები გამოიყენება გადაბირების მონაწილეთა MusicLab ექსპერიმენტი (Salganik, Dodds და Watts, 2006).

ფიგურა 4.19: მაგალითად ბანერისთვის რომ მე და ჩემი კოლეგები გამოიყენება გადაბირების მონაწილეთა MusicLab ექსპერიმენტი (Salganik, Dodds, and Watts 2006) .

ფიგურა 4.20: ექსპერიმენტული დიზაინი MusicLab ექსპერიმენტი (Salganik, Dodds და Watts, 2006). მონაწილეები შემთხვევით ენიჭება ერთ ორი პირობა: დამოუკიდებელი და სოციალური გავლენა. მონაწილეები დამოუკიდებელი მდგომარეობა გააკეთეს არჩევანი ყოველგვარი ინფორმაცია, რაც სხვა ადამიანების გააკეთა. მონაწილეები სოციალური გავლენის მდგომარეობა შემთხვევით ენიჭება ერთ რვა პარალელურად სამყაროს, სადაც ისინი ვერ ვხედავ პოპულარობა როგორც იზომება ჩამოტვირთვების წინა წლების მონაწილეებმა-თითოეული სიმღერა მათი მსოფლიოში, მაგრამ ვერ ვხედავ რაიმე ინფორმაცია, არც კი ვიცი არსებობის შესახებ, ნებისმიერ სხვა სამყაროს.

ფიგურა 4.20: ექსპერიმენტული დიზაინი MusicLab ექსპერიმენტი (Salganik, Dodds, and Watts 2006) . მონაწილეები შემთხვევით ენიჭება ერთ ორი პირობა: დამოუკიდებელი და სოციალური გავლენა. მონაწილეები დამოუკიდებელი მდგომარეობა გააკეთეს არჩევანი ყოველგვარი ინფორმაცია, რაც სხვა ადამიანების გააკეთა. მონაწილეები სოციალური გავლენის მდგომარეობა შემთხვევით ენიჭება ერთ რვა პარალელურად სამყაროს, სადაც ისინი ვერ ვხედავ პოპულარობა როგორც იზომება ჩამოტვირთვების წინა წლების მონაწილეებმა-თითოეული სიმღერა მათი მსოფლიოში, მაგრამ ვერ ვხედავ რაიმე ინფორმაცია, არც კი ვიცი არსებობის შესახებ, ნებისმიერ სხვა სამყაროს.

აღმოვაჩინეთ, რომ პოპულარობის სიმღერები განსხვავდებოდა მთელს სამყაროს მიუთითებს მნიშვნელოვან როლს წარმატებას. მაგალითად, ერთ-ერთ მსოფლიოში სიმღერა "Lockdown" მიერ 52Metro მოვიდა, 1 და მეორე მსოფლიო მოვიდა 40 out of 48 სიმღერა. ეს იყო ზუსტად იგივე სიმღერა კონკურენტი წინააღმდეგ ყველა ერთი და იგივე სიმღერა, მაგრამ ერთი მსოფლიოში მას გაუმართლა და სხვები ეს არ გააკეთა. გარდა ამისა, შედარებით შედეგი მასშტაბით ორი ექსპერიმენტი აღმოჩნდა, რომ სოციალური გავლენის იწვევს არათანაბარ წარმატება, რომელიც, ალბათ, ქმნის გამოჩენა პროგნოზირებადია. მაგრამ, ეძებს მასშტაბით სამყაროს (რომელიც არ შეიძლება გაკეთდეს გარეთ ამ სახის პარალელურად სამყაროს ექსპერიმენტი), აღმოჩნდა, რომ სოციალური გავლენის რეალურად გაიზარდა არაპროგნოზირებადი. გარდა ამისა, გასაკვირი არ არის, რომ ეს იყო სიმღერები უმაღლესი სააპელაციო რომ აქვს ყველაზე არაპროგნოზირებადი შედეგების (ნახაზი 4.22).

ფიგურა 4.21: კადრები სოციალური გავლენის პირობები MusicLab ექსპერიმენტი (Salganik, Dodds და Watts, 2006). სოციალური გავლენის მდგომარეობაში ექსპერიმენტი 1, სიმღერები, ერთად რაოდენობის წინა ჩამოტვირთვების, წარმოდგენილი იყო მონაწილეების მოწყობილი 16 X 3 მართკუთხა ქსელის, სადაც პოზიციების სიმღერები შემთხვევით ენიჭება თითოეულ მონაწილეს. In ექსპერიმენტი 2, მონაწილეთა სოციალური გავლენის მდგომარეობა იყო ნაჩვენები სიმღერები, download ითვლის, წარმოდგენილი ერთი სვეტი კლებადობის მიმდინარე პოპულარობა.

ფიგურა 4.21: კადრები სოციალური გავლენის პირობები MusicLab ექსპერიმენტი (Salganik, Dodds, and Watts 2006) . სოციალური გავლენის მდგომარეობაში ექსპერიმენტი 1, სიმღერები, ერთად რაოდენობის წინა ჩამოტვირთვების, წარმოდგენილი იყო მონაწილეების მოწყობილი 16 X 3 მართკუთხა ქსელის, სადაც პოზიციების სიმღერები შემთხვევით ენიჭება თითოეულ მონაწილეს. In ექსპერიმენტი 2, მონაწილეთა სოციალური გავლენის მდგომარეობა იყო ნაჩვენები სიმღერები, download ითვლის, წარმოდგენილი ერთი სვეტი კლებადობის მიმდინარე პოპულარობა.

ფიგურა 4.22: შედეგები MusicLab ექსპერიმენტი გვიჩვენებს შორის ურთიერთობა მიმართვა და წარმატება (Salganik, Dodds და Watts, 2006). The x ღერძი არის საბაზრო წილის სიმღერა დამოუკიდებელი მსოფლიოში, რომელიც ემსახურება, როგორც ღონისძიების გასაჩივრების სიმღერა, და y ღერძი არის საბაზრო წილის იგივე სიმღერა 8 სოციალური გავლენის სამყაროს, რომელიც ემსახურება როგორც ღონისძიების წარმატება სიმღერები. აღმოვაჩინეთ, რომ იზრდება სოციალური გავლენა, რომ მონაწილეებს გამოცდილი, კერძოდ, ცვლილება განლაგება ექსპერიმენტი 1 ექსპერიმენტი 2 (ნახაზი 4.21) -caused წარმატება კიდევ უფრო არაპროგნოზირებადი, განსაკუთრებით უმაღლესი სააპელაციო სიმღერები.

ფიგურა 4.22: შედეგები MusicLab ექსპერიმენტი გვიჩვენებს შორის ურთიერთობა საჩივარი და წარმატება (Salganik, Dodds, and Watts 2006) . The x ღერძი არის საბაზრო წილის სიმღერა დამოუკიდებელი მსოფლიოში, რომელიც ემსახურება, როგორც ღონისძიების გასაჩივრების სიმღერა, და y ღერძი არის საბაზრო წილის იგივე სიმღერა 8 სოციალური გავლენის სამყაროს, რომელიც ემსახურება როგორც ღონისძიების წარმატება სიმღერები. აღმოვაჩინეთ, რომ იზრდება სოციალური გავლენა, რომ მონაწილეებს გამოცდილი, კერძოდ, ცვლილება განლაგება ექსპერიმენტი 1 ექსპერიმენტი 2 (ნახაზი 4.21) -caused წარმატება კიდევ უფრო არაპროგნოზირებადი, განსაკუთრებით უმაღლესი სააპელაციო სიმღერები.

MusicLab შეძლო აწარმოებს არსებითად ნულოვანი ცვლადი ღირებულება, რადგან ისე, რომ ეს იყო შემუშავებული. პირველი, ყველაფერი იყო სრულად ავტომატიზირებულია ასე რომ შეძლო აწარმოებს, ხოლო მე ეძინა. მეორე, კომპენსაცია უფასო მუსიკალური ასე არ იყო ცვლადი მონაწილე კომპენსაციის ღირებულება. გამოყენება მუსიკა კომპენსაციის სახით ასევე გვიჩვენებს, თუ როგორ არსებობს ზოგჯერ შორის ვაჭრობის ფიქსირებული ხარჯები და ცვლადი ხარჯები. გამოყენება მუსიკა გაიზარდა ფიქსირებული ხარჯები, რადგან მე მქონდა დროის გასატარებლად უზრუნველყოფის ნებართვა შემსრულებლები და ამზადებს ანგარიშებს ბენდები შესახებ მონაწილეთა რეაქცია მათი მუსიკა. მაგრამ, ამ შემთხვევაში, მზარდი ფიქსირებული ხარჯების შემცირების მიზნით ცვლადები ხარჯები იყო სწორი საქციელი; ის, რაც მოგვცა საშუალება, რომ აწარმოებს ექსპერიმენტი, რომელიც დაახლოებით 100-ჯერ აღემატება სტანდარტული ლაბორატორიული ექსპერიმენტი.

გარდა ამისა, MusicLab ექსპერიმენტი აჩვენებს, რომ ნულოვანი ცვლადი ღირებულება არ უნდა იყოს თვითმიზანი; უფრო სწორად, ეს შეიძლება იყოს საშუალება გაშვებული ახალი სახის ექსპერიმენტი. გაითვალისწინეთ, რომ ჩვენ არ გამოიყენონ ყველა ჩვენი მონაწილეების აწარმოებს სტანდარტული სოციალური გავლენის ლაბორატორიული ექსპერიმენტი 100 ჯერ. ამის ნაცვლად, ჩვენ რაღაც განსხვავებული, რომელიც თქვენ შეიძლება ვიფიქროთ, როგორც გადართვის ფსიქოლოგიური ექსპერიმენტი სოციოლოგიური ექსპერიმენტი (Hedström 2006) . ნაცვლად იმისა, რომ ინდივიდუალური გადაწყვეტილების მიღების პროცესში, ჩვენ ორიენტირებული ჩვენი ექსპერიმენტი პოპულარობა, კოლექტიური შედეგს. ამ შეცვლა კოლექტიური შედეგს იმას ნიშნავდა, რომ საჭიროა დაახლოებით 700 მონაწილე წარმოების ერთი მონაცემების წერტილი (იყო 700 ადამიანი თითოეულ პარალელურად სამყაროს). რომ მასშტაბით შესაძლებელი იყო მხოლოდ იმიტომ, ღირებულება სტრუქტურა ექსპერიმენტი. ზოგადად, თუ მკვლევარები სურთ ისწავლონ, თუ როგორ კოლექტიური შედეგების წარმოიქმნება ინდივიდუალური გადაწყვეტილებები, ჯგუფური ექსპერიმენტი, როგორიცაა MusicLab ძალიან საინტერესო. წარსულში, ისინი არ ლოჯისტიკური რთული, მაგრამ სიძნელე ქრება, რადგან შესაძლებლობა ნულოვანი ცვლადი ღირებულება მონაცემები.

გარდა ამისა ამსახველ სარგებელი ნულოვანი ცვლადი ღირებულება მონაცემებით, MusicLab ასევე ექსპერიმენტი ნახოთ გამოწვევა ეს მიდგომა: მაღალი ფიქსირებული ხარჯები. ჩემს შემთხვევაში, მე ძალიან გაუმართლა შეძლებს მუშაობა ნიჭიერი ვებ დეველოპერი პეტრეს Hausel დაახლოებით ექვსი თვის განმავლობაში უნდა აშენდეს ექსპერიმენტი. ეს შესაძლებელი იყო მხოლოდ იმიტომ, რომ ჩემი მრჩეველი, Duncan Watts, მიიღო არაერთი გრანტების, ხელი შეუწყოს ამ სახის კვლევა. ტექნოლოგია გაუმჯობესდა მას შემდეგ, რაც ჩვენ ავაშენეთ MusicLab 2004 წელს, და ეს იქნება ბევრად უფრო ადვილია აშენება ექსპერიმენტი, როგორც ეს ახლა. მაგრამ, მაღალი ფიქსირებული ღირებულება სტრატეგია ნამდვილად შესაძლებელია მხოლოდ მკვლევარები, რომლებიც შეიძლება როგორმე მოიცავს იმ ხარჯებს.

დასასრულს, ციფრული ექსპერიმენტი შეიძლება ჰქონდეს მკვეთრად განსხვავებული ღირებულება სტრუქტურების, ვიდრე ანალოგური ექსპერიმენტი. თუ გსურთ აწარმოებს მართლაც დიდი ექსპერიმენტი, თქვენ უნდა ვეცადოთ, რომ შეამცირებს თქვენს ცვლადი ღირებულება მაქსიმალურად და იდეალურად ყველა გზა 0. ამის გაკეთება შეგიძლიათ ამ ავტომატიზირების მექანიკის თქვენი ექსპერიმენტი (მაგალითად, შეცვლის ადამიანის დროს კომპიუტერის დრო) შექმნასა და ექსპერიმენტი, რომ ხალხს უნდა იყოს. მკვლევარებმა რომელთაც შეუძლიათ შეიმუშავონ ექსპერიმენტი ამ თვისებების შეძლებს აწარმოებს ახალი სახის ექსპერიმენტი, რომელიც არ იყო შესაძლებელი წარსულში.