4.4.1 érvényesség
Érvényességi utal, hogy mennyi az egy kísérlet eredményei támogatják általánosabb következtetést.
Nincs kísérlet tökéletes, és a kutatók kiterjedt szókincset fejlesztettek ki a lehetséges problémák leírására. Az érvényesség arra utal, hogy egy adott kísérlet eredményei milyen mértékben járulnak hozzá egy általánosabb következtetéshez. A társadalomtudósok hasznosnak (Shadish, Cook, and Campbell 2001, chap. 2) érvényességet négy fő típusba: a statisztikai következtetés érvényességét, a belső érvényességet, a konstrukció érvényességét és a külső érvényességet (Shadish, Cook, and Campbell 2001, chap. 2) . Ezeknek a fogalmaknak a kezelése egy mentális ellenőrzőlistát fog nyújtani a kísérlet megtervezésének és elemzésének kritikájához és javításához, és segít a többi kutatóval való kommunikációban.
A statisztikai végkövetkeztetés érvényességi körét arra kell összpontosítani, hogy a kísérlet statisztikai elemzése helyesen történt-e. Schultz et al. (2007) , egy ilyen kérdés arra a középpontba helyezhető, hogy helyesen értékelték-e a \(p\) értékeiket. A statisztikai elvek kidolgozásához és elemzéséhez a kísérletek nem tartoznak ezen könyv hatálya alá, de alapvetően nem változtak a digitális korban. Azonban megváltozott az a tény, hogy a digitális kísérletekben az (Imai and Ratkovic 2013) új lehetőségeket teremtett, például a gépi tanulási módszerek használatát a kezelési hatások heterogenitásának becslésére (Imai and Ratkovic 2013) .
A belső érvényesség központja annak a körülményeiről szól, hogy a kísérleti eljárások helyesen történtek-e. Visszatérve Schultz et al. (2007) kísérletéhez Schultz et al. (2007) , a belső érvényességgel kapcsolatos kérdések középpontjában a véletlenszerűség, a kezelés kézbesítés és az eredmények mérése állhat. Például aggódhat, hogy a kutatóasszisztensek nem olvasták megbízhatóan az elektromos fogyasztásmérőket. Tény, hogy Schultz és munkatársai aggódtak a probléma miatt, és kétszer olvasták fel a mintákat; Szerencsére az eredmények lényegében azonosak voltak. Általánosságban elmondható, hogy a Schultz és a kollégák kísérlete nagy belső érvényességgel rendelkezik, de ez nem mindig így van: a komplex mező és az online kísérletek gyakran problémákba ütköznek, amelyek valóban a megfelelő kezelést biztosítják a megfelelő embereknek és mérik a kimeneteleket mindenki számára. Szerencsére a digitális kor segíthet csökkenteni a belső érvényességgel kapcsolatos aggodalmakat, mert most könnyebben biztosítható, hogy a kezelést átadják azoknak, akik azt állítják, hogy megkapják és mérik az összes résztvevő eredményeit.
Az adatok és az elméleti konstrukciók között létrejöjjön érvényességi központok a mérkőzés körül. Amint azt a 2. fejezetben tárgyaltuk, a konstrukciók absztrakt fogalmak, melyeket a társadalomtudósok indokolnak. Sajnos ezek az elvont fogalmak nem mindig rendelkeznek egyértelmű definíciókkal és mérésekkel. Visszatérés Schultz et al. (2007) szerint a kirekesztő társadalmi normák csökkenthetik a villamosenergia-felhasználást, a kutatóknak olyan kezelést kell tervezniük, amely manipulálná a "tiltó társadalmi normákat" (pl. Egy hangulatjelet) és mérné a "villamosenergia-felhasználást". Az analóg kísérletekben sok kutató tervezte saját kezeléseit, és saját eredményeit méri. Ez a megközelítés biztosítja, hogy amennyire lehetséges, a kísérletek megfeleljenek a vizsgált absztrakt konstrukcióknak. A digitális kísérletekben, ahol a kutatók a vállalatokkal vagy a kormányzatokkal partnerként kezelnek kezeléseket és mindig használják az adatrendszert az eredmények mérésére, a kísérlet és az elméleti konstrukciók közötti kapcsolat kevésbé szoros lehet. Ezért úgy vélem, hogy a konstrukció érvényessége inkább a digitális kísérletekben nagyobb aggodalomra ad okot, mint az analóg kísérletekben.
Végezetül, a külső érvényesség központja annak a körülménynek, hogy a kísérlet eredményei általánosíthatók-e más helyzetekre. Visszatérés Schultz et al. (2007) , megkérdezhetnénk, hogy ugyanaz az ötlet, amely az embereknek energiafelhasználásukkal kapcsolatos adatait közli a társaikkal, és a cselekvési normák jelzése (pl. Egy hangulatjel), csökkentené az energiafelhasználást, ha másképp történik egy másik környezetben. A legtöbb jól megtervezett és jól működő kísérlet esetében a legrosszabb a külső érvényességgel kapcsolatos aggodalmak. A múltban a külső érvényességgel kapcsolatos viták gyakran nem csak egy olyan embercsoportot érintettek, akik a szobában ülnek, és megpróbálják elképzelni, mi történt volna, ha az eljárást más módon vagy más helyen vagy különböző résztvevők . Szerencsére a digitális korszak lehetővé teszi a kutatók számára, hogy túlmutassanak ezen adatokon kívüli spekulációkon, és empirikusan értékeljék a külső érvényességet.
Mivel a Schultz et al. (2007) annyira izgalmas volt, hogy egy vállalat, az Opower nevű cég társult az Egyesült Államok közüzemi szolgáltatásaival, hogy szélesebb körben alkalmazza a kezelést. A Schultz et al. (2007) , a Opower személyre szabott Otthoni Energia Jelentéseket hozott létre, amelyek két fő modulot tartalmaztak: az egyik a háztartások villamosenergia-felhasználását szemléltető szomszédjaival és egy tippeket adott az energiafelhasználás csökkentésére (4.6. Ábra). Ezután a kutatókkal együttműködve a Opower véletlenszerűen ellenőrzött kísérleteket hajtott végre, hogy felmérje ezen Home Energy Reports hatását. Bár a kísérleteket tipikusan fizikailag szállították be - általában régimódi csigaüzenetek segítségével - az eredményt a fizikai világ digitális eszközeivel (pl. Teljesítménymérők) mértük. Továbbá, nem pedig manuálisan gyűjtötték össze ezeket az információkat az egyes háztartásokat látogató kutatói asszisztensekkel, az Opower kísérleteket az energetikai vállalatokkal partnerségben végezték el, amelyek lehetővé tették a kutatók számára a teljesítményértékelés elérését. Így ezeket a részlegesen digitális térbeli kísérleteket tömegesen, alacsony változó költség mellett végezték.
4.6. Ábra: Az otthoni energiagazdálkodási jelentéseknek volt egy szociális összehasonlító modulja és egy cselekvési lépcső modulja. Az Allcott (2011) engedélyével reprodukálva az 1. és 2. ábrát.
A 10 különböző helyszín 600 000 háztartásának első kísérletsorozatában Allcott (2011) megállapította, hogy a Home Energy Report csökkentette a villamosenergia-fogyasztást. Más szavakkal, a sokkal nagyobb, földrajzilag sokrétű vizsgálat eredményei minőségi szempontból hasonlóak Schultz et al. (2007) . Továbbá a 101 különböző helyszínen nyolcmillió további háztartásból származó további kutatásokban Allcott (2015) ismételten megállapította, hogy a Home Energy Report következetesen csökkentette a villamosenergia-fogyasztást. Ez a sokkal nagyobb kísérlet egy érdekes új mintát fedezett fel, amely egyetlen kísérletben sem lenne látható: a hatás mérete csökkent a későbbi kísérletekben (4.7. Ábra). Allcott (2015) úgy vélte, hogy ez a csökkenés azért történt, mert idővel a kezelést különböző típusú résztvevőkre alkalmazták. Pontosabban, a környezeti szempontból koncentráltabb ügyfeleknél nagyobb valószínűséggel alkalmazták a programot korábban, és ügyfeleik jobban reagáltak a kezelésre. Mivel a környezeti szempontból kevésbé koncentrált ügyfelekkel rendelkező közművek elfogadták a programot, hatékonysága csökkent. Így ugyanúgy, ahogy a kísérletek véletlenszerűsége biztosítja, hogy a kezelés és a kontroll csoport hasonló, a kutatási helyeken végzett randomizáció biztosítja, hogy a becsléseket a résztvevők egy csoportjától általánosabb népességig általánosíthassák (lásd a mintavétel 3. fejezetét). Ha a kutatási helyszíneket véletlenszerűen nem mintavételezik, akkor a generalizáció - még egy tökéletesen tervezett és lefolytatott kísérlet során is - problémás lehet.
4.7. Ábra: A Home Energy Report villamosenergia-fogyasztásra gyakorolt hatásának vizsgálatát végző 111 kísérlet eredményei. Azon helyszíneken, ahol a programot később fogadták el, kisebb hatása volt. Allcott (2015) azt állítja, hogy ennek a Allcott (2015) az egyik legfontosabb forrása az, hogy a környezettudatosabb ügyfelekkel rendelkező webhelyek valószínűleg korábban is elfogadták a programot. Alkalmazva az Allcott (2015) , 3. ábra.
Ez a 111 kísérlet együttesen Allcott (2011) és 101-ben Allcott (2015) körülbelül 8,5 millió háztartást érintett az Egyesült Államokból. Ezek következetesen azt mutatják, hogy a Home Energy Reports csökkenti az átlagos villamosenergia-fogyasztást, amely eredményeként támogatja a Schultz és a kaliforniai 300 lakásból származó kollégák eredeti eredményeit. Az eredeti eredmények egyszerű ismétlése mellett a nyomon követési kísérletek azt is mutatják, hogy a hatás mérete helyenként változik. Ez a kísérletsorozat szintén két általánosabb pontot mutat be a részlegesen digitális térbeli kísérletekről. Először is, a kutatók képesek empirikusan foglalkozni a külső érvényességgel kapcsolatos aggodalmakkal, amikor a kísérletek költsége alacsony, és ez akkor is előfordulhat, ha az eredményt már mindig egy folyamatosan működő adatrendszer méri. Ezért azt sugallja, hogy a kutatóknak más érdekes és fontos magatartásokat kell keresniük, amelyeket már rögzítenek, majd terveznek kísérleteket a meglévő mérési infrastruktúrán. Másodszor, ez a kísérletsorozat emlékeztet arra, hogy a digitális térbeli kísérletek nem csak onlineek; egyre inkább számítok arra, hogy mindenütt sok olyan eredmény lesz, amelyet az épített környezet érzékelői mérnek.
Az érvényességi-statisztikai következtetés érvényességének, belső érvényességének, konstrukciós érvényességének és külső érvényességének négy típusa egy mentális ellenőrző listát nyújt ahhoz, hogy segítsen a kutatóknak megítélni, hogy egy adott kísérlet eredményei általánosabb következtetésre támaszkodnak-e. Az analóg korú kísérletekkel összehasonlítva, a digitális korú kísérletekben könnyebben kell empirikusan kezelni a külső érvényességet, és könnyebbé válik a belső érvényesség biztosítása is. Másrészt a konstrukciós érvényesség kérdései valószínűleg nagyobb kihívást jelentenek majd a digitális korszakban végzett kísérletekben, különösen a digitális területen végzett kísérletekben, amelyek partnerségeket tartalmaznak a vállalatokkal.
