3.6.2 Amplifitseeritud küsimine
Amplifitseeritud, milles palutakse kasutada prognoosimudelit, et kombineerida uuringuandmeid mõnest paljudest inimestest, kellel on paljude inimeste jaoks suur andmeallikas.
Uuringu ja suurte andmeallikate kombineerimine on protsess, mida kutsun laiendatud küsitluseks . Laiendatud päringu korral kasutab teadlane ennustusmudelit, et ühendada väike kogus vaatlusandmeid suure andmeallikaga, et anda hinnanguid skaalal või üksikasjalikkuses, mis ei oleks võimalikud mõlema andmeallika individuaalselt. Tähtsam näide võimendatud küsitlustest pärineb Joshua Blumenstocki tööst, kes soovis koguda andmeid, mis aitaksid vaesemates riikides arengut juhtida. Varasematel andmetel kogusid selliseid andmeid koguvad teadlased tavaliselt kahte lähenemisviisi: valimiuuringud või loendused. Prooviuuringud, kus teadlased küsitlevad väikest arvu inimesi, võivad olla paindlikud, õigeaegsed ja suhteliselt odavad. Kuid need uuringud, kuna need põhinevad valimil, on nende lahendamisel sageli piiratud. Prooviuuringu abil on sageli raske teha konkreetseid geograafilisi piirkondi või konkreetseid demograafilisi rühmi. Teisest küljest püüab rahvaloendusi üritada küsitleda kõiki, nii et neid saab kasutada väikeste geograafiliste piirkondade või demograafiliste rühmade hinnangute koostamiseks. Kuid loendused on üldiselt kallid, kitsad (need sisaldavad vaid väikest hulka küsimusi), mitte õigeaegselt (need juhtuvad kindlaksmääratud ajakavaga, näiteks iga 10 aasta tagant) (Kish 1979) . Kujutlege, kas teadlased võiksid mõlema parimate omaduste kombineerimisel asendada prooviuuringute või loendustega. Kujutage ette, kui teadlased saaksid iga küsimuse iga päev iga inimese kohta küsida. Loomulikult on see üldlevinud ja pidev küsitlus kindel sotsiaalteaduste fantaasia. Aga tundub, et saame hakata ühtlustada seda ühendades uuringu küsimustele väike hulk inimesi digitaalse jälgi paljudele inimestele.
Blumenstocki uuringud algasid, kui ta partneris Rwanda suurima mobiiltelefoni pakkujaga, ning ettevõte esitas aastatel 2005-2009 anonüümsed tehingute registriandmed umbes 1,5 miljonilt kliendilt. Need andmed sisaldasid teavet iga kõne ja tekstisõnumi kohta, näiteks algusaeg, kestus ja helistaja ja vastuvõtja ligikaudne geograafiline asukoht. Enne kui ma räägin statistikaküsimustest, tasub märkida, et see esimene samm võib olla paljudele teadlastele kõige raskem. Nagu ma 2. peatükis kirjeldasin, on enamus suurte andmeallikate teadlastele kättesaamatud . Täpsemalt on telefoni metaandmed eriti kättesaamatud, kuna see on põhimõtteliselt võimatu anonüümida ja see sisaldab peaaegu kindlasti teavet, mida osalejad (Mayer, Mutchler, and Mitchell 2016; Landau 2016) tundlikeks (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . Selles konkreetses olukorras tegid teadlased andmete hoolika ettevaatliku jälgimise ja kolmanda osapoole (st nende IRB) järelevalve teostas nende töö. Ma pöördun nende eetikaküsimuste juurde tagasi 6. peatükis.
Blumenstock oli huvitatud rikkuse ja heaolu mõõtmisest. Kuid need tunnused ei ole otseselt kõnekirjetes. Teisisõnu, need kõne kirjed on selle uuringu jaoks mittetäielikud - suurte andmeallikate ühine tunnusjoon, mida üksikasjalikult käsitleti 2. peatükis. Kuid tõenäoliselt on kõne arvestuses tõenäoliselt teave, mis võib kaudselt anda teavet rikkuse kohta ja heaolu. Arvestades seda võimalust, küsis Blumenstock, kas masinõppemudelit on võimalik koolitada, et ennustada, kuidas keegi vastab nende kõnesidestidele põhinevale küsitlusele. Kui see oleks võimalik, võib Blumenstock seda mudelit kasutada, et prognoosida kõigi 1,5 miljoni kliendi küsitluste vastuseid.
Sellise mudeli loomiseks ja koolitamiseks kutsusid Kigali teadus- ja tehnoloogiainstituudi Blumenstock ja teadustöö assistendid juhuslikku valimit umbes tuhande kliendi kohta. Uurijad selgitasid projekti eesmärke osalejatele, nõudsid nõusolekut seostada küsitluse vastused kõnepilektidega ja küsisid seejärel nende küsimuste rühma, mis mõõdavad nende jõukust ja heaolu, näiteks "Kas olete oma raadio? "ja" Kas teil on jalgratas? "(vt osa 3.14). Kõigil uuringu osavõtjatel oli rahaline hüvitis.
Järgmisena kasutas Blumenstock masinloenduses tavalist kaheastmelist protseduuri: funktsiooniarhitektuuri, millele järgnes jälgitav õppimine. Esiteks, funktsiooniarenduse sammuga muutis Blumenstock kõigile, keda intervjueeriti, kõnesid käsitlevaid andmeid iga inimese kohta; Andmeteadlased võiksid neid omadusi "funktsioone" nimetada ja sotsiaalteadlased nimetaksid neid "muutujateks". Näiteks arvutas Blumenstock iga inimese jaoks päevade koguarvu, kellel on isik, kellega inimene on kokku puutunud, eetris kulutatud summa ja nii edasi. Kriitiliselt nõuab hea tehnikainvesteering teadmisi uurimisseadmetest. Näiteks kui oluline on eristada riigisiseseid ja rahvusvahelisi kõnesid (võiksime eeldada, et rahvusvaheliselt helistavad inimesed oleksid jõukamad), siis tuleb seda teha funktsiooniarenduse etapis. Uurija, kellel on vähe arusaamist Rwandast, ei pruugi seda funktsiooni sisaldada, ja siis kannatab mudeli ennustatav toimivus.
Järgnevalt loodi Blumenstock jälgitud õppimisetapis mudeli abil, et ennustada iga inimese kohta küsitluse vastust nende funktsioonide põhjal. Sellisel juhul kasutas Blumenstock logistilist regressiooni, kuid ta oleks võinud kasutada mitmesuguseid muid statistilisi või masinloome lähenemisviise.
Nii, kui hästi see töötas? Kas Blumenstock suutis ennustada vastuseid küsitlusküsimustele, nagu näiteks "Kas teil on raadio?" Ja "Kas teil on jalgratas?", Kasutades funktsioone, mis pärinevad kõneregistritest? Oma ennustusmudeli jõudluse hindamiseks kasutas Blumenstock ristvalideerimist , mis on sageli kasutatav andmeteaduses, kuid harva ka sotsiaalteadustes. Ristvalifitseerimise eesmärk on anda mudeli prognoositulemuste õiglane hindamine, koolitades seda ja katsetades seda erinevatel andmeüksustel. Eelkõige Blumenstock jagas oma andmed 10 tükki 100 inimest igaüks. Seejärel kasutas ta oma mudeli koolitamiseks üheksa tükki ja hinnatud koolituse saanud mudeli ennustatavat toimivust hinnati ülejäänud partiil. Ta kordas seda protseduuri kümme korda - iga andmekogum sai ühe veerandi valideerimisandmeteks ja keskmiselt tulemusi.
Prognooside täpsus oli teatavate tunnuste puhul kõrge (joonis 3.14); Näiteks võib Blumenstock prognoosida 97,6% täpsusega, kui keegi raadio kuuluks. See võib tunduda muljetavaldav, kuid alati on oluline võrrelda lihtsat alternatiivi keeruka prognoosimeetodiga. Sellisel juhul on lihtne alternatiiv ennustada, et kõik annavad kõige tavalisema vastuse. Näiteks 97,3% vastanutest teatasid raadio omamisest, nii et kui Blumenstock oleks ennustanud, et igaüks teatab raadio omamisest, oleks ta saanud täpsusega 97,3%, mis on üllatavalt sarnane tema keerukama protseduuri tulemuslikkusele (97,6% täpsus) . Teisisõnu suurendas kõik väljamõeldud andmed ja modelleerimine ennustuse täpsust 97,3% -lt 97,6% -le. Kuid teiste küsimuste puhul, nagu näiteks "Kas teil on jalgratas?", Prognoosid paranesid 54,4% -lt 67,6% -ni. Üldisemalt näitab joonis 3.15, et Blumenstock ei paranenud mõningate tunnuste poolest vaid lihtsa baasiprognoosi parandamiseni, kuid muude tunnuste puhul oli see mõningane paranemine. Vaadates just nendest tulemustest, ei pruugi te arvata, et see lähenemine on eriti paljutõotav.
Joonis 3.14: Kõnekujundusega koolitatud statistilise mudeli ennustatav täpsus. Kohandatud Blumenstock (2014) tabelist 2.
Joonis 3.15: prognoositava täpsuse võrdlus statistilisel mudelil, mida koolitati koos lihtsate baasjoone prognoosidega. Punktid kergelt närbuvad, et vältida kattumist. Kohandatud Blumenstock (2014) tabelist 2.
Kuid alles aasta pärast Blumenstock ja kaks kolleegi Gabriel Cadamuro ja Robert On-avaldasid teadustöö kohta oluliselt paremaid tulemusi (Blumenstock, Cadamuro, and On 2015) . Selle paranemise jaoks olid kaks peamist tehnilist põhjust: (1) nad kasutasid keerukamaid meetodeid (st uus lähenemisviis funktsiooni kujundamisele ja keerukam mudel funktsioonide vastuste ennustamiseks) ja (2) pigem üksikute küsitluse küsimused (nt "Kas teil on raadio?"), püüdsid nad välja tuua kombineeritud jõukuse indeksi. Need tehnilised täiustused tähendasid seda, et nad suudavad mõistlikult teha kõnesid, et prognoosida valimis olevate inimeste jõukust.
Siiski ei olnud uuringu lõppeesmärgiks prognoosimine valimis asuvate inimeste rikkusest. Pidage meeles, et lõppeesmärk oli ühendada mõningad proovivõtuvahetuste ja loenduste parimad omadused, et koostada täpseid, kõrge resolutsiooniga vaesuse hindamise arengumaades. Selleks, et hinnata nende võimet seda eesmärki saavutada, kasutasid Blumenstock ja tema kolleegid oma mudelit ja nende andmeid, et prognoosida 1,5 miljoni inimese rikkust kõnekirjetesse. Ja nad kasutasid kõnesidetesse sisestatud georuumilisi andmeid (meenutagem, et andmed sisaldasid iga kõne puhul lähima lahtrivõrgu asukohta), et hinnata iga inimese ligilähedast elukohta (joonis 3.17). Nende kahe hinnangu koostamisel koostati Blumenstock ja tema kolleegid abonentide vara geograafilise leviku hinnanguliselt äärmiselt peene ruumilise täpsusega. Näiteks võivad nad hinnata keskmist jõukust kõigis Rwanda 1448 lahtrites (riigi väikseim haldusüksus).
Kui hästi on need hinnangud vastavuses nende piirkondade vaesuse tegelikule tasemele? Enne kui ma sellele küsimusele vastan, tahaksin rõhutada asjaolu, et on palju põhjuseid, mis on skeptilised. Näiteks võime prognoosida individuaalsel tasandil oli üsna mürav (joonis 3.17). Ja võib-olla veelgi olulisem, mobiiltelefonidega inimesed võivad olla süstemaatiliselt erinevad inimestelt, kellel pole mobiiltelefone. Seega võivad Blumenstock ja tema kolleegid kannatada katvusvigade tüüpidest, mis olid eelkirjeldatud 1936. aasta Kirjanduse Digest'i uuringus.
Blumenstock ja kolleegid pidid nende hinnangute kvaliteeti mõistma, et neid võrrelda midagi muud. Õnneks käis Rwandas veel üks traditsiooniline sotsiaaluuringute rühmitus teadlaste samaaegselt. See teine uuring, mis oli osa laialdaselt tunnustatud demograafilise ja terviseuuringu programmist, oli suur eelarve ja kasutati kvaliteetseid traditsioonilisi meetodeid. Seepärast võiks demograafilise ja terviseuuringu prognoose pidada põhjendatult kullastandardite hinnanguteks. Kui neid kahte hinnangut võrreldi, olid nad üsna sarnased (joonis 3.17). Teisisõnu, Blumenstock ja tema kolleegid suutsid koostada väikese koguse uuringuandmeid kõnekirjadega, et saada võrreldavaid tulemusi kullastandarditel põhinevate lähenemistega.
Skeptik võib neid tulemusi pettuda. Lõppude lõpuks on üks viis nende vaatamiseks öelda, et kasutades suuri andmeid ja masinõpetust, suutis Blumenstock ja tema kolleegid koostada hinnanguid, mida juba olemasolevad meetodid saaksid usaldusväärsemalt teha. Kuid ma ei arva, et see on õige viis seda uuringut mõelda kahel põhjusel. Esiteks oli Blumenstocki ja tema kolleegide hinnangud ligikaudu 10 korda kiiremad ja 50 korda odavamad (kui kulu mõõdetakse muutuvkulude osas). Nagu ma selles peatükis varem väitsin, ignoreerivad teadlased oma riske. Sellisel juhul tähendab näiteks kulude dramaatiline vähenemine pigem seda, et see toimub iga paari aasta järel, nagu see on demograafiliste ja terviseuuringute standardiks, seda tüüpi uuring võiks toimuda iga kuu, mis annaks teadlastele ja poliitikale mitmeid eeliseid tegijad. Teine põhjus, miks skeptiku seisukoht mitte võtta, on see, et see uuring annab peamise retsepti, mida saab kohandada paljudele erinevatele uurimisolukordadele. Sellel retseptil on ainult kaks koostisosa ja kaks sammu. Koostisosad on (1) suur andmeallikas, mis on lai, kuid õhuke (st inimestel on palju inimesi, kuid mitte teavet, mida iga inimene vajab), ja (2) kitsa, kuid paksu uuringu (st see on ainult mõned inimesed, kuid tal on teave, mis neid inimesi vajab). Seejärel ühendatakse need koostisosad kahes etapis. Esiteks, mõlema andmeallika valdkonna inimeste jaoks loo masin õppemudel, mis kasutab uuringu vastuste ennustamiseks suurt andmeallikat. Seejärel kasutage seda mudelit, et arvestada kõigi suurte andmeallikate küsitluse vastustega. Seega, kui teil tekib küsimus, mida soovite paljudele inimestele küsida, otsige nende inimeste jaoks suurt andmeallikat, mida võiks nende vastust ennustada, isegi kui te ei hooli suurest andmeallikast . See tähendab, et Blumenstock ja kolleegid ei hoolinud kõnesideta; nad hoolitsesid ainult kõnekirjetest, sest neid saab ennustada küsitluste vastuseid, mida nad hooldasid. See iseloomulik ainult kaudne huvi suurte andmeallikate vastu - see muudab võimendatuks, küsides erinevalt sisestatud küsimustest, mida ma varem kirjeldasin.
Joonis 3.16: Blumenstock, Cadamuro, and On (2015) uuringu skeem. Telefoniühingu kõne kirjed teisendati maatriksiks, milles oli üks rida iga inimese kohta ja üks veerg iga funktsiooni jaoks (st muutuja). Järgnevalt loonud teadlased jälgitava õppemudeli, et ennustada küsitluse vastuseid isiksuseomaduste maatriksist. Seejärel kasutati jälgitavat õppemudelit kõigi 1,5 miljoni kliendi küsitluse vastuste arvessevõtmiseks. Ka teadlased hindasid umbes 1,5 miljoni kliendi ligikaudset elukohta, lähtudes nende kõnede asukohast. Kui need kaks hinnangut - hinnanguline jõukus ja hinnanguline elukoht - ühendati, olid tulemused sarnased traditsioonilise uuringu demograafilise ja terviseuuringu (joonis 3.17) demograafilise ja terviseuuringu hinnangutega.
Joonis 3.17: Blumenstock, Cadamuro, and On (2015) . Individuaalsel tasemel võisid teadlased teha mõistlikku tööd, et ennustada kellegi jõukust oma kõnekirjetest. Rwanda 30 linnaosa piirkondliku taseme rikkuse hinnangud, mis põhinesid rikkuse ja elukoha individuaalse tasandi hinnangul, olid sarnased demograafilise ja terviseuuringu tulemustega, mis on kulupõhine traditsiooniline uuring. Kohandatud Blumenstock, Cadamuro, and On (2015) joonistel 1a ja 3c.
Kokkuvõtteks võib öelda, et Blumenstocki võimendatud küsitav lähenemine ühendab uuringuandmeid suure andmeallikaga, et saada hinnanguid, mis on võrreldavad kullastandardi uuringu tulemustega. Selles konkreetses näites selgitatakse ka mõningaid komplikatsioone võimendatud päringu ja traditsiooniliste uuringumeetodite vahel. Laiendatud küsitav hinnangud olid õigeaegsemad, oluliselt odavamad ja granulaarsemad. Kuid teisest küljest pole sellisele võimendatud küsimusele veel tugevat teoreetilist alust. See üksik näide ei näita, kui see lähenemine toimib ja kui seda ei tehta, ja selle lähenemisviisi kasutavad teadlased peavad eriti muretsema võimalike kallaletükkide pärast, keda kaasatakse ja kes ei kuulu nende suurte andmeallikate hulka. Lisaks sellele ei ole laiendatud küsitavas lähenemisviisil veel head meetodid ebakindluse kvantifitseerimiseks oma hinnangute ümber. Õnneks on laiendatud küsitlusega sügavad ühendused kolme suurema alaga statistikas - väikese ala hinnang (Rao and Molina 2015) , imputeerimine (Rubin 2004) ja mudelipõhine post-stratifitseerimine (mis iseenesest on tihedalt seotud P.-ga) mida ma varem peatükis kirjeldasin (Little 1993) . Nende sügavate ühenduste tõttu ootan, et peagi parandatakse paljusid laiendatud küsitluse metoodilisi aluseid.
Lõpuks illustreerib Blumenstocki esimese ja teise katse võrdlemine olulist õppetundi digitaalajastu sotsiaalsete uuringute kohta: alguses ei ole lõpp. See on palju kordi esimene lähenemisviis ei ole parim, kuid kui teadlased jätkavad tööd, võivad asjad paraneda. Üldisemalt on digitaalajastu sotsiaalsete uuringute uute lähenemisviiside hindamisel oluline teha kaks erinevat hinnangut: (1) Kui hästi see praegu toimib? ja (2) kui hästi see toimib tulevikus, kui andmete maastik muutub ja teadlased pööravad probleemile rohkem tähelepanu? Kuigi teadlased on koolitatud esimese hinnangu andmiseks, on teine sageli olulisem.
