3.6.2 پرسیدن پیشرفته

تقویت درخواست استفاده از یک مدل پیش بینی برای ترکیب داده های نظرسنجی از چند نفر با یک منبع داده بزرگ از بسیاری از مردم.

روش دیگری برای ترکیب بررسی و منابع داده بزرگ، فرایندی است که من خواستار تقویت آن خواهم شد . در تحقیق تکمیلی، یک محقق با استفاده از یک مدل پیش بینی برای ترکیب مقدار کمی از داده های نظرسنجی با یک منبع داده بزرگ به منظور تولید تخمین ها در یک مقیاس یا جزئیات، که ممکن است با هر یک از منابع داده به صورت جداگانه امکان پذیر نیست. یک نمونه مهم از درخواست های تقویت شده از کار جاشوا بلومنستاک است که می خواست اطلاعاتی را جمع آوری کند که می تواند به توسعه در کشورهای فقیر کمک کند. در گذشته، محققان این نوع داده ها را معمولا جمع آوری کرده بودند، باید یکی از دو روش را انتخاب کنند: نظرسنجی نمونه یا سمینار. نظرسنجی نمونه، جایی که محققان با تعداد کمی از افراد مصاحبه می کنند، می توانند انعطاف پذیر، به موقع و نسبتا ارزان باشند. با این حال، این نظرسنجی ها، زیرا بر اساس نمونه ای هستند، اغلب در حل و فصل آنها محدود می شود. با یک بررسی نمونه، اغلب دشوار است برآورد های مربوط به مناطق خاص جغرافیایی یا گروه های جمعیتی خاص. از سوی دیگر، سمینارها تلاش می کنند با همه افراد مصاحبه کنند و از این طریق می توانند برای ارزیابی مناطق جغرافیایی یا گروه های جمعیتی تولید شوند. اما سانسورها به طور کلی گران هستند، تمرکز تنگاتنگی دارند (فقط تعداد کمی از سوالات را شامل می شوند) و نه به موقع (بر اساس یک برنامه ثابت مانند هر 10 سال اتفاق می افتد) (Kish 1979) . به جای اینکه با بررسیهای نمونه یا سانسورها گیر افتاد، تصور کنید اگر محققان بتوانند بهترین ویژگیهای هر دو را ترکیب کنند. تصور کنید اگر محققان بتوانند هر روز هر سوال را به هر فردی بفرستند. بدیهی است، این نظرسنجی همه جا حاضر، همیشه بر روی یک نوع فانتزی علوم اجتماعی است. اما به نظر نمی رسد که ما می توانیم شروع به نزدیک شدن به این با ترکیب سوالات تحقیق از تعداد کمی از مردم با آثار دیجیتال از بسیاری از مردم.

تحقیقات بلومنستاک زمانی آغاز شد که او با بزرگترین ارائه دهنده تلفن همراه در رواندا همکاری کرد و این شرکت در سالهای 2005 تا 2009 اطلاعات سوابق معامله ناشناس را از حدود 1.5 میلیون مشتری دریافت کرد. این پرونده حاوی اطلاعات مربوط به هر تماس و پیام متنی مانند زمان شروع، مدت زمان ، و تقریبی موقعیت جغرافیایی تماس گیرنده و گیرنده. پیش از صحبت در مورد مسائل مربوط به آماری، لازم به ذکر است که این اولین قدم ممکن است برای بسیاری از محققان یکی از سخت ترین کارها باشد. همان طور که در فصل 2 توضیح داده شد، بیشتر منابع داده بزرگ برای محققان در دسترس نیستند . به طور خاص، متا داده های تلفن به خصوص غیر قابل دسترسی است زیرا اساسا غیرممکن است که ناشناس باشیم و تقریبا قطعا حاوی اطلاعاتی است که شرکت کنندگان حساس می باشند (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . در این مورد خاص، محققان مراقب محافظت از داده ها بودند و کار آنها توسط شخص ثالث (یعنی IRB خود) نظارت داشت. به فصل 6 به جزئیات این اخلاق مراجعه خواهم کرد.

Blumentstock علاقه مند به اندازه گیری ثروت و رفاه بود. اما این صفات مستقیما در پرونده تماس نیستند. به عبارت دیگر، این پرونده های تماس برای این تحقیق ناقص هستند - یک ویژگی مشترک از منابع داده های بزرگ که در بخش 2 به طور دقیق مورد بحث قرار گرفته است. با این حال به نظر می رسد که احتمالا سوابق تماس احتمالا اطلاعاتی دارند که به طور غیرمستقیم اطلاعات مربوط به ثروت را ارائه می دهند تندرستی. با توجه به این احتمال، Blumenstock پرسید که آیا ممکن است یک مدل یادگیری ماشین را برای پیش بینی نحوه پاسخگویی به نظرسنجی براساس سوابق تماس خود، آموزش دهید. اگر این امکان پذیر بود، Blumenstock می تواند از این مدل برای پیش بینی پاسخ های نظرسنجی تمام 1.5 میلیون مشتری استفاده کند.

به منظور ساخت و آموزش چنین مدل، Blumenstock و دستیار پژوهشی موسسه علم و تکنولوژی Kigali یک نمونه تصادفی از حدود یک هزار مشتری را به عنوان نمونه انتخاب کردند. محققان اهداف پروژه را به شرکت کنندگان توضیح دادند و از رضایت خود برای پیوند پاسخ های نظرسنجی به پرونده های تماس خواسته و سپس آنها را به مجموعه ای از پرسش ها برای اندازه گیری ثروت و رفاه آنها از جمله "آیا شما صاحب یک رادیو؟ "و" آیا شما یک دوچرخه دارید؟ "(برای یک لیست جزئی به شکل 3.14 مراجعه کنید). تمام شرکت کنندگان در این نظرسنجی به صورت مالی جبران شد.

بعد، Blumenstock با استفاده از یک روش دو مرحلهای رایج در یادگیری ماشین: مهندسی ویژگیها و سپس یادگیری تحت نظارت. اول، در گام مهندسی ویژگی ، برای هر کسی که مصاحبه شد، Blumenstock سوابق تماس را به مجموعه ای از خصوصیات در مورد هر فرد تبدیل کرد؛ دانشمندان داده می توانند از این خصوصیات "ویژگی ها" نام ببرند و دانشمندان علوم اجتماعی آنها را "متغیرها" نامیده اند. به عنوان مثال، برای هر فرد، Blumenstock تعداد کل روزها را با فعالیت محاسبه می کند، تعداد افراد متمایز شخصی که در تماس بوده اند مقدار پول صرف شده در زمان پخش و غیره. از لحاظ فنی، مهندسی ویژگی خوب نیاز به دانش از محیط تحقیقاتی دارد. به عنوان مثال، اگر مهم است که بین تماس های داخلی و بین المللی تمایز قائل شویم (ما ممکن است انتظار داشته باشیم که افرادی که در سطح بین المللی تماس برقرار می کنند ثروتمند باشند)، این باید در مرحله مهندسی ویژگی انجام شود. یک محقق با درک کوچکی از رواندا ممکن است این ویژگی را نداشته باشد، و سپس عملکرد پیش بینی شده از مدل رنج می برد.

بعد، در مرحله یادگیری تحت نظارت ، Blumenstock یک مدل برای پیش بینی پاسخ سنجی برای هر فرد بر اساس ویژگی های خود ساخته است. در این مورد، Blumenstock از رگرسيون لجستيک استفاده کرد، اما او مي توانست از انواع روش هاي ديگر آماري يا آموزشي استفاده کند.

پس چطور این کار را کردید؟ Blumenstock قادر به پیش بینی پاسخ به سوالات نظرسنجی مانند "آیا شما یک رادیو دارید؟" و "آیا شما صاحب یک دوچرخه هستید؟" با استفاده از ویژگی های مشتق شده از سوابق تماس؟ به منظور ارزیابی عملکرد مدل پیش بینی خود، Blumenstock از اعتبارسنجی متداول، یک روش معمول در علوم داده استفاده می کند، اما به ندرت در علوم اجتماعی. هدف از اعتبارسنجی، ارائه یک ارزیابی منصفانه از عملکرد پیش بینی مدل با آموزش آن و تست آن در زیر مجموعه های مختلف داده است. به طور خاص، Blumenstock اطلاعات خود را به 10 قطعه از 100 نفر هر کدام تقسیم کرد. سپس، او از 9 قطعه استفاده کرد تا مدل خود را تدریس کند و عملکرد پیش بینی شده مدل آموزش دیده بر روی تکه های باقیمانده مورد ارزیابی قرار گرفت. او این روش را 10 بار تکرار کرد - با هر تکه ای از داده ها یکبار به عنوان داده های اعتبار سنجی به دست آورد و نتایج را به طور متوسط ​​محاسبه کرد.

دقت پیش بینی ها برای برخی صفات بالا بود (شکل 3.14)؛ به عنوان مثال، Blumenstock می تواند با دقت 97.6٪ پیش بینی کند اگر کسی متعلق به یک رادیو باشد. این ممکن است چشمگیر باشد، اما همیشه برای مقایسه یک روش پیش بینی پیچیده با یک جایگزین ساده، مهم است. در این مورد، یک جایگزین ساده پیش بینی است که همه رایج ترین پاسخ را بدهند. به عنوان مثال، 97.3 درصد از پاسخ دهندگان گزارش دادند داشتن یک رادیو به طوری که بلومنسوک پیش بینی کرده بود که همه می گویند که داشتن یک رادیو دارای دقت 97.3 درصد است، که شگفت آور مشابه عملکرد پردازش پیچیده ترش است (دقت 97.6 درصد) . به عبارت دیگر، تمام داده های فانتزی و مدل سازی، دقت پیش بینی را از 97.3٪ به 97.6٪ افزایش داد. با این حال، برای سؤالات دیگر، مانند "آیا شما یک دوچرخه دارید؟"، پیش بینی ها از 54.4٪ به 67.6٪ بهبود یافته است. به طور کلی، شکل 3.15 نشان می دهد که برای بعضی از صفات Blumenstock به مراتب فراتر از پیش بینی ساده پایه ای نیست اما برای برخی صفات بهبودی وجود دارد. با این حال، به دنبال این نتایج، ممکن است فکر نکنید که این رویکرد به ویژه امیدوار کننده است.

شکل 3.14: دقت پیش بینی برای یک مدل آماری که با سوابق تماس آموزش دیده است. اقتباس شده از Blumenstock (2014) ، جدول 2.

شکل 3.15: مقایسه دقت پیش بینی برای یک مدل آماری که آموزش داده شده با سوابق تماس به پیش بینی ساده پایه. امتیازات برای جلوگیری از همپوشانی کمی مضر است. اقتباس شده از Blumenstock (2014) ، جدول 2.

با این حال، تنها یک سال بعد، Blumenstock و دو همکار آن - گابریل کادامورو و رابرت انی - مقاله ای را در زمینه علوم با نتایج قابل ملاحظه ای (Blumenstock, Cadamuro, and On 2015) . دو دلیل عمده فنی برای این بهبود وجود دارد: (1) آنها از روش های پیچیده تر (به عنوان مثال، یک رویکرد جدید به ویژگی های مهندسی و یک مدل پیچیده تر برای پیش بینی پاسخ از ویژگی ها) و (2) به جای تلاش برای ارزیابی پاسخ به فرد سوالات مربوط به نظرسنجی (به عنوان مثال، "آیا شما یک رادیو دارید؟")، آنها سعی کردند یک شاخص ثروت کامپوزیتی را بیاموزند. این پیشرفت های فنی به این معنی است که آنها می توانند کار معقولی برای استفاده از سوابق تماس برای پیش بینی ثروت برای مردم در نمونه خود انجام دهد.

با این حال، پیش بینی میزان ثروت افراد در نمونه، هدف نهایی پژوهش نبود. به یاد داشته باشید که هدف نهایی ترکیب برخی از بهترین ویژگی های نظرسنجی های نمونه و سمینارها برای ارزیابی دقیق و با وضوح بالا از فقر در کشورهای در حال توسعه است. برای ارزیابی توانایی خود برای دستیابی به این هدف، Blumenstock و همکارانش از مدل و داده های آنها برای پیش بینی ثروت تمام 1.5 میلیون نفر در پرونده های تماس استفاده کردند. و آنها از اطلاعات جغرافیایی که در پرونده های تماس جاسازی شده اند (به یاد می آورند که اطلاعات شامل محل نزدیکترین برج سلولی برای هر تماس) را برای برآورد مکان تقریبی اقامت هر فرد (شکل 3.17) استفاده کرد. با استفاده از این دو برآورد با هم، Blumenstock و همکارانش تخمینی از توزیع جغرافیایی ثروت مشترک را در دانه بندی بسیار دقیق فضایی تولید کردند. برای مثال، آنها می توانند ثروت متوسط ​​را در هر 1448 سلول رواندا (کوچکترین واحد اداری در کشور) برآورد کنند.

چقدر این برآوردها مطابقت دارند تا سطح واقعی فقر در این مناطق؟ قبل از پاسخ به این سؤال، من می خواهم بر این واقعیت تأکید کنم که دلایل زیادی برای شک و تردید وجود دارد. به عنوان مثال، توانایی پیش بینی در سطح فردی بسیار پر سر و صدا بود (شکل 3.17). و شاید مهمتر از همه، افراد با تلفن های همراه ممکن است به طور سیستماتیک از افراد بدون تلفن همراه متفاوت باشد. بنابراین، Blumenstock و همکاران ممکن است از انواع خطاهای پوشش رنج می برند که بر خلاف نظرسنجی Digest 1936 که قبلا توضیح دادم متاثر شدم.

بلومنستاک و همکارانش برای درک کیفیت برآوردهای خود نیاز به مقایسه آن با چیز دیگری داشتند. خوشبختانه، در همان زمان به عنوان مطالعه خود، گروه دیگری از محققان نظرسنجی اجتماعی سنتی را در رواندا اجرا کرد. این نظرسنجی دیگر که بخشی از برنامه محرمانه جمعیت شناختی و بهداشت عمومی بود، دارای بودجه ای بزرگ بود و از روش های سنتی با کیفیت بالا استفاده می کرد. بنابراین، تخمین ها از نظر جمعیت شناختی و سلامت می تواند منطقی به نظر برسد. هنگامی که دو برآورد مقایسه شد، آنها کاملا مشابه بودند (شکل 3.17). به عبارت دیگر، Blumenstock و همکارانش با ترکیب کمی از داده های نظرسنجی با سوابق تماس، قادر به تولید برآوردهای مشابه با روش های استاندارد طلا بودند.

یک شک و تردید ممکن است این نتایج را ناامید کننده ببیند. پس از همه، یکی از راه های مشاهده آنها این است که با استفاده از داده های بزرگ و یادگیری ماشین، Blumenstock و همکارانش قادر به تولید برآوردها بودند که می توان با روش های موجود موجود را قابل اعتماد تر کرد. اما من فکر نمی کنم که این دو راه برای این است که به این مطالعه بپردازیم. اول، برآوردها از Blumenstock و همکارانش حدود 10 برابر سریعتر و 50 برابر ارزانتر بود (زمانی که هزینه از نظر هزینه متغیر است). همانطور که پیشتر در این فصل بحث کردم، محققان هزینه خود را در معرض خطر خود قرار می دهند. به عنوان مثال، در این مورد، کاهش چشمگیر هزینه به معنای آن است که به جای اینکه هر چند سال یکبار اجرا شود - همانطور که در استاندارد جمعیت شناسی و بررسیهای بهداشتی - این نوع نظرسنجی می تواند هر ماه اجرا شود، که مزایای زیادی برای محققان و سیاست سازندگان دومین دلیل نگرش شکاکانه این است که این مطالعه یک دستورالعمل اساسی را ارائه می دهد که می تواند به بسیاری از شرایط تحقیق مختلف متکی باشد. این دستورالعمل فقط دو ماده و دو مرحله دارد. مواد (1) یک منبع اطلاعاتی بزرگ است که گسترده اما نازک است (به عنوان مثال، آن است که بسیاری از مردم، اما نه اطلاعاتی که شما در مورد هر فرد نیاز دارید) و (2) نظرسنجی که باریک اما ضخیم است (به عنوان مثال، آن را تنها چند نفر، اما اطلاعاتی که در مورد آن افراد نیاز دارید). سپس این ترکیبات در دو مرحله ترکیب می شوند. اول، برای مردم در هر دو منبع داده، یک مدل یادگیری ماشین را بسازید که از منبع داده های بزرگ برای پیش بینی پاسخ های نظرسنجی استفاده می کند. بعد از استفاده از این مدل برای به دست آوردن پاسخ های نظرسنجی هر کس در منبع داده بزرگ استفاده کنید. بنابراین، اگر یک سوال وجود دارد که شما می خواهید از بسیاری از مردم بپرسید، یک منبع داده بزرگ از افرادی که ممکن است برای پیش بینی پاسخشان استفاده کنند، جستجو کنید، حتی اگر به منبع داده بزرگ توجه نکنید . به این معنا، Blumenstock و همکاران ذاتا در مورد سوابق تماس نداشتند؛ آنها فقط در مورد پرونده های تماس مراقبت می کنند زیرا می توانند مورد استفاده قرار گیرد تا پیش بینی های پاسخ های نظرسنجی که در مورد آنها مورد توجه قرار گرفته است. این مشخصه تنها علاقه غیر مستقیم به منبع داده بزرگ - باعث تقویت درخواست های مختلف از درخواست های جاسازی شده، که من قبلا توضیح دادم.

شکل 3.16: مقدمه ای بر مطالعه Blumenstock, Cadamuro, and On (2015) . سوابق تماس از شرکت تلفن به ماتریس با یک ردیف برای هر فرد و یک ستون برای هر ویژگی (به عنوان متغیر) تبدیل شده است. سپس محققان یک مدل یادگیری تحت نظارت را برای پیش بینی پاسخ های بررسی از ماتریس شخص توسط شخص ایجاد کردند. سپس، مدل یادگیری تحت نظارت مورد استفاده قرار گرفت تا پاسخ های نظرسنجی را برای تمام 1.5 میلیون مشتری به ثبت برساند. همچنین، محققان تقریبا محل اقامت را برای همه 1.5 میلیون مشتری بر اساس مکان مکالمات آنها تخمین زده اند. هنگامی که این دو تخمین ها - ثروت برآورد شده و محل تخمین محل سکونت - ترکیب شدند، نتایج مشابه تخمین ها از نظرسنجی جمعیتی و بهداشتی، یک نظرسنجی سنتی استاندارد طلا (شکل 3.17) بود.

شکل 3.17: نتایج Blumenstock, Cadamuro, and On (2015) . در سطح فردی، محققان قادر به انجام یک کار مناسب در پیش بینی ثروت شخص از پرونده های تماس خود بودند. برآورد ثروت در سطح منطقه در 30 ولسوالی رواندا که براساس برآوردهای فردی در مورد ثروت و محل اقامت بود، مشابه نتایج حاصل از نظرسنجی جمعیتی و بهداشتی، نظرسنجی سنتی استاندارد طلا بود. اقتباس از Blumenstock, Cadamuro, and On (2015) ، ارقام 1a و 3c.

به این ترتیب، پرسشنامه تقویت شده Blumenstock ترکیبی از داده های نظرسنجی با یک منبع داده بزرگ را برای تولید برآوردهای مشابه با نتایج یک نظرسنجی طلای استاندارد. این مثال خاص نیز برخی از مواردی را که میان روشهای تقویت شده پرسش و روش های سنتی بررسی شده است را روشن می کند. تخمینهای درخواستی تقویت شده به موقع، بطور قابل ملاحظهای ارزانتر و دقیقتر بود. اما، از سوی دیگر، هنوز نظریه ای قوی برای این نوع تقاضای تقویت شده وجود ندارد. این مثال واحد نشان می دهد هنگامی که این رویکرد کار خواهد کرد و زمانی که آن را نخواهد بود، و محققانی که از این رویکرد استفاده می کنند، باید به ویژه در مورد تغییرات احتمالی ناشی از آن چه که شامل می شوند و چه کسی در آن نیست، در منبع داده های بزرگ آنها باشد. علاوه بر این، رویکرد درخواستی تقویت شده هنوز راه های خوبی برای تعیین عدم قطعیت در اطراف تخمین های آن وجود ندارد. خوشبختانه درخواست فراگیر ارتباطات عمیقی با سه منطقه بزرگ در برآورد آمار - مناطق کوچک (Rao and Molina 2015) ، محاسبه (Rubin 2004) و پسوند طبقه بندی مبتنی بر مدل (که به خودی خود نزدیک به آقای P. است، روشی که قبلا در فصل توضیح داده شد) (Little 1993) . به دلیل این ارتباطات عمیق، انتظار می رود که بسیاری از مبانی روش شناختی درخواست های تقویت شده به زودی بهبود یابد.

در نهایت، مقایسۀ تلاش های اول و دوم Blumentstock نیز نشان دهنده یک درس مهم در مورد تحقیقات اجتماعی دیجیتال است: آغاز پایان نیست. به این معناست که بسیاری از مواقع اولین روش بهتر نخواهد بود، اما اگر محققان کار خود را ادامه دهند، چیزها میتوانند بهتر شوند. به طور کلی، هنگام ارزیابی رویکردهای جدید تحقیقات اجتماعی در عصر دیجیتال، مهم است که دو ارزشیابی متمایز داشته باشیم: (1) چقدر این کار در حال حاضر است؟ و (2) چقدر این کار در آینده به عنوان تغییر چشم انداز داده ها و به عنوان محقق توجه بیشتر به مسئله اختصاص می دهد؟ گرچه محققان برای اولین نوع ارزشیابی آموزش دیده اند، دوم اغلب مهم تر است.