활동

• 어려움의 정도 : 쉬운 , 중간 , 열심히 , 열심히
• 수학이 필요하다. )
• 코딩이 필요함 ( )
• 데이터 수집 ( )
• 내가 좋아하는 것들 ( )

1. [ , ]이 장에서 나는 후기 층화에 대해 매우 긍정적이었다. 그러나 이것이 항상 견적의 질을 향상시키는 것은 아닙니다. 사후 층화가 견적의 질을 떨어 뜨릴 수있는 상황을 조성하십시오. (힌트를 보려면 Thomsen (1973) 참조하십시오.)

2. [ , , ] 아마존 기계 터크 (United Mechanical Turk)에서 총 소유권 및 총 통제 태도에 대해 물어볼 가능성이있는 조사를 설계하고 실시하십시오. 추정치를 확률 표본에서 파생 된 견적과 비교할 수 있도록 퓨 리서치 센터 (Pew Research Center)와 같은 고품질 설문 조사에서 질문 문안 및 응답 옵션을 직접 복사하십시오.

   1. 설문 조사에는 얼마나 걸립니까? 비용은 얼마입니까? 견본의 인구 통계는 미국 인구의 인구 통계와 어떻게 비교됩니까?
   2. 샘플을 사용하는 총 소유권의 원시 추정치는 무엇입니까?
   3. 사후 층화 (post-stratification) 또는 다른 기술을 사용하여 샘플의 비 대표성을 수정하십시오. 총 소유 비용은 얼마입니까?
   4. 예상치는 확률 기반 표본의 최신 추정치와 어떻게 비교됩니까? 불일치가 있다면 무엇을 설명할까요?
   5. 총 통제에 대한 태도에 대해 질문 (b) - (d)를 반복하십시오. 결과가 어떻게 다른가요?

3. [ , , Goel과 동료 (2016) 는 General Social Survey (GSS)에서 선출 된 49 개의 객관식 태도 질문을 실시하고 Pew Research Center에서 Amazon Mechanical Turk에서 가져온 응답자의 비 확률 표본을 선택합니다. 그런 다음 모델 기반 사후 계층화를 사용하여 데이터의 비 대표성을 조정하고 조정 된 예상치를 확률 기반 GSS 및 Pew 설문 조사의 결과와 비교했습니다. Amazon Mechanical Turk에 대한 동일한 설문 조사를 수행하고 조정 된 견적과 GSS 및 Pew 설문 조사의 최근 라운드 견적을 비교하여 그림 2a와 그림 2b를 복제하십시오. (49 개 질문 목록은 부록 표 A2를 참조하십시오.)

   1. 결과를 Pew 및 GSS의 결과와 비교 및 ​​대비하십시오.
   2. 결과를 Goel, Obeng, and Rothschild (2016) 의 Mechanical Turk 설문 조사 결과와 비교 및 ​​대조하십시오.

4. [ , , ] 많은 연구에서 휴대 전화 사용에 대해 자체보고 된 측정 방법을 사용합니다. 이것은 연구자가 스스로보고 한 행동과 기록 된 행동을 비교할 수있는 흥미로운 환경입니다 ( Boase and Ling (2013) ). 두 가지 공통적 인 행동은 전화와 문자 메시지이며 두 가지 일반적인 시간 프레임은 "어제"와 "지난 주"입니다.

   1. 데이터를 수집하기 전에 자기보고 측정 중 어느 것이 더 정확하다고 생각합니까? 왜?
   2. 설문 조사에 참여할 친구 5 명을 모집합니다. 이 5 명의 친구들을 어떻게 샘플링했는지 간단히 요약 해주십시오. 이 샘플링 절차로 인해 견적에 특정 편향을 유발할 수 있습니까?
   3. 그들에게 다음과 같은 microsurvey 질문을하십시오.
   • "어제 다른 사람들에게 전화를 걸기 위해 휴대 전화를 몇 번이나 사용 했습니까?"
   • "얼마나 많은 문자 메시지를 어제 보내셨습니까?"
   • 지난 7 일 동안 휴대 전화를 사용하여 다른 사람들에게 전화를 몇 번이나 보냈습니까? "
   • "지난 7 일 동안 휴대폰을 사용하여 문자 메시지 / 문자 메시지를 보내거나 받으셨습니까?"
   4. 이 microsurvey가 완료되면 전화 또는 서비스 제공 업체가 기록한대로 사용 데이터를 확인하도록 요청하십시오. 자체 보고서 사용은 로그 데이터와 어떻게 비교됩니까? 가장 정확한 것은 어느 것이 가장 정확합니까?
   5. 이제 수집 한 데이터를 학급의 다른 사람들의 데이터와 결합하십시오 (해당 클래스에 대해이 활동을 수행하는 경우). 이 큰 데이터 세트를 사용하여 파트 (d)를 반복하십시오.

5. [ , Schuman and Presser (1996) 는 질문 질서가 두 가지 유형의 문제, 즉 두 가지 질문이 동일한 특이성 수준 (예 : 두 명의 대통령 후보자의 평점)에있는 부분 - 부분 문제에 대해 문제가 될 것이라고 주장한다. (예를 들어, "당신은 당신의 업무에 얼마나 만족하십니까?"다음에 "당신은 당신의 삶에 얼마나 만족하십니까?"와 같은 질문을하는 등)에 대한 질문을합니다.

   그들은 두 가지 유형의 질서 순서 효과를 더 특징 짓는다 : 일관성 효과는 이후의 질문에 대한 응답이 이전 질문에 주어진 질문에 가까워 질 때 발생한다. 대조 효과는 두 가지 질문에 대한 응답 사이에 더 큰 차이가있을 때 발생합니다.

   1. 커다란 질문 순서 효과가있을 것으로 생각되는 파트 파트 질문 쌍을 작성하십시오. 당신이 생각하는 부분적인 질문의 쌍은 많은 주문 효과를 가질 것입니다; 그리고 당신이 생각하는 순서가 중요하지 않은 한 쌍의 질문. Amazon Mechanical Turk에서 설문 조사를 실행하여 질문을 테스트하십시오.
      
   2. 파트 - 파트 효과를 얼마나 크게 만들 수 있었습니까? 일관성 또는 대조 효과였습니까?
   3. 전체적으로 얼마나 큰 효과를 낼 수 있었습니까? 일관성 또는 대조 효과였습니까?
   4. 주문이 중요하지 않다고 생각한 곳에서 질문 순서 효과가 있었습니까?

6. [ , Moore (2002) 는 Schuman과 Presser의 연구를 바탕으로 질문 순서 효과의 분리 된 차원을 설명한다 : 더하기와 빼기 효과. 대조 및 일관성 효과는 응답자가 서로 관련하여 두 항목을 평가 한 결과로 생성되지만 응답자가 질문이 제기 된 더 큰 틀에보다 민감하게 반응 할 때 추가 및 차감 효과가 발생합니다. Moore (2002) 읽고 MTurk에 대한 조사 실험을 설계하고 실행하여 가산 또는 감산 효과를 입증하십시오.

7. [ , ] Christopher Antoun와 동료 (2015) 는 MTURk, Craigslist, Google AdWords 및 Facebook이라는 4 가지 온라인 채용 소스에서 얻은 편의 샘플을 비교 한 조사를 실시했습니다. 간단한 설문 조사를 계획하고 최소한 두 가지 온라인 모집 출처를 통해 참가자를 모집합니다 (이러한 출처는 Antoun et al. (2015) 에서 사용 된 네 가지 출처와 다를 수 있음).

   1. 모집인 당 비용 - 시간과 비용면에서 다른 출처와 비교하십시오.
   2. 다른 출처에서 얻은 샘플의 조성을 비교하십시오.
   3. 샘플 간의 데이터 품질을 비교하십시오. 응답자의 데이터 품질을 측정하는 방법에 대한 아이디어는 Schober et al. (2015) .
   4. 원하는 소스는 무엇입니까? 왜?

8. [ ] 인터넷 기반 시장 조사 기관인 YouGov는 2016 년 EU 국민 투표 (Brexit) 결과를 예측하기 위해 영국에서 약 80 만 명의 응답자 패널을 대상으로 온라인 설문 조사를 실시했습니다.

   YouGov의 통계 모델에 대한 자세한 설명은 https://yougov.co.uk/news/2016/06/21/yougov-referendum-model/에서 확인할 수 있습니다. 대략 YouGov는 유권자를 2015 총선 투표 선택, 연령, 자격, 성별 및 면담 날짜와 함께 거주하는 선거구에 따라 유형별로 구분했습니다. 첫째, 그들은 YouGov 패널리스트로부터 수집 한 데이터를 사용하여 투표 한 사람들 중에서 Leave 투표를하려는 각 유권자 유형의 사람들의 비율을 추정했습니다. 그들은 선거 롤에서 투표율을 검증 한 2015 년 영국 선거 연구 (BES)를 사용한 투표자 유형 투표율을 추산했다. 마지막으로, 그들은 최신 인구 조사 및 연례 인구 조사 (다른 데이터 출처의 일부 추가 정보 포함)에 근거하여 유권자의 유권자 유형이 몇 명인지 추정했습니다.

   투표 3 일 전에 YouGov는 Leave의 2 점 리드를 보여주었습니다. 투표 직전 투표 결과 투표 결과가 너무 가까워서 (49/51 만 남았음) 나타났습니다. 마지막 일일 연구는 Remain (https://yougov.co.uk/news/2016/06/23/yougov-day-poll/)에 찬성하여 48/52를 예측했습니다. 사실,이 추정치는 최종 결과 (52/48 출국 기록)를 4 % 포인트 못 미쳤습니다.

   1. 이 장에서 논의 된 전체 조사 오류 프레임 워크를 사용하여 무엇이 잘못되었는지 평가하십시오.
   2. 선거 후 YouGov의 답변 (https://yougov.co.uk/news/2016/06/24/brexit-follows-close-run-campaign/)은 다음과 같이 설명했습니다. "이것은 투표율 때문에 큰 것으로 보입니다. 우리는 그러한 균형 잡힌 경주의 결과에 모든 것이 중요 할 것이라고 말했습니다. 우리 투표율 모델은 응답자들이 마지막 총선에서 투표했는지 여부와 총선보다 높은 투표율로 인해 특히 북부에서 모델을 뒤엎는 지 여부에 부분적으로 근거를두고 있습니다. "이것이 파트 (a)에 대한 귀하의 대답을 변경합니까?

9. [ , ] 그림 3.2에서 각각의 표현 오류를 설명하기위한 시뮬레이션을 작성하십시오.

   1. 이러한 오류가 실제로 취소되는 상황을 만듭니다.
   2. 오류가 서로 혼합되는 상황을 만듭니다.

10. [ , ] Blumenstock과 동료 (2015) 의 연구는 디지털 추적 데이터를 사용하여 조사 응답을 예측할 수있는 기계 학습 모델을 구축하는 것과 관련이있었습니다. 이제 다른 데이터 세트로 같은 것을 시도 할 것입니다. Kosinski, Stillwell, and Graepel (2013) 은 Facebook에서 좋아하는 것이 개인의 특성과 속성을 예측할 수 있음을 발견했습니다. 놀랍게도 이러한 예측은 친구 및 동료 (Youyou, Kosinski, and Stillwell 2015) 예측보다 훨씬 정확합니다.

    1. Kosinski, Stillwell, and Graepel (2013) 을 읽고 그림 2를 복제하십시오. 해당 데이터는 http://mypersonality.org/에서 볼 수 있습니다.
    2. 이제 그림 3을 반복하십시오.
    3. 마지막으로 자신의 Facebook 데이터 (http://applymagicsauce.com/)에서 모델을 시험해보십시오. 그것은 당신을 위해 얼마나 잘 작동합니까?

11. [ ] Toole et al. (2015) 는 휴대 전화의 통화 내역 기록 (CDR)을 사용하여 총 실업 추세를 예측했습니다.

    1. Toole et al. (2015) 의 연구 설계를 비교하고 대조하십시오 Toole et al. (2015) 를 Blumenstock, Cadamuro, and On (2015) 합니다.
    2. CDR이 전통적인 설문 조사를 대체하거나 정부 정책 결정자가 실업을 추적하는 데 전혀 사용하지 말아야한다고 생각하십니까? 왜?
    3. CDRs가 전통적인 실업률 측정치를 완전히 대체 할 수 있다는 어떠한 증거가 있습니까?