4.5.1.1 사용하여 기존의 환경

당신은 종종 코딩 또는 협력하지 않고, 기존의 환경 내에서 실험을 실행할 수 있습니다.

물류, 디지털 실험을 할 수있는 가장 쉬운 방법은 디지털 현장 실험을 실행 할 수 있도록, 기존 환경의 상단에 실험을 오버레이하는 것입니다. 이 실험은 상당히 큰 규모로 실행할 수 있으며 회사 또는 광범위한 소프트웨어 개발과 협력을 필요로하지 않습니다.

예를 들어, 제니퍼 Doleac와 루크 스타 인 (2013) 인종 차별을 측정하는 실험을 실행하는 온라인 마켓 플레이스의 (예를 들어, 크레이그리스트)를 이용했다. Doleac 및 스타 인 아이팟의 수천을 광고하고, 체계적으로 판매자의 특성을 변화시킴으로써, 그들은 경제 거래 인종의 효과를 연구 할 수 있었다. 또한, Doleac 및 스타 인 효과가 더 큰 (치료 효과의 이질성) 인 경우 추정하고 효과가 (메커니즘)가 발생할 수 있습니다 이유에 대한 몇 가지 아이디어를 제공하기 위해 그들의 실험의 규모를 사용했다.

이전 Doleac과 스타의 연구, 두 가지 방법이 실험적으로 차별을 측정하기 위해 거기에 있었다. 대응 연구의 연구자들은 서로 다른 인종의 가상 사람들의 이력서를 작성하고, 예를 들어, 다른 작업에 적용이 이력서를 사용합니다. 버트 랜드와 Mullainathan의 (2004) 기억에 남는 제목 "에밀리와 그렉 Lakisha와 자말보다 더 사용할 수있다 종이? "노동 시장 차별에 필드 실험 대응 연구의 멋진 그림입니다. 대응 연구는 일반적인 연구에서 관찰 수천를 수집하는 하나의 연구원을 가능하게 관찰 당 상대적으로 낮은 비용을 가지고있다. 이름은 잠재적 지원자의 인종 이외에 여러 가지 신호 있기 때문에, 인종 차별의 대응 연구는 의문을 제기하고있다. 즉, 이러한 그렉, 에밀리, Lakisha, 그리고 자말과 같은 이름은 인종뿐만 아니라 사회 계층 신호 수있다. 따라서, 그렉과 자말의의 이력서에 대한 치료에 어떤 차이가 더 지원자의 추정 인종의 차이보다 때문일 수 있습니다. 감사 연구는, 다른 한편으로는, 작업에 직접 적용 할 다른 인종의 배우를 고용 포함한다. 감사 연구 출원인 레이스의 클리어 신호를 제공 할지라도, 그들은 전형적 관측 수백 즉, 관측 당 매우 비싸다.

디지털 현장 실험에서, Doleac 및 스타 인은 매력적인 하이브리드를 만들 수 있었다. 그들은 (대응 연구에서와 같이) 관찰 수천-결과 관찰 당 상대적으로 낮은 비용으로 데이터를 수집 할 수 있었다 - 그리고 그들은 (감사 연구에서와 같이 사진-결과 인종의 명확한 uncounfounded 신호를 사용하여 레이스를 신호 할 수 있었다 ). 따라서, 온라인 환경은 때때로 그렇지 않으면 구성하기 어려운 특성을 가지고 새로운 치료법을 만드는 연구를 할 수 있습니다.

Doleac과 스타의 아이팟 광고는 세 가지 차원에서 변화. 첫째, 그들은 아이팟 [문신 흰색 검정, 흰색,, (그림 4.12)을 들고 촬영 손에 의해 신호 된 판매자의 특성을 변화. 둘째, 그들은 요구 가격 [$ 90 $ 110 $ 130] 변화. 셋째, 이들은 광고문 [높은 품질과 낮은 품질 (예를 들어, 대소 오류 및 오류 spelin)]의 품질 변화. 따라서, 저자는 도시 (예를 들어, 코코모, 인디애나와 노스 플랫, NE) 메가 도시 (예를 들어, 뉴욕, 로스 앤젤레스)에 이르기까지 300 개 이상의 현지 시장에 배포 된 3 X 3 X 2 디자인했다.

의 실험에 사용 손 : 4.12도 Doleac and Stein (2013) . 아이팟은 온라인 시장에서 차별을 측정하기 위해 서로 다른 특성을 가진 판매자가 판매되었다.

모든 조건에서 평균, 성과는 문신 판매자가 중간 결과를 갖는, 블랙 판매자보다 흰색 판매자에 대한 더 나은했다. 예를 들어, 흰색 판매자가 더 많은 제안을 받아 높은 최종 판매 가격을했다. 이러한 평균 효과 외에도, Doleac과 스타 효과의 이질성을 추정했다. 예를 들어, 이전의 이론에서 하나의 예측은 차별이 더 경쟁력이 시장에서 덜 될 것입니다. 시장 경쟁의 프록시로 수신 된 이벤트의 수를 사용하여, 저자는 검은 판매자가 실제로 경쟁의 낮은 수준으로 시장에서 더 혜택을받을 않는 것으로 나타났습니다. 또, 높은 품질과 낮은 품질의 텍스트 광고의 성과를 비교함으로써 Doleac 및 스테인 블랙 문신 판매자가 직면 한 문제점에 영향을주지 않는 광고 품질을 알았다. 마지막으로, 광고가 300 개 이상의 시장에 넣었다는 사실을 활용, 저자는 검은 판매자가 높은 범죄율과 높은 주거 분리와 도시에서 더 불리한 것을 찾을 수 있습니다. 이러한 결과 중 어느 것도 우리에게 검은 판매자가 더 나쁜 결과를 가지고 이유를 정확하게의 정확한 이해를 제공,하지만 다른 연구 결과와 결합 될 때, 그들은 경제 거래의 다른 유형의 인종 차별의 원인에 대한 이론을 알리기 위해 시작할 수 있습니다.

기존 시스템에 디지털 현장 실험을 수행하는 연구자의 ​​능력을 보여줍니다 또 다른 예는 Arnout 밴 드 Rijt의 연구 동료 인 (2014) 성공의 키에. 생활의 여러 측면에서, 겉보기에 비슷한 사람들이 매우 다른 결과로 끝. 이 패턴에 대한 한 가지 가능한 설명은 그 작은 본질적으로 랜덤 장점 인 잠금 및 연구자가 누적 이점을 호출하는 프로세스, 시간이 지남에 따라 증가 할 수 있습니다. 작은 초기 성공은-에서 잠 그거나 사라질 여부를 결정하기 위해, 반 드 Rijt 및 동료 (2014) 무작위로 선택된 참가자에 성공을 주신 네 가지 시스템에 개입 한 다음이 임의의 성공의 장기적 영향을 측정 하였다.

보다 구체적으로는, 반 드 Rijt과 돈을 약속 한) 연구진은 무작위에 프로젝트를 선택합니다 kickstarter.com 하는 크라우드 펀딩 웹 사이트를; 2) 긍정적으로 웹 사이트에 무작위로 선택된 리뷰 평가 epinions을 ; 3) 무작위로 참여자를 선정하는 상을 준 위키 백과 ; 4) 무작위에 청원 선택 서명 된 change.org을 . 연구진은 네 개의 시스템에서 매우 유사한 결과를 발견 각각의 경우에, 무작위로 일부 초기 성공을 받았다 참가자들이 그렇지 않으면 완전히 구별 동료 (그림 4.13)보다 이후의 성공을 위하여 계속했다. 이 패턴이 임의의 특정 시스템의 아티펙트 있다는 가능성을 줄일 수 있기 때문에 동일한 패턴은 많은 시스템에서 나타났다는 사실은 이러한 결과를 외부 유효성을 증가시킨다.

네 개의 다른 사회 시스템에서 무작위로 부여 성공의 장기 효과 : 4.13 그림. Arnout 밴 드 Rijt 및 동료 (2014) 1) 돈을 약속하는 것은 무작위에 프로젝트를 선택합니다 kickstarter.com 하는 크라우드 펀딩 웹 사이트를; 2) 긍정적으로 웹 사이트에 무작위로 선택된 리뷰 평가 epinions을 ; 3) 무작위로 참여자를 선정하는 상을 준 위키 백과 ; 4) 무작위에 청원 선택 서명 된 change.org을 .

함께, 이러한 두 가지 예 연구자들이 회사와 제휴하거나 복잡한 디지털 시스템을 구축 할 필요 필요없이 디지털 필드 실험을 수행 할 수 있음을 보여준다. 또한, 표 4.2 연구팀은 치료 및 / 또는 측정 결과를 제공하기 위해 기존 시스템의 인프라를 사용할 때 가능한 것의 범위를 보여 더 많은 예제를 제공합니다. 이 실험은 연구자 상대적으로 저렴하고 리얼리즘의 높은 수준을 제공합니다. 그러나, 이러한 실험은 연구자를 측정 할 수있는 참가자, 치료 및 결과를 통해 제한된 제어를 제공합니다. 또한, 하나의 시스템에서 발생하는 실험을 위해, 연구자들은 효과 (시스템 별 역학에 의해 구동 될 수 있음을 우려 할 필요가 예를 들어,의 Kickstarter 프로젝트 또는 change.org이 청원 위를 기록하는 방식 위를 기록하는 방식, 자세한 내용은, ) 제 2 장에서 알고리즘 혼란에 대한 설명을 참조하십시오. 연구자가 작동 시스템에 개입 할 때 마지막으로, 까다로운 윤리적 질문은 참가자들에게 가능한 해, 비 참가자 및 시스템에 대한 등장. 우리는 제 6 장에서 자세히 이러한 윤리적 인 문제를 고려하며, 반 드 Rijt의 부록에 그들의 훌륭한 토론이있다 (2014) . 기존의 시스템에서 작업과 함께 제공되는 트레이드 오프는 모든 프로젝트에 적합하지 않고, 그 이유로 일부 연구자는 자신의 실험 시스템, 다음 섹션의 항목을 구축 할 수 있습니다.