次に読むもの

• はじめに（セクション5.1）

マスコラボレーションは、 市民の科学 、 クラウドソーシング 、 集団知能のアイデアを融合させます。シチズンサイエンスは、通常、科学プロセスにおいて「市民」（すなわち、非科学者）を関与させることを意味する。詳細については、 Crain, Cooper, and Dickinson (2014)およびBonney et al. (2014) 。クラウドソーシングは通常、組織内で通常解決される問題を抱えて、代わりに群衆にアウトソーシングすることを意味します。詳細はHowe (2009)参照してください。集団知能とは、通常、知的に見える方法で集合的に行動する個人の集団を意味します。詳細については、 Malone and Bernstein (2015)参照してください。 Nielsen (2012)は、科学的研究のための大規模な共同作業の力をブックごとに紹介したものです。

私が提案した3つのカテゴリーにきちんと適合していない多くの種類の共同作業があります.3つは社会調査に役立つので、3つの特別な注意が必要です。 1つの例は、参加者が世界で発生した結果に基づいて償還可能な契約を購入し取引する予測市場です。予測市場は企業や政府によって予測のために使われることが多く、社会研究者は心理学における公表された研究の(Dreber et al. 2015)を予測するために使われている(Dreber et al. 2015) 。予測市場の概要については、 Wolfers and Zitzewitz (2004)およびArrow et al. (2008) 。

私の分類スキームにうまく適合しない2番目の例は、研究者が新しい数学の定理を証明するためにブログやWikiを使って協力していたPolyMathプロジェクトです。 PolyMathプロジェクトは、Netflix Prizeといくつかの点で似ていますが、このプロジェクトでは参加者は他者の部分的なソリューションをより積極的に構築しました。 PolyMathプロジェクトの詳細については、 Gowers and Nielsen (2009) 、 Cranshaw and Kittur (2011) 、 Nielsen (2012) 、 Kloumann et al. (2016) 。

カテゴリ分類スキームにうまく適合しない第3の例は、防衛先進研究プロジェクト庁（DARPA）のネットワークチャレンジ（Red Balloon Challenge）などの時間依存動員のものです。これらの時間に敏感な動員の詳細については、 Pickard et al. (2011) 、 Tang et al. (2011) 、およびRutherford et al. (2013) 。

• 人間の計算（セクション5.2）

「人間の計算」という言葉はコンピュータ科学者が行った作業の結果であり、この研究の背後にある文脈を理解すれば、それに適した問題を突き止める能力が向上します。特定のタスクでは、コンピュータは信じられないほど強力であり、熟練した人間の能力をはるかに上回る能力を備えています。例えば、チェスでは、コンピュータは最高のおばあちゃん達に勝つことができます。しかし、これは社会科学者にはあまり知られていません。他のタスクでは、コンピュータは実際には人よりずっと悪いです。言い換えれば、画像、ビデオ、オーディオ、テキストの処理を含む特定のタスクで最も洗練されたコンピュータよりも優れています。したがって、これらの難しいコンピュータのために働くコンピュータ科学者は、人間の作業を容易にするために、計算プロセスに人間を含めることができると認識していました。 Luis von Ahn (2005)は、「コンピュータがまだ解決できない問題を解決するために人間の処理能力を利用するためのパラダイム」という論文の最初の発想で、人間の計算をどのように記述したのかを以下に示します。最も一般的な用語の意味は、 Law and Ahn (2011)参照してください。

Ahn (2005)提案された定義によれば、オープンコールに関するセクションで説明したFolditは、人間の計算プロジェクトとみなすことができます。しかし、専門的スキル（正式な訓練ではありませんが）が必要であり、スプリット・アプライ・コンバージド・ストラテジーを使用するのではなく、最適なソリューションを提供するため、オープン・コールとしてFolditを分類することを選択します。

Wickham (2011)は、統計的コンピューティングの戦略を記述するために「split-apply-combine」という用語を使用しましたが、多くの人間の計算プロジェクトのプロセスを完全に把握しています。分割適用結合戦略は、Googleで開発されたMapReduceフレームワークに似ています。 MapReduceの詳細については、 Dean and Ghemawat (2004)およびDean and Ghemawat (2008)参照してください。他の分散コンピューティングアーキテクチャの詳細については、 Vo and Silvia (2016)参照してください。 Law and Ahn (2011)第3章では、この章のものより複雑な結合ステップを持つプロジェクトについて議論しています。

この章で説明した人間の計算プロジェクトでは、参加者は何が起きているのかを知っていました。しかし、他のいくつかのプロジェクトは、既に起こっている（eBirdに似ている）参加者の意識を持たない "仕事"を捕らえようとしています。たとえば、ESPゲーム(Ahn and Dabbish 2004)とreCAPTCHA (Ahn et al. 2008) (Ahn and Dabbish 2004)を参照してください。しかし、これらのプロジェクトは、参加者がデータの使い方を知らなかったため、倫理的な疑問も(Zittrain 2008; Lung 2012) 。

ESPゲームに触発されて、多くの研究者が他の "目的を持ったゲーム" (Ahn and Dabbish 2008)を開発しようとしています(Pe-Than, Goh, and Lee 2015)さまざまな他の問題を解決するために使用されます。これらの「目的を持ったゲーム」は、人間の計算に関わるタスクを楽しいものにしようとしているという共通点があります。したがって、ESPゲームはGalaxy Zooと同じ分割適用結合構造を共有していますが、参加者が刺激を受ける方法と、科学を助ける欲求との違いが異なります。目的を持ったゲームの詳細については、 Ahn and Dabbish (2008)参照してください。

Galaxy ZooはNielsen (2012) 、 Adams (2012) 、 Clery (2011) 、 Hand (2010)を使用しており、Galaxy Zooの研究目標のプレゼンテーションが簡素化されました。天文学における銀河の分類の歴史と、Galaxy Zooがこの伝統をどのように続けているかについては、 Masters (2012)とMarshall, Lintott, and Fletcher (2015)参照してください。 Galaxy Zoo 2を完成させ、ボランティアから6,000万以上もの複雑な形態学的分類を収集したGalaxy Zoo 2を完成させた(Masters et al. 2011) 。さらに、彼らは月面を探査したり、惑星を探したり、古い文書を転記したりするなど、銀河の形態外の問題に分かれていました。現在、すべてのプロジェクトはZooniverseのウェブサイト(Cox et al. 2015) al。2015）で収集されています。これらのプロジェクトの1つであるSnapshot Serengetiは、Galaxy Zooタイプの画像分類プロジェクトも環境研究のために行うことができるという証拠を提供している(Swanson et al. 2016) 。

Chandler, Paolacci, and Mueller (2013) 、 J. Wang, Ipeirotis, and Provost (2015)は、人間の計算プロジェクトにマイクロタスク労働市場（例：Amazon Mechanical Turk）を使用することを計画している研究者のために、その他の関連する問題。 Porter, Verdery, and Gaddis (2016)は、「データ増強」と呼ばれるものについてマイクロタスク労働市場の使用に特化した例とアドバイスを提供している。データ増強とデータ収集の間の線はやや曖昧である。テキストの教師付き学習のためのラベルの収集と使用については、 Grimmer and Stewart (2013)参照してください。

私がコンピュータ支援人間計算システム（例えば、機械学習モデルを訓練するために人間のラベルを使用するシステム）と呼ばれるものを作成することに関心を持つ研究者は、 Shamir et al. (2014) （オーディオを使った例）とCheng and Bernstein (2015) 。また、これらのプロジェクトのマシンラーニングモデルは、オープンコールで募集することができるため、研究者は最も優れた予測パフォーマンスを備えた機械学習モデルを作成するために競争することができます。例えば、Galaxy Zooチームは公募を行い、 Banerji et al. (2010)開発したアプローチよりも優れた新しいアプローチを見つけましたBanerji et al. (2010) ;詳細はDieleman, Willett, and Dambre (2015)を参照してください。

• オープンコール（5.3節）

オープンコールは新しいものではありません。実際に、最もよく知られている公開通話の1つは、英国の議会が海上で船の経度を決定する方法を開発できる人のために経緯賞を創設した1714年にさかのぼります。この問題は、アイザック・ニュートンを含む数多くの偉大な科学者を困惑させ、最終的には、天文学に何らかの形で関わる解決策に焦点を当てた科学者とは違って問題に近づいた田舎の時計メーカーJohn Harrison ;詳細については、 Sobel (1996)参照してください。この例が示すように、公衆電話が非常にうまく機能すると考えられる理由の1つは、彼らが異なる視点とスキルを持つ人々へのアクセスを提供することである(Boudreau and Lakhani 2013) 。問題解決の多様性の価値についてはHong and Page (2004)とPage (2008)を参照してください。

この章の公開コールケースのそれぞれは、なぜこのカテゴリに属しているのかについてのさらなる説明が必要です。まず、私が人間の計算とオープンコールのプロジェクトを区別する1つの方法は、出力がすべての解の平均（人間の計算）か最善の解（公開通話）かどうかです。最良のソリューションは、アンサンブルソリューションと呼ばれる手法(Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012)ように、個々のソリューションの洗練された平均であることが判明したため、Netflix賞はやや難しいです。しかし、Netflixの観点からすれば、彼らがしなければならなかったことは最高の解決策を選ぶことでした。 Netflix賞の詳細については、 Bennett and Lanning (2007) 、 Thompson (2008) 、 Bell, Koren, and Volinsky (2010) 、 Feuerverger, He, and Khatri (2012) 。

第二に、人間の計算のいくつかの定義（例えばAhn (2005) ）によって、Folditは人間の計算プロジェクトとみなすべきである。しかし、特殊なスキル（必ずしも専門的な訓練ではない）が必要であり、スプリット・アプライ・コンバインド・ストラテジーを使用するのではなく、最良の解決策をとるため、オープンコールとして分類することを選択します。 Folditの詳細については、 Cooper et al. (2010) 、 Khatib et al. (2011) 、 Andersen et al. (2012) ; Folditについての私の記述は、 Bohannon (2009) 、 Hand (2010) 、およびNielsen (2012)記述に基づいています。

最後に、ピア・ツー・パテントは分散データ収集の一例であると主張することができる。コンテストのような構造を持ち、最良の貢献だけが使われるのに対し、分散データの収集では、良い貢献と悪い貢献のアイデアはあまり明確ではないので、オープンコールとして含めることを選択します。ピアツーピアの詳細については、 Noveck (2006) 、 Ledford (2007) 、 Noveck (2009) 、およびBestor and Hamp (2010) 。

ソーシャルリサーチにおけるGlaeser et al. (2016)電話の利用に関しては、 Glaeser et al. (2016)はMayer-Schönberger and Cukier (2013)第10章に報告され、ニューヨーク市は予測モデリングを使用して住宅検査員の生産性を大幅に向上させることができました。ニューヨーク市では、これらの予測モデルは市の従業員によって作成されましたが、それ以外の場合はオープンコール（例： Glaeser et al. (2016) ）で作成または改善できると想像できます。しかし、予測モデルがリソースを割り当てるために使用されている主な懸案事項の1つは、これらのモデルが既存のバイアスを強化する可能性があることです。多くの研究者はすでに「ゴミ・ゴミ・アウト」を知っており、予測モデルでは「バイアス・アウト・バイアス」することができますBarocas and Selbst (2016)とO'Neil (2016)を参照してください。バイアスされたトレーニングデータを使用します。

政府がオープンコンテストを使用することを妨げるかもしれない1つの問題は、プライバシー侵害につながる可能性のあるデータのリリースが必要であるということです。 Narayanan, Huey, and Felten (2016)電話でのプライバシーとデータの解放の詳細については、 Narayanan, Huey, and Felten (2016)と第6章の説明を参照してください。

予測と説明の違いや類似点については、 Breiman (2001) 、 Shmueli (2010) 、 Watts (2014) 、およびKleinberg et al. (2015) 。社会調査における予測の役割の詳細については、を参照してくださいAthey (2017) Cederman and Weidmann (2017) Hofman, Sharma, and Watts (2017) ( ??? )およびYarkoni and Westfall (2017)

デザインアドバイスを含む生物学における公開プロジェクトのレビューについては、 Saez-Rodriguez et al. (2016) 。

• 分散データ収集（5.4節）

eBirdについての私の記述は、 Bhattacharjee (2005) 、 Robbins (2013) 、およびSullivan et al. (2014) 。研究者が統計モデルを使ってeBirdデータを分析する方法の詳細については、 Fink et al. (2010)とHurlbert and Liang (2012) 。 eBird参加者のスキルの推定については、 Kelling, Johnston, et al. (2015) 。鳥類学における市民科学の歴史については、 Greenwood (2007)参照。

マラウイジャーナルプロジェクトの詳細についてはKaler, Watkins, and Angotti (2015) Watkins and Swidler (2009) 、 Kaler, Watkins, and Angotti (2015) 。南アフリカの関連プロジェクトの詳細については、 Angotti and Sennott (2015)参照してください。マラウイ・ジャーナル・プロジェクトのデータを用いた研究の例は、 Kaler (2004)とAngotti et al. (2014) 。

• 独自のデザイン（5.5節）

デザインアドバイスを提供するための私のアプローチは、私が聞いた成功した失敗した大量の共同作業プロジェクトの例に基づいています。また、大規模な共同プロジェクトの設計に関連するオンラインコミュニティの設計に、より一般的な社会心理学的理論を適用しようとする一連の研究が行われてKraut et al. (2012)例えば、 Kraut et al. (2012) 。

参加者の動機については、人々が大規模な共同プロジェクトに参加する理由を正確に把握することは実際は非常に難しいです(Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) 。マイクロタスク労働市場（例えば、Amazon Mechanical Turk）での支払いを伴う参加者の動機付けを計画している場合は、Kittur Kittur et al. (2013)はいくつかのアドバイスを提供しています。

驚きを可能にすることに関して、Zooiverseプロジェクトから出てくる予期せぬ発見の例については、 Marshall, Lintott, and Fletcher (2015) Lintott Marshall, Lintott, and Fletcher (2015)参照してください。

倫理的であることに関しては、関連する問題に対する一般的な紹介は、 Gilbert (2015) 、 Salehi et al. (2015) 、 Schmidt (2013) 、 Williamson (2016) 、 Resnik, Elliott, and Miller (2015) 、 Zittrain (2008)群集従業員の法的問題に特有の問題については、 Felstiner (2011)参照してください。 O'Connor (2013)は、研究者と参加者の役割が曖昧になったときの研究の倫理的監視に関する質問に取り組んでいます。市民科学プロジェクトの参加者を保護しながらデータを共有することに関する問題については、 Bowser et al. (2014) 。 Purdam (2014)とWindt and Humphreys (2016)は共に、分散データ収集における倫理的問題について議論している。最後に、ほとんどのプロジェクトは貢献を認めていますが、参加者に著者クレジットを与えていません。 Folditでは、プレイヤーはしばしば著者としてリストされている(Cooper et al. 2010; Khatib et al. 2011) 。他のオープン・コール・プロジェクトでは、勝利した貢献者は、そのソリューション（ Bell, Koren, and Volinsky (2010) 、 Dieleman, Willett, and Dambre (2015) ）を記述した論文をよく書くことができます。