ווייַטער קאָמענטאַר

דעם אָפּטיילונג איז דיזיינד צו ווערן געניצט ווי אַ דערמאָנען, אלא ווי צו זייַן לייענען ווי אַ דערציילונג.

  • הקדמה (אָפּטיילונג 5.1)

מאַסע מיטאַרבעט בלענדז געדאנקען פון בירגער וויסנשאַפֿט, crowdsourcing, און קאָלעקטיוו סייכל. בירגער וויסנשאַפֿט יוזשאַוואַלי מיטל ינוואַלווינג "בירגערס" (ד"ה, ניט-סייאַנטיס) אין די SCIENTIFIC פּראָצעס (Crain, Cooper, and Dickinson 2014) . Crowdsourcing יוזשאַוואַלי מיטל גענומען אַ פּראָבלעם יוזשאַוואַלי סאַלווד ין אַן אָרגאַניזאַציע און אַנשטאָט אַוצאָרסינג עס צו אַ מאַסע (Howe 2009) . קאָלעקטיוו סייכל יוזשאַוואַלי מיטל גרופּעס פון מענטשן אַקטינג קאַלעקטיוולי אין וועגן אַז ויסקומען ינטעליגענט (Malone and Bernstein 2015) . Nielsen (2012) איז אַ ווונדערלעך בוך-לענג הקדמה אין די מאַכט פון מאַסע מיטאַרבעט פֿאַר SCIENTIFIC פאָרשונג.

עס זענען פילע טייפּס פון מאַסע מיטאַרבעט אַז טאָן ניט צופּאַסן ניטלי אין די דרייַ קאַטעגאָריעס אַז איך פּראָפּאָסעד, און איך טראַכטן דרייַ פאַרדינען ספּעציעל אכטונג ווייַל זיי זאל זייַן נוצלעך אין געזעלשאַפטלעך פאָרשונג בייַ עטלעכע פונט. איין משל איז פּראָגנאָז מאַרקעץ, ווו פּאַרטיסאַפּאַנץ קויפן און האַנדל קאַנטראַקץ אַז ביסט רעדעעמאַבלע באזירט אויף אַוטקאַמז וואָס פּאַסירן אין דער וועלט (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . פּרעדיקטינג מאַרקעץ זענען אָפֿט געניצט דורך פירמס און גאַווערנמאַנץ פֿאַר פאָרעקאַסטינג, און פּרידיקטינג מאַרקעץ האָבן אויך שוין געניצט דורך געזעלשאַפטלעך ריסערטשערז צו פאָרויסזאָגן די רעפּליקאַביליטי פון ארויס שטודיום אין פּסיכאָלאָגיע (Dreber et al. 2015) .

א צווייט בייַשפּיל אַז טוט נישט פּאַסיק געזונט אין מיין קאַטאַגעריזיישאַן סכעמע איז די פּאָלימאַטה פּרויעקט, ווו ריסערטשערז קאַלאַבערייטאַד ניצן בלאָגס און וויקיס צו באַווייַזן נייַ מאַט טהעאָרעמס (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . די פּאָלימאַטה פּרויעקט איז אין עטלעכע וועגן ענלעך צו דער Netflix Prize, אָבער אין די פּאָלימאַטה פּרויעקט פּאַרטיסאַפּאַנץ מער אַקטיוולי געבויט אויף דער פּאַרטיייש סאַלושאַנז פון אנדערע.

א דריט בייַשפּיל אַז טוט נישט פּאַסיק געזונט אין מיין קאַטאַגעריזיישאַן סכעמע איז צייַט-אָפענגיק מאָביליזאַטיאָנס אַזאַ ווי די Defense אַוואַנסירטע פֿאָרש פּראַדזשעקס אַגענסי (דאַרפּאַ) נעטוואָרק טשאַלאַנדזש (ד"ה, די רעד באַלון טשאַלאַנדזש). פֿאַר מער אויף די צייַט שפּירעוודיק מאָביליזאַטיאָנס זען Pickard et al. (2011) , Tang et al. (2011) , און Rutherford et al. (2013) .

  • מענטשנרעכט קאַמפּיאַטיישאַן (אָפּטיילונג 5.2)

דער טערמין "מענטש קאַמפּיאַטיישאַן" קומט אויס פון אַרבעט געטאן דורך קאָמפּיוטער סיינטיס, און שכל די קאָנטעקסט הינטער דעם פאָרשונג וועט פֿאַרבעסערן אייער פיייקייַט צו קלייַבן אויס פּראָבלעמס אַז זאל זיין אַמענאַבלע צו עס. פֿאַר זיכער טאַסקס, קאָמפּיוטערס זענען ינקרעדאַבלי שטאַרק מיט קייפּאַבילאַטיז ווייַט יקסידינג אַפֿילו מומחה יומאַנז. לעמאָשל, אין שאָך, קאָמפּיוטערס קענען שלאָגן אַפֿילו דער בעסטער גרויס הארן. אָבער-און דאָס איז ווייניקער געזונט אַפּרישיייטיד דורך געזעלשאַפטלעך סייאַנטיס-פֿאַר אנדערע טאַסקס, קאָמפּיוטערס זענען אַקטשאַוואַלי פיל ערגער ווי מענטשן. אין אנדערע ווערטער, רעכט איצט איר זענט בעסער ווי אַפֿילו די מערסט sophisticated קאָמפּיוטער אין זיכער טאַסקס ינוואַלווינג פּראַסעסינג פון בילדער, וידאו, אַודיאָ, און טעקסט. אזוי-ווי איז ילאַסטרייטיד דורך אַ ווונדערלעך קסקקד קאַרטון-עס זענען טאַסקס אַז זענען גרינג פֿאַר קאָמפּיוטערס און שווער פֿאַר מענטשן, אָבער עס זענען אויך טאַסקס אַז זענען שווער פֿאַר קאָמפּיוטערס און גרינג פֿאַר מענטשן (Figure 5.13). קאָמפּיוטער סייאַנטיס ארבעטן אויף די שווער-פֿאַר-קאָמפּיוטערס-גרינג-פֿאַר-מענטש טאַסקס, דעריבער, איינגעזען אַז זיי געקענט אַרייַננעמען יומאַנז אין זייער קאַמפּיוטיישאַנאַל פּראָצעס. דאָ ס ווי לויס וואָן אַהן (2005) דיסקרייבד מענטשלעך קאַמפּיאַטיישאַן ווען ער ערשטער קוינד דער טערמין אין זייַן דיסערטיישאַן: "אַ פּעראַדיים פֿאַר יוטאַלייזינג מענטשלעך פּראַסעסינג מאַכט צו סאָלווע פּראָבלעמס אַז קאָמפּיוטערס קענען נישט נאָך סאָלווע."

רעכענען 5.13: פֿאַר עטלעכע טאַסקס קאָמפּיוטערס זענען אַמייזינג, יקסידינג די פיייקייַט פון מענטש עקספּערץ. אבער, פֿאַר אנדערע טאַסקס, פּראָסט יומאַנז קענען אָוטפּערפאָרם אַפֿילו sophisticated קאָמפּיוטערס סיסטעמען. גרויס וואָג פּראָבלעמס אַז אַרייַנציען טאַסקס אַז זענען שווער פֿאַר קאָמפּיוטערס און גרינג פֿאַר יומאַנז זענען געזונט-סוטאַד פֿאַר מענטשלעך קאַמפּיאַטיישאַן. געניצט לויט צו די ווערטער דיסקרייבד דאָ: http://xkcd.com/license.html

רעכענען 5.13: פֿאַר עטלעכע טאַסקס קאָמפּיוטערס זענען אַמייזינג, יקסידינג די פיייקייַט פון מענטש עקספּערץ. אבער, פֿאַר אנדערע טאַסקס, פּראָסט יומאַנז קענען אָוטפּערפאָרם אַפֿילו sophisticated קאָמפּיוטערס סיסטעמען. גרויס וואָג פּראָבלעמס אַז אַרייַנציען טאַסקס אַז זענען שווער פֿאַר קאָמפּיוטערס און גרינג פֿאַר יומאַנז זענען געזונט-סוטאַד פֿאַר מענטשלעך קאַמפּיאַטיישאַן. געניצט לויט צו די ווערטער דיסקרייבד דאָ: http://xkcd.com/license.html

דורך דעם דעפֿיניציע פאָלדיט-וואָס איך דיסקרייבד אין די אָפּטיילונג אויף עפענען קאַללס-קען ווערן באטראכט אַ מענטש קאַמפּיאַטיישאַן פּרויעקט. אבער, איך קלייַבן צו קאַטאַגערייז פאָלדיט ווי אַ עפענען רופן ווייַל עס ריקווייערז ספּעשאַלייזד סקילז און עס נעמט דער בעסטער לייזונג קאַנטריביוטיד אלא ווי ניצן אַ שפּאַלטן-צולייגן-פאַרבינדן סטראַטעגיע.

פֿאַר אַ ויסגעצייכנט בוך לענג באַהאַנדלונג פון מענטש קאַמפּיאַטיישאַן, אין דער רובֿ גענעראַל זינען פון דעם טערמין, זען Law and Ahn (2011) . טשאַפּטער 3 פון Law and Ahn (2011) האט אַ טשיקאַווע דיסקוסיע פון מער קאָמפּליצירט פאַרבינדן טריט ווי די אָנעס אין דעם קאַפּיטל.

דער טערמין "שפּאַלטן-צולייגן-פאַרבינדן" איז געניצט דורך Wickham (2011) צו באַשרייַבן אַ סטראַטעגיע פֿאַר סטאַטיסטיש קאַמפּיוטינג, אָבער עס בישליימעס קאַפּטשערז די פּראָצעס פון פילע מענטשלעך קאַמפּיאַטיישאַן פּראַדזשעקס. די שפּאַלטן-צולייגן-פאַרבינדן סטראַטעגיע איז ענלעך צו דער מאַפּרעדוסע Framework דעוועלאָפּעד אין גוגל (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

צוויי קלוג מענטש קאַמפּיאַטיישאַן פּראַדזשעקס אַז איך האט נישט האָבן פּלאַץ צו דיסקוטירן זענען די עספּ שפּיל (Ahn and Dabbish 2004) און רעקאַפּטטשאַ (Ahn et al. 2008) . ביידע פון ​​די פּראַדזשעקס געפֿונען שעפעריש וועגן צו מאָטיווירן פּאַרטיסאַפּאַנץ צו צושטעלן לאַבעלס אויף בילדער. אָבער, ביידע פון די פּראַדזשעקס אויך מחיה עטישע שאלות ווייַל, ניט ענלעך גאַלאַקסי זאָאָלאָגישער גאָרטן, פּאַרטיסאַפּאַנץ אין די עספּ שפּיל און רעקאַפּטטשאַ האט ניט וויסן ווי זייער דאַטן איז געווען ווייל געניצט (Lung 2012; Zittrain 2008) .

ינספּייערד דורך די עספּ שפּיל, פילע ריסערטשערז האָבן אַטטעמפּטעד צו אַנטוויקלען אנדערע "גאַמעס מיט אַ ציל" (Ahn and Dabbish 2008) (ד"ה, "מענטש-באזירט קאַמפּיאַטיישאַן גאַמעס" (Pe-Than, Goh, and Lee 2015) ) אַז קענען זיין געניצט צו סאָלווע אַ פאַרשיידנקייַט פון אנדערע פּראָבלעמס. וואָס די "גאַמעס מיט אַ צוועק" האָבן אין פּראָסט איז אַז זיי פּרובירן צו מאַכן די טאַסקס ינוואַלווד אין מענטשלעך קאַמפּיאַטיישאַן ענדזשויאַבאַל. אזוי, בשעת די עספּ שפּיל שאַרעס דער זעלביקער שפּאַלטן-צולייגן-פאַרבינדן סטרוקטור מיט גאַלאַקסי זאָאָלאָגישער גאָרטן, עס דיפפערס אין ווי פּאַרטיסאַפּאַנץ זענען מאָוטאַווייטאַד-שפּאַס ווס פאַרלאַנג צו העלפן וויסנשאַפֿט.

מיין באַשרייַבונג פון גאַלאַקסי זאָאָלאָגישער גאָרטן דראָז אויף Nielsen (2012) , Adams (2012) , Clery (2011) , און Hand (2010) , און מיין פּרעזענטירונג פון די פאָרשונג צילן פון גאַלאַקסי זאָאָלאָגישער גאָרטן איז געווען Simplified. פֿאַר מער אויף דער געשיכטע פון גאַלאַקטיק קלאַסיפֿיקאַציע אין אַסטראָנאָמיע און ווי גאַלאַקסי זאָאָלאָגישער גאָרטן האלט דעם מסורה, זען Masters (2012) און Marshall, Lintott, and Fletcher (2015) . בנין אויף גאַלאַקסי זאָאָלאָגישער גאָרטן, די ריסערטשערז געענדיקט גאַלאַקסי זאָאָלאָגישער גאָרטן 2 וואָס געזאמלט מער ווי 60 מיליאָן מער קאָמפּליצירט מאָרפאָלאָגיקאַל קלאַססיפיקאַטיאָנס פון וואַלאַנטירז (Masters et al. 2011) . ווייטער, זיי בראַנטשט אויס אין פּראָבלעמס אַרויס פון גאַלאַקטיק מאָרפאָלאָגי כולל יקספּלאָרינג די ייבערפלאַך פון די לבנה, שאַרף פֿאַר פּלאַנאַץ, און טראַנסקריבינג אַלט דאקומענטן. איצט, אַלע זייער פּראַדזשעקס זענען געזאמלט בייַ www.zooniverse.org (Cox et al. 2015) . איינער פון די פּראַדזשעקס-סנאַפּשאָט סערענגעטי-גיט זאָגן אַז גאַלאַקסי זאָאָלאָגישער גאָרטן-טיפּ בילד קלאַסיפֿיקאַציע פּראַדזשעקס קענען אויך זיין געטאן פֿאַר ינווייראַנמענאַל פאָרשונג (Swanson et al. 2016) .

פֿאַר ריסערטשערז פּלאַנירונג צו נוצן אַ מיקראָ-אַרבעט אַרבעט מאַרק (למשל, אַמאַזאָן מעטשאַניקאַל טערק) פֿאַר אַ מענטש קאַמפּיאַטיישאַן פּרויעקט, Chandler, Paolacci, and Mueller (2013) און Wang, Ipeirotis, and Provost (2015) פאָרשלאָגן גוט עצה אויף אַרבעט פּלאַן און אנדערע פֿאַרבונדענע ישוז.

רעסעאַרטשערס אינטערעסירט אין קריייטינג וואָס איך ווע גערופֿן רגע דור מענטשלעך קאַמפּיאַטיישאַן סיסטעמס (למשל, סיסטעמס אַז נוצן מענטשלעך לאַבעלס צו באַן אַ מאַשין וויסן מאָדעל) זאל זיין אינטערעסירט אין Shamir et al. (2014) (פֿאַר אַ בייַשפּיל ניצן אַודיאָ) און Cheng and Bernstein (2015) . אויך, די פּראַדזשעקס קענען ווערן געטאן מיט עפענען קאַללס, ווערביי ריסערטשערז קאָנקורירן צו שאַפֿן מאַשין וויסן מאָדעלס מיט די גרעסטע פּרידיקטיוו אויפֿפֿירונג. לעמאָשל, די גאַלאַקסי זאָאָלאָגישער גאָרטן קאָלעקטיוו געלאָפֿן אַ עפענען רופן און געפֿונען אַ נייַ צוגאַנג אַז אָוטפּערפאָרמעד די איין דעוועלאָפּעד אין Banerji et al. (2010) ; זען Dieleman, Willett, and Dambre (2015) פֿאַר דעטאַילס.

  • עפֿן קאַללס (אָפּטיילונג 5.3)

עפֿן קאַללס זענען נישט נייַ. אין פאַקט, איינער פון די מערסט געזונט-באקאנט עפענען קאַללס דאַטעס צוריק צו 1714 ווען בריטאַן ס פּאַרליאַמענט Created די לאָנגיטודע Prize פֿאַר ווער עס יז אַז קען אַנטוויקלען אַ וועג צו באַשליסן די לאַנדזשאַטוד פון אַ שיף אין ים. די פּראָבלעם סטאַמפּט פילע פון די גרעסטע סייאַנטיס פון די טעג, כולל יצחק נוטאַן, און די ווינינג לייזונג איז געווען יווענטשאַוואַלי דערלאנגט דורך אַ קלאָקקמאַקער פון די קאַנטריסייד, וואס אַפּראָוטשט די פּראָבלעם אנדערש פון סייאַנטיס וואס זענען פאָקוסעד אויף אַ לייזונג וואָס וואָלט יז אַרייַנציען אַסטראָנאָמיע (Sobel 1996) . ווי דעם בייַשפּיל ילאַסטרייץ, איין סיבה אַז עפענען קאַללס זענען געדאַנק צו אַרבעטן אַזוי גוט איז אַז זיי צושטעלן צוטריט צו מענטשן מיט פאַרשידענע פּערספּעקטיווז און סקילז (Boudreau and Lakhani 2013) . זען Hong and Page (2004) און Page (2008) פֿאַר מער אויף די ווערט פון דייווערסיטי אין פּראָבלעם סאַלווינג.

יעדער פון די עפענען רופן קאַסעס אין די קאַפּיטל ריקווייערז אַ ביסל פון ווייַטער דערקלערונג פֿאַר וואָס עס געהערט אין דעם קאַטעגאָריע. ערשטער, איינער וועג אַז איך ויסטיילן צווישן מענטש קאַמפּיאַטיישאַן און עפענען רופן פּראַדזשעקס איז צי די רעזולטאַט איז אַ דורכשניטלעך פון אַלע די סאַלושאַנז (מענטשלעך קאַמפּיאַטיישאַן) אָדער די בעסטער לייזונג (עפענען רופן). די Netflix Prize איז עפּעס טריקי אין דעם אַכטונג ווייַל דער בעסטער לייזונג אויסגעדרייט אויס צו זייַן אַ sophisticated דורכשניטלעך פון יחיד סאַלושאַנז, אַ אַפּראָוטשט גערופֿן אַ אַנסאַמבאַל לייזונג (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . פֿון דער פּערספּעקטיוו פון Netflix, אָבער, אַלע זיי האט צו טאָן איז געווען קלייַבן דער בעסטער לייזונג.

רגע, דורך עטלעכע זוך פון מענטשלעך קאַמפּיאַטיישאַן (למשל, Von Ahn (2005) ), פאָלדיט זאָל זיין געהאלטן אַ מענטש קאַמפּיאַטיישאַן פּרויעקט. אבער, איך קלייַבן צו קאַטאַגערייז פאָלדיט ווי אַ עפענען רופן ווייַל עס ריקווייערז ספּעשאַלייזד סקילז און עס נעמט דער בעסטער לייזונג קאַנטריביוטיד, אלא ווי ניצן אַ שפּאַלטן-צולייגן-פאַרבינדן סטראַטעגיע.

צום סוף, איינער קען טייַנען אַז עניין-צו-פּאַטענט איז אַ בייַשפּיל פון פֿאַרשפּרייטן דאַטן זאַמלונג. איך קלייַבן צו אַרייַננעמען עס ווי אַ עפענען רופן ווייַל עס האט אַ קאָנקורס-ווי ביניען און בלויז דער בעסטער קאַנטראַביושאַנז זענען געניצט (כוועראַז מיט פֿאַרשפּרייטן דאַטן זאַמלונג, די געדאַנק פון גוט און שלעכט קאַנטראַביושאַנז איז ווייניקער קלאָר).

פֿאַר מער אויף די Netflix Prize, זען Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , און Feuerverger, He, and Khatri (2012) . פֿאַר מער אויף פאָלדיט זען, Cooper et al. (2010) , Andersen et al. (2012) , און Khatib et al. (2011) ; מיין באַשרייַבונג פון פאָלדיט דראָז אויף דיסקריפּשאַנז אין Nielsen (2012) , Bohannon (2009) , און Hand (2010) . פֿאַר מער אויף עניין-צו-פּאַטענט, זען Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , און Noveck (2009) .

ענלעך צו די רעזולטאטן פון Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , טשאַפּטער 10 מעלדעט גרויס גיינז אין די פּראָודאַקטיוויטי פון האָוסינג ינספּעקטערז אין ניו יארק סיטי ווען ינספּעקשאַנז זענען גיידאַד דורך פּרידיקטיוו מאָדעלס. אין ניו יארק סיטי, די פּרידיקטיוו מאָדעלס זענען געבויט דורך שטאָט עמפּלוייז, אָבער אין אנדערע קאַסעס, איינער קען ימאַדזשאַן אַז זיי קען זיין Created אָדער ימפּרוווד מיט עפענען קאַללס (למשל, Glaeser et al. (2016) ). אָבער, איינער הויפּט דייַגע מיט פּרידיקטיוו מאָדעלס ווייל געניצט צו אַלאַקייט רעסורסן איז אַז די מאָדעלס האָבן די פּאָטענציעל צו פאַרשטאַרקן יגזיסטינג בייאַסיז. פילע ריסערטשערז שוין וויסן "מיסט אין, מיסט אויס", און מיט פּרידיקטיוו מאָדעלס עס קענען זיין "פאָרורטייל אין, פאָרורטייל אויס." זען Barocas and Selbst (2016) און O'Neil (2016) פֿאַר מער אויף די דיינדזשערז פון פּרידיקטיוו מאָדעלס געבויט מיט בייאַסט טריינינג דאַטן.

איין פּראָבלעם אַז זאל פאַרמייַדן גאַווערמאַנץ פון ניצן עפענען קאַנטעס איז אַז עס ריקווייערז דאַטע מעלדונג, וואָס קען פירן צו פּריוואַטקייט ווייאַליישאַנז. פֿאַר מער וועגן פּריוואַטקייט און דאַטן מעלדונג אין עפענען קאַללס זען Narayanan, Huey, and Felten (2016) און די דיסקוסיע אין פּרק 6.

  • דיסטריבוטעד דאַטן זאַמלונג (אָפּטיילונג 5.4)

מיין באַשרייַבונג פון עבירד דראָז אויף דיסקריפּשאַנז אין Bhattacharjee (2005) און Robbins (2013) . פֿאַר מער אויף ווי ריסערטשערז נוצן סטאַטיסטיש מאָדעלס צו אַנאַלייז עבירד דאַטן זען Hurlbert and Liang (2012) און Fink et al. (2010) . פֿאַר מער אויף דער געשיכטע פון בירגער וויסנשאַפֿט אין אָרנאָטהאָלאָגי, זען Greenwood (2007) .

פֿאַר מער אויף די מאַלאַווי דזשאָורנאַלס פּראָיעקט, זען Watkins and Swidler (2009) און Kaler, Watkins, and Angotti (2015) . און פֿאַר מער אויף אַ פֿאַרבונדענע פּרויעקט אין דרום Africa, זען Angotti and Sennott (2015) . פֿאַר מער יגזאַמפּאַלז פון פאָרשונג ניצן דאַטן פון די מאַלאַווי דזשאָורנאַלס פּראָיעקט זען Kaler (2004) און Angotti et al. (2014) .

  • דיזיינינג דיין אייגן (סעקשאַן 5.5)

מיין צוגאַנג צו קרבן פּלאַן עצה איז ינדוקטיווע, באזירט אויף די יגזאַמפּאַלז פון מצליח און ניט אַנדערש מאַסע מיטאַרבעט פּראַדזשעקס אַז איך ווע געהערט וועגן. עס איז אויך אַ טייַך פון פאָרשונג אַטטעמפּץ צו צולייגן מער אַלגעמיין געזעלשאַפטלעך סייקאַלאַדזשיקאַל טיריז צו דיזיינינג אָנליין קהילות אַז איז באַטייַטיק צו דעם פּלאַן פון מאַסע מיטאַרבעט פּראַדזשעקס, זען, למשל, Kraut et al. (2012) .

וועגן מאָוטאַווייטינג פּאַרטיסאַפּאַנץ, עס איז אַקטשאַוואַלי גאַנץ טריקי צו רעכענען אויס פּונקט וואָס מענטשן אָנטייל נעמען אין מאַסע מיטאַרבעט פּראַדזשעקס (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . אויב איר פּלאַן צו מאָטיווירן פּאַרטיסאַפּאַנץ מיט צאָלונג אויף אַ מיקראָ-אַרבעט אַרבעט מאַרק (למשל, אַמאַזאָן מעטשאַניקאַל טערק) Kittur et al. (2013) Offers עטלעכע עצה.

וועגן ענייבאַלינג יבערראַשן, פֿאַר מער יגזאַמפּאַלז פון אומגעריכט דיסקאַוועריז קומען אויס פון זאָאָוניווערסע פּראַדזשעקס, זען Marshall, Lintott, and Fletcher (2015) .

וועגן ווייל עטישע, עטלעכע גוט גענעראַל ינטראָודאַקשאַנז צו די ישוז ינוואַלווד זענען Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , און Zittrain (2008) . פֿאַר ישוז ספּעסיפיקאַללי שייך צו לעגאַל ישוז מיט מאַסע עמפּלוייז, זען Felstiner (2011) . O'Connor (2013) ווענדט שאלות וועגן עטישע פאַרזע פון פאָרשונג ווען די ראָלעס פון ריסערטשערז און פּאַרטיסאַפּאַנץ בלער. פֿאַר ישוז שייך צו ייַנטיילונג דאַטן בשעת פּראַטעקטינג פּאַרטיסיפּאַץ אין בירגער וויסנשאַפֿט פּראַדזשעקס, זען Bowser et al. (2014) . ביידע Purdam (2014) און Windt and Humphreys (2016) האָבן עטלעכע דיסקוסיע וועגן די עטישע ישוז אין פֿאַרשפּרייטן דאַטן זאַמלונג. צום סוף, רובֿ פּראַדזשעקס באַשטעטיקן קאַנטראַביושאַנז אָבער טאָן ניט געבן אָטערשיפּ קרעדיט צו פּאַרטיסאַפּאַנץ. אין פאָלדיט, די פאָלדיט תקליטור זענען אָפֿט ליסטעד ווי אַ מחבר (Cooper et al. 2010; Khatib et al. 2011) . אין אנדערע עפענען רופן פּראַדזשעקס, די ווינינג מיטארבעטער קענען אָפֿט שרייַבן אַ פּאַפּיר דיסקרייבינג זייער סאַלושאַנז (למשל, Bell, Koren, and Volinsky (2010) און Dieleman, Willett, and Dambre (2015) ). אין די גאַלאַקסי זאָאָלאָגישער גאָרטן משפּחה פון פּראַדזשעקס, גאָר אַקטיוו און וויכטיק מיטארבעטערס זענען מאל געבעטן צו זייַן קאָ-מחברים אויף צייטונגען. לעמאָשל, איוואן טערענטעוו און טים מאַטאָרני, צוויי ראַדיאָ גאַלאַקסי זאָאָלאָגישער גאָרטן פּאַרטיסאַפּאַנץ פון רוסלאַנד, זענען גלויבנס-מחברים אויף איין פון די צייטונגען אַז איז אויפֿגעשטאַנען פֿון אַז פּרויעקט (Banfield et al. 2016; Galaxy Zoo 2016) .