ተጨማሪ ሐተታ

ይህ ክፍል አንድ ትረካ ይነበባሉ ይልቅ, ማጣቀሻ ሆኖ ጥቅም ላይ የተቀየሰ ነው.

  • መግቢያ (ክፍል 5.1)

ጅምላ ትብብር ዜጋ ሳይንስ, ክራውድአውትሶርሲንግ, እና የጋራ የማሰብ ከ ሃሳቦችን ገጠመኝና. የዜጎች ሳይንስ ብዙውን ጊዜ "ዜጎች" ሳይንሳዊ ሂደት ላይ ነው (ማለትም, ያልሆኑ ሳይንቲስቶች) ጋር በተያያዘ ማለት ነው (Crain, Cooper, and Dickinson 2014) . ክራውድአውትሶርሲንግ አብዛኛውን ሕዝብ ጋር E ንቅስቃሴውን ይልቅ አብዛኛውን ጊዜ በአንድ ድርጅት ውስጥ መፍትሔ አንድ ችግር በመውሰድ እና ማለት ነው (Howe 2009) . የጋራ የማሰብ ብዙውን ጊዜ አስተዋይ የሚመስሉ መንገድ በጋራ እርምጃ ግለሰቦች ቡድኖች ማለት ነው (Malone and Bernstein 2015) . Nielsen (2012) ሳይንሳዊ ምርምር የጅምላ ትብብር ኃይል ወደ አስደናቂ መጽሐፍ-ርዝመት መግቢያ ነው.

እዚያም ሐሳብ ሦስት ምድቦች ውስጥ በጽዳት ጋር የማይገጣጠሙ ሰርቲፊኬቶች የጅምላ ትብብር ብዙ ዓይነት ነው; እኔም ስለ እነርሱ በሆነ ወቅት ላይ ማኅበራዊ ጥናት ላይ ጠቃሚ ሊሆን ይችላል ምክንያቱም ሦስት ልዩ ትኩረት መስጠት የሚገባን ይመስለኛል. አንድ ምሳሌ ተሳታፊዎች ለመግዛት የት የትንበያ ገበያዎች, እና በዓለም ላይ የሚከሰቱ ውጤት ላይ ሊቤዥ የተመሠረቱ ናቸው የንግድ ኮንትራት ነው (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . መተንበይ ገበያዎች ብዙውን ጊዜ ትንበያ ለ ድርጅቶች እና መንግስታት ጥቅም ላይ ናቸው, እና መተንበይ ገበያዎች ደግሞ ልቦና ውስጥ የታተሙ ጥናቶች replicability መተንበይ ማህበራዊ ተመራማሪዎች ጥቅም ላይ ውሏል (Dreber et al. 2015) .

የእኔ ምድብ ዘዴ ወደ በደንብ አይገጥምም ሁለተኛው ምሳሌ ተመራማሪዎች አዲስ የሂሳብ እርጉጦችለማስተካከል ለማረጋገጥ ብሎጎች እና ዊኪዎች በመጠቀም በመተባበር ቦታ PolyMath ፕሮጀክት ነው (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . ወደ PolyMath ፕሮጀክት Netflix ሽልማት ጋር ተመሳሳይ አንዳንድ መንገዶች ውስጥ ነው, ነገር ግን PolyMath ፕሮጀክት ተሳታፊዎች ውስጥ ይበልጥ በንቃት ሌሎች ከፊል መፍትሄ ላይ ሠራ.

የእኔ ምድብ ዘዴ ወደ በደንብ አይገጥምም ሦስተኛው ምሳሌ እንደ (ማለትም, ቀይ Balloon ፈተና) የመከላከያ የላቀ ምርምር ፕሮጀክቶች ኤጀንሲ (DARPA) የአውታረ መረብ ፈተና እንደ ጊዜ-ጥገኛ mobilizations ነው. እነዚህ ጊዜ ላይ ተጨማሪ ለማግኘት ስሱ mobilizations ተመልከት Pickard et al. (2011) , Tang et al. (2011) , እና Rutherford et al. (2013) .

  • የሰው ስሌት (ክፍል 5.2)

የሚለው ቃል "የሰው ስሌት" በኮምፒውተር ሳይንቲስቶች ያደረገውን ሥራ ይወጣል, እና የተመቸ ሊሆን እንደሚችል ችግሮች ውጭ ይምረጡ ችሎታ ያሻሽላል በዚህ ጥናት ጀርባ ያለውን ዐውደ-መረዳታችን. አንዳንድ ሥራዎችን ያህል, ኮምፒውተሮች እንኳ ሳይቀር እስከ ባለሙያ ሰዎች በማይበልጥ ችሎታዎች ጋር በሚያስደንቅ ሁኔታ ሃይለኛ ናቸው. ለምሳሌ ያህል, ቼዝ ውስጥ, ኮምፒውተሮች እንኳ የተሻለ ታላቅ ጌቶች ሊመታ ይችላል. ነገር ግን; ይህን ያነሰ መልካም ማህበራዊ አድናቆት ነው ሳይንቲስቶች-ሌሎች ተግባራት, ኮምፒውተሮች በእርግጥ ሰዎች ይልቅ እጅግ የከፋ ነው. በሌላ አነጋገር, አሁን ምስሎች, ቪዲዮ, ኦዲዮ እና ጽሑፍ ሂደት ጋር በተያያዘ አንዳንድ ሥራዎችን ላይ እንኳ በጣም የተራቀቀ ኮምፒዩተር በበለጠ የተሻሉ ናቸው. በመሆኑም-እንደ ድንቅ XKCD የምን ምሳሌ ነበር የካርቱን-በዚያ ሰዎች ኮምፒውተሮች ቀላል እና ከባድ የሆኑ ተግባሮች ናቸው, ነገር ግን ኮምፒውተሮች አስቸጋሪ ለሰዎች ቀላል የሆኑ ተግባራት (ምስል 5.13) ደግሞ አሉ. አስቸጋሪ-ኮምፒውተሮች-ቀላል-ለ-ሰብዓዊ ለ ተግባሮች, ስለዚህ, እነርሱ ኮምፒውቲሽናል ሂደት ውስጥ የሰው ሊያካትት ይችላል እንደሆነ ተገነዘብኩ እነዚህ ላይ እየሰራን የኮምፒውተር ሳይንቲስቶች. እዚህ ሉዊስ ቮን የሚኖር አን እንዴት ነው (2005) መጀመሪያ ይህ መመረቂያ ውስጥ የሚለውን ቃል የፈጠረው ጊዜ የሰው ስሌት ገልጾታል: ". አንድ ለሆነችው ኮምፒውተሮች እስካሁን መፍታት አይችልም ችግር ለመፍታት የሰው ሂደቱ ኃይል በመጠቀም ለ"

5.13 ስእል: አንዳንድ ተግባራት ያህል ኮምፒውተሮች አስገራሚ ናቸው, ሰብዓዊ ባለሙያዎች ችሎታ በማይበልጥ. ነገር ግን, ሌሎች ተግባራት, ተራ ሰዎች እንኳ ውስብስብ ኮምፒውተሮች ሥርዓቶችን outperform ይችላሉ. ኮምፒውተሮች አስቸጋሪ እና የሰው ቀላል የሆኑ ሥራዎችን ጋር የተያያዙ መጠነ ሰፊ ችግሮች የሰው ስሌት በደንብ-ተስማሚ ናቸው. እዚህ ላይ የተገለጸው ደንቦች መሰረት ጥቅም ላይ ውሏል: http://xkcd.com/license.html

5.13 ስእል: አንዳንድ ተግባራት ያህል ኮምፒውተሮች አስገራሚ ናቸው, ሰብዓዊ ባለሙያዎች ችሎታ በማይበልጥ. ነገር ግን, ሌሎች ተግባራት, ተራ ሰዎች እንኳ ውስብስብ ኮምፒውተሮች ሥርዓቶችን outperform ይችላሉ. ኮምፒውተሮች አስቸጋሪ እና የሰው ቀላል የሆኑ ሥራዎችን ጋር የተያያዙ መጠነ ሰፊ ችግሮች የሰው ስሌት በደንብ-ተስማሚ ናቸው. እዚህ ላይ የተገለጸው ደንቦች መሰረት ጥቅም ላይ ውሏል: http://xkcd.com/license.html

ይህ ትርጉም FoldIt-ይህም እኔ ክፍት ላይ ክፍል ውስጥ የተገለጸው በ ጥሪዎች-አልቻለም ሰው ስሌት ፕሮጀክት ይቆጠራል. ይሁን እንጂ, ይህ ልዩ ሙያ የሚጠይቅ ምክንያቱም እኔ ክፍት ጥሪ FoldIt ለመመደብ መምረጥ እና የተሻለ መፍትሔ መከፋፈል-ተግባራዊ-ማዋሃድ ስትራቴጂ በመጠቀም ይልቅ አስተዋጽኦ ይወስዳል.

የሰው ስሌት ግሩም መጽሐፍ ርዝመት ሕክምና ለማግኘት የሚለው ቃል እጅግ አጠቃላይ ስሜት ተመልከት Law and Ahn (2011) . ምዕራፍ 3 Law and Ahn (2011) በዚህ ምዕራፍ ውስጥ ሰዎች ይልቅ የበለጠ ውስብስብ ማዋሃድ እርምጃዎች በተመለከተ ሌላ ማራኪ ማብራሪያ አለው.

የሚለው ቃል 'ለሁለት ተከፈለ--ተግባራዊ ያዋህዳል »ይጠቀሙ ነበር Wickham (2011) እስታቲስቲካዊ ኮምፒውተር አጠቃቀም ስልት ለመግለጽ, ግን ፍጹም ብዙ የሰው ስሌት ፕሮጀክቶች ሂደት ይቀርጻል. ክፍፍሉ--ተግባራዊ ማዋሃድ ስትራቴጂ Google ላይ ልማት MapReduce ማዕቀፍ ጋር ተመሳሳይ ነው (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

እኔ ለመወያየት በቂ ቦታ አይኖራቸውም ነበር ሁለት ብልህ ሰብዓዊ ስሌት ፕሮጀክቶች በተለይም ጨዋታ ናቸው (Ahn and Dabbish 2004) እና reCAPTCHA (Ahn et al. 2008) . ከእነዚህ ፕሮጀክቶች መካከል ሁለቱም ምስሎች ላይ መለያዎች ለማቅረብ ተሳታፊዎች ልናበረታታቸው የፈጠራ መንገዶች አልተገኙም. ጋላክሲ Zoo በተለየ መልኩ, በ በተለይም ጨዋታ እና reCAPTCHA ውስጥ ተሳታፊዎች ውሂብ ጥቅም ላይ እየዋለ እንዴት እንደሆነ አላውቅም ነበር; ምክንያቱም ይሁን እንጂ ከእነዚህ ፕሮጀክቶች መካከል ሁለቱም ደግሞ ምግባር ጥያቄዎችን አስነስቷል (Lung 2012; Zittrain 2008) .

በ በተለይም ጨዋታ አነሳሽነት ብዙ ተመራማሪዎች ሌሎች "አንድ ዓላማ ጋር ጨዋታዎችን" ለማዳበር ሞክረዋል (Ahn and Dabbish 2008) (ማለትም, "በሰው ልጅ ላይ የተመሠረተ ስሌት ጨዋታዎች" (Pe-Than, Goh, and Lee 2015) ) ሊሆን ይችላል ሌሎች የተለያዩ ችግሮች ለመፍታት ነበር. እነዚህ "አንድ ዓላማ ጋር ጨዋታዎችን" የጋራ እነርሱ አስደሳች የሰው ስሌት ውስጥ ተሳታፊ ተግባሮች ለማድረግ መሞከር ነው. የ በተለይም ጨዋታ ጋላክሲ መካነ አራዊት ጋር ተመሳሳይ መከፋፈል-ተግባራዊ-ማዋሃድ መዋቅር ታካፍላለች ሳለ በመሆኑም ይህ ሳይንስ ለመርዳት ፍላጎት በተቃርኖ ተሳታፊዎች እንዴት ያነሳሳው-አስደሳች ውስጥ የተለየ ነው.

ጋላክሲ Zoo የእኔ መግለጫ ላይ የተመሰረተ ነው Nielsen (2012) , Adams (2012) , Clery (2011) , እና Hand (2010) , እና ጋላክሲ ዙ ላይ ምርምር ግቦች የእኔ አቀራረብ ቀላል ነበር. በ ፈለክ ውስጥ ጋላክሲ ምደባ ታሪክ እና ጋላክሲ ዙ በዚህ ወግ በመቀጠል ላይ ተጨማሪ ለማግኘት Masters (2012) እና Marshall, Lintott, and Fletcher (2015) . ጋላክሲ Zoo ላይ መገንባት, ተመራማሪዎቹ ፈቃደኛ ሠራተኞች ከ 60 ሚሊዮን በላይ ውስብስብ morphological አመዳደብ የተሰበሰበ ሲሆን ጋላክሲ ዙ 2 ተጠናቀቀ (Masters et al. 2011) . በተጨማሪም, እነርሱም: በጨረቃ ላይ ላዩን ማሰስ ፕላኔቶች ለመፈለግ, እና አሮጌ ሰነዶች መገልበጡን ጨምሮ ጋላክሲ ሞርፎሎጂ ውጪ ችግሮች ወደ ውጭ ቅርንጫፎች. በአሁኑ ጊዜ, ሁሉም ፕሮጀክቶች ላይ የሚሰበሰበው www.zooniverse.org (Cox et al. 2015) . ወደ አንዱ ፕሮጀክቶች-ቅጽበተ ጋላክሲ መካነ-ዓይነት ምስል ምደባ ፕሮጀክቶች ደግሞ የአካባቢ ምርምር ሊደረግ የሚችል ማስረጃ ሴሬንጌቲ-ያቀርባል (Swanson et al. 2016) .

ተመራማሪዎች የሰው ስሌት ፕሮጀክት ማይክሮ-ተግባር የሥራ ገበያ (ለምሳሌ, የአማዞን ሜካኒካል ቱርክ) ለመጠቀም ዕቅድ ለማግኘት Chandler, Paolacci, and Mueller (2013) እና Wang, Ipeirotis, and Provost (2015) ተግባር ንድፍ ​​እና ላይ ጥሩ ምክር ይሰጣሉ ሌሎች ተያያዥ ጉዳዮች.

እኔ ሁለተኛ ትውልድ የሰው ስሌት ስርዓት የጠሯቸውን ነገር ለመፍጠር ፍላጎት ተመራማሪዎች (ለምሳሌ, አንድ የማሽን መማሪያ ሞዴል ለማሰልጠን ሰብዓዊ መለያዎችን የሚጠቀሙ ሥርዓቶች) ፍላጎት ሊሆን ይችላል Shamir et al. (2014) እና (ድምጽ በመጠቀም አንድ ምሳሌ) Cheng and Bernstein (2015) . በተጨማሪም, እነዚህ ፕሮጀክቶች ተመራማሪዎች የሚበልጠው እየገመተ አፈጻጸም ጋር የማሽን መማሪያ ሞዴሎችን ለመፍጠር መወዳደር እያሰኘን የምናመልክበትን ክፍት ጥሪዎች ጋር ማድረግ ይቻላል. ለምሳሌ ያህል, ጋላክሲ መካነ ቡድን ክፍት ጥሪ ሮጦ የበለፀገ ሰው በአቻ አዲስ ዘዴ አገኘ Banerji et al. (2010) ; ማየት Dieleman, Willett, and Dambre (2015) ዝርዝር መረጃ ለማግኘት.

  • ክፍት ጥሪዎች (ክፍል 5.3)

ክፍት ጥሪዎች አዲስ አይደሉም. የብሪታንያ ፓርላማ በባሕር ላይ አንድ መርከብ የኬንትሮስ ለመወሰን መንገድ ማዳበር የሚችል ማንኛውም ሰው የ ኬንትሮስ ሽልማት ሲፈጥር እንዲያውም በጣም የታወቁ ክፍት ጥሪዎች አንዱ በ 1714 ወደ ኋላ ቀናት ይዘልቃል. ችግሩ አይዛክ ኒውተን ጨምሮ ዘመን, ስለ ታላላቅ ሳይንቲስቶች መካከል ብዙ እንደማይመለከትህ, እና አሸናፊ መፍትሔ ከጊዜ በሆነ ፈለክ ይጨምራል የሚያደርግ መፍትሔ ላይ ያተኮረ የነበሩ ሳይንቲስቶች በተለየ ችግሩን ቀረብ ሰዎች ከገጠር ወደ አንድ ቢጠናቀቅም የገቡ ነበር (Sobel 1996) . ይህ ምሳሌ እንደሚያሳየው, ክፍት ጥሪዎች በደንብ እንዲሰሩ ይታሰባል አንድ ምክንያት የተለያዩ አመለካከቶች እና ክህሎት ያላቸው ሰዎች መዳረሻ ማቅረብ ነው (Boudreau and Lakhani 2013) . ተመልከት Hong and Page (2004) እና Page (2008) ችግር አፈታት ላይ ልዩነት ዋጋ ላይ ተጨማሪ.

በዚህ ምዕራፍ ውስጥ ክፍት ጥሪ ጉዳዮች እያንዳንዱ በዚህ ምድብ ውስጥ ናትና ለምን እንደሆነ ተጨማሪ ማብራሪያ ትንሽ ይጠይቃል. በመጀመሪያ, እኔ የሰው ስሌት እና ክፍት ጥሪ ፕሮጀክቶች መካከል ያለውን ልዩነት አንዱ መንገድ ውጽዓት ሁሉ መፍትሔ በአማካይ (የሰው ስሌት) ወይም የተሻለ መፍትሄ (ክፍት ጥሪ) ነው ወይ የሚለው ነው. የተሻለ መፍትሔ ግለሰብ መፍትሔዎችን የተራቀቁ አማካይ ሆኖ ተገኘ ምክንያቱም Netflix ሽልማት በዚህ ረገድ በመጠኑ አስቸጋሪ ሥራ ነው, አንድ አንድ የባንዱ መፍትሔ ተብሎ ቀርቦ (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Netflix አንጻር, ይሁን እንጂ ምን ማድረግ ነበረባቸው ሁሉ የተሻለው መፍትሄ ይምረጡ ነበር.

ሁለተኛ, የሰው ስሌት አንዳንድ ትርጉሞች በማድረግ (ለምሳሌ, Von Ahn (2005) ), FoldIt የሰው ስሌት ፕሮጀክት ከግምት ውስጥ መግባት አለባቸው. ይሁን እንጂ, ይህ ልዩ ሙያ የሚጠይቅ ምክንያቱም እኔ ክፍት ጥሪ FoldIt ለመመደብ መምረጥ እና የተሻለ መፍትሔ ይልቅ አንድ መከፋፈል-ተግባራዊ-ማዋሃድ ዘዴ ከመጠቀም ይልቅ, አስተዋጽኦ ይወስዳል.

በመጨረሻም, አንድ ሰው በዚያ የአቻ-ወደ-እውቅና በመሰራጨት የውሂብ ስብስብ ምሳሌ ነው ሊከራከር ይችላል. እኔ አንድ ውድድር-እንደ መዋቅር ያለው ሲሆን (የተሰራጨ መረጃ አሰባሰብ ጋር, ጥሩ እና መጥፎ መዋጮ ሃሳብ ያነሰ ግልጽ ነው ግን) ብቻ ነው ምርጥ መዋጮ ጥቅም ላይ ምክንያቱም ክፍት ጥሪ ማካተት ይመርጣሉ.

በ Netflix ሽልማት ላይ ተጨማሪ ለማግኘት Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , እና Feuerverger, He, and Khatri (2012) . FoldIt ላይ ተጨማሪ ተመልከት: Cooper et al. (2010) , Andersen et al. (2012) , እና Khatib et al. (2011) ; FoldIt ያለኝ መግለጫ ውስጥ መግለጫዎች ላይ የተመሰረተ ነው Nielsen (2012) , Bohannon (2009) , እና Hand (2010) . የአቻ-ወደ-የፓተንት ላይ ተጨማሪ ለማግኘት Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , እና Noveck (2009) .

ውጤት ጋር ተመሳሳይ Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , ኒው ዮርክ ከተማ ውስጥ የመኖሪያ ቤት ተቆጣጣሪዎች ምርታማነት ላይ ምዕራፍ 10 ሪፖርቶች ትልቅ ረብ ፍተሻ ሊገመቱ ሞዴሎች የሚመሩ ከሆነ. በኒው ዮርክ ከተማ ላይ, እነዚህ ሊገመቱ ሞዴሎች ከተማ ሰራተኞች የተሰራ ነበር, ነገር ግን ሌሎች ጉዳዮች ላይ, አንድ ሰው ተፈጥረዋልና ወይም ክፍት ጥሪዎች ጋር ሊሻሻል ይችላል ብሎ ማሰብ ይችላል (ለምሳሌ, Glaeser et al. (2016) ). ይሁን እንጂ, ሊገመት የሚችል ሞዴሎች መደልደል ነው ጥቅም ላይ እየዋለ ጋር አንድ ዋና የሚያሳስበው ሞዴሎች ነባር አድሏዊነት ለማጠናከር የሚያስችል አቅም እንዳላቸው ነው. በርካታ ተመራማሪዎች ቀደም ", ቆሻሻ ውስጥ ቆሻሻ ወደ ውጭ" ማወቅ, እና እየገመተ ሞዴሎች ጋር ሊሆን ይችላል "ውስጥ በመድሎ, በመሠረተ ውጭ." ተመልከት Barocas and Selbst (2016) እና O'Neil (2016) ሠራ ሊገመቱ ሞዴሎች አደጋ ላይ ተጨማሪ የተዛቡ ሥልጠና ውሂብ ጋር.

ክፍት ውድድሮች ከመጠቀም መንግሥታት ለመከላከል ዘንድ አንድ ችግር ይህ የግላዊነት ጥሰት ሊያስከትል የሚችል ውሂብ መለቀቅ, የሚጠይቅ ነው. ክፍት ጥሪዎች በ ግላዊነት እና ውሂብ መለቀቅ ተጨማሪ ለማግኘት ይህንን ይመልከቱ Narayanan, Huey, and Felten (2016) እና ምዕራፍ 6 ላይ ውይይት.

  • የተሰራጨ ውሂብ ክምችት (ክፍል 5.4)

EBird የእኔ መግለጫ ውስጥ መግለጫዎች ላይ የተመሰረተ ነው Bhattacharjee (2005) እና Robbins (2013) . ተመራማሪዎች eBird ውሂብ ለመተንተን ስታትስቲካዊ እንዴት መጠቀም ላይ ተጨማሪ ተመልከት Hurlbert and Liang (2012) እና Fink et al. (2010) . Ornothology ውስጥ ዜጋ በሳይንስ ታሪክ ላይ ተጨማሪ ለማግኘት Greenwood (2007) .

የማላዊ መጽሄቶች ፕሮጀክት ላይ ተጨማሪ ለማግኘት Watkins and Swidler (2009) እና Kaler, Watkins, and Angotti (2015) . በደቡብ አፍሪካ ውስጥ አንድ ተዛማጅ ፕሮጀክት ላይ ተጨማሪ ተመልከት Angotti and Sennott (2015) . የማላዊ መጽሄቶች ፕሮጀክት ከ ምርምር በመጠቀም ውሂብ ተጨማሪ ምሳሌዎችን ለማግኘት ይህንን ይመልከቱ Kaler (2004) እና Angotti et al. (2014) .

  • የራስህን (ክፍል 5.5) መንደፍ

ንድፍ ምክር እንዲያቀርቡ የእኔ አቀራረብ ውጤታማ ምሳሌ ላይ የተመሠረተ, ተጋቦት ነበር; እኔም ስለ ሰማሁ መረጃንም ጅምላ የትብብር ፕሮጀክቶች አልተሳካም. ምርምር ዥረት, ለምሳሌ ያህል, የጅምላ የትብብር ፕሮጀክቶች ንድፍ ተገቢ ነው የመስመር ላይ ማህበረሰቦች መንደፍ ይበልጥ አጠቃላይ ማህበራዊ ልቦናዊ ጽንሰ ሐሳቦች ተግባራዊ ለማየት የሚሞክር አለ Kraut et al. (2012) .

ለተግባር ተሳታፊዎች በተመለከተ ሰዎች በጅምላ የትብብር ፕሮጀክቶች ውስጥ ለመሳተፍ በትክክል ለምን እንደሆነ ማወቅ በእርግጥ በጣም አስቸጋሪ ሥራ ነው (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . እርስዎ (ለምሳሌ, የአማዞን ሜካኒካል ቱርክ) አንድ ማይክሮ-ተግባር በሥራ ገበያ ላይ ክፍያ ጋር ተሳታፊዎች ለተግባር እቅድ ከሆነ Kittur et al. (2013) አንዳንድ ምክር ይሰጣል.

Zoouniverse ፕሮጀክቶች ወጥተው ያልተጠበቁ ግኝቶች ተጨማሪ ምሳሌዎችን ለማግኘት, የሚገርመው በማንቃት በተመለከተ ተመልከት Marshall, Lintott, and Fletcher (2015) .

ምግባር መሆን በተመለከተ ይጨምራል ጉዳዮች ላይ አንዳንድ ጥሩ አጠቃላይ መግቢያ ናቸው Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , እና Zittrain (2008) . በተለይ ብዙ ሠራተኞች ጋር ህጋዊ ጉዳዮች ጋር የተያያዙ ጉዳዮች, ተመልከት Felstiner (2011) . O'Connor (2013) ምርምር ምግባራዊ በበላይነት በተመለከተ ጥያቄዎች መልስ ተመራማሪዎች እና ተሳታፊዎች ሚና ለማደብዘዝ ጊዜ. ዜጋ ሳይንስ ፕሮጀክቶች ላይ participats ለመከላከል ሳለ ማጋራት ውሂብ ጋር የተያያዙ ጉዳዮች, ተመልከት Bowser et al. (2014) . ሁለቱም Purdam (2014) እና Windt and Humphreys (2016) የተሰራጨ ውሂብ ክምችት ውስጥ ምግባራዊ ጉዳዮች አንዳንድ ማብራሪያ አላቸው. በመጨረሻም, አብዛኞቹ ፕሮጀክቶች አስተዋጽኦ እውቅና ነገር ግን ተሳታፊዎች የደራሲነት ክሬዲት መስጠት አይደለም. Foldit ውስጥ Foldit ተጫዋቾች ብዙውን ጊዜ እንደ ጸኃፊ ተዘርዝረዋል (Cooper et al. 2010; Khatib et al. 2011) . በሌላ ክፍት ጥሪ ፕሮጀክቶች ላይ, በአሸናፊው አበርካች ብዙውን ጊዜ መፍትሄ የሚገልጽ ወረቀት መጻፍ ይችላሉ (ለምሳሌ, Bell, Koren, and Volinsky (2010) እና Dieleman, Willett, and Dambre (2015) ). ፕሮጀክቶች ጋላክሲ መካነ ቤተሰብ ውስጥ በጣም ንቁ እና ጠቃሚ አስተዋጽዖ አንዳንድ ወረቀቶች ላይ አብሮ ደራሲዎች እንዲሆኑ ተጋብዘዋል. ለምሳሌ ያህል, ኢቫን Terentev እና ጢሞ Matorny, ሩሲያ ከ ሁለት ሬዲዮ ጋላክሲ ዙ ተሳታፊዎች, ይህ ፕሮጀክት ተነሣ ዘንድ ጋዜጦች በአንዱ ላይ አብሮ ደራሲያን ነበሩ (Banfield et al. 2016; Galaxy Zoo 2016) .