5.3.1 "Netflix" premijos

Netflix premija naudoja atvirą kvietimą nuspėti, kurios filmus žmonės patinka.

Labiausiai žinomas atviras kvietimas projektas yra "Netflix" premija. "Netflix yra internetinė filmas nuomos kompanija, o 2000 metais ji pradėjo Cinematch, paslaugą rekomenduoti filmus klientams. Pavyzdžiui, Cinematch pastebėsite, kad jums patiko Star Wars ir imperijos Strikes Back, tada rekomenduojame, kad jūs žiūrėti grąžinimas Jedi. Iš pradžių Cinematch dirbo prastai. Tačiau per daugelį metų, Cinematch toliau tobulinti savo gebėjimą nuspėti kas Filmai klientai galėtų naudotis. Iki 2006 m, tačiau, pažanga Cinematch nedidinami. Bent Netflix mokslininkai bandė beveik viską, ką jie gali galvoti, bet tuo pačiu metu, jie įtaria, kad buvo ir kitų idėjų, kurios gali padėti jiems pagerinti savo sistemą. Taigi, jie atėjo su, kas buvo tuo metu, radikaliai sprendimą: atvirą pokalbį.

Kritinis į galimą sėkmę Netflix premijos buvo kaip atviras kvietimas buvo sukurtas ir šis projektas turi daug ko pasimokyti, kaip atviras skambučiai gali būti naudojamas socialiniuose tyrimuose. "Netflix" buvo ne tik irtis nenuosekliai prašymą idėjų, o tai, ką daugelis žmonių įsivaizduoti, kai jie pirmą kartą apsvarstyti atvirą pokalbį. Atvirkščiai, "Netflix" kelia aiškią problemą su paprasta vertinimo kriterijus: jie ginčijo žmones naudoti 100 mln kino reitinguose rinkinį prognozuoti 3 mln laikomų iš reitingus (reitingų kad vartotojai buvo pagaminti bet Netflix "nebuvo išleisti). Kiekvienas, kuris gali sukurti algoritmą, kuris gali prognozuoti 3 mln laikomų iš reitingus 10% geriau nei Cinematch laimės 1 milijoną dolerių. Tai aišku ir lengva taikyti vertinimo kriterijus-lyginant prognozuojamas reitingus laikomų iš reitingais reiškia, kad "Netflix" premija buvo suformuluotas taip, kad sprendimai yra lengviau patikrinti, nei kurti; paaiškėjo, kad svarbu gerinti Cinematch į problemą tinka atvirą kvietimą iššūkis.

Spalio 2006, "Netflix" išleido rinkinį, kuriame yra 100 mln filmų reitingus nuo maždaug apie 500.000 klientų (mes apsvarstyti pasekmes šio duomenų išleidimo privatumo 6 skyriuje). Netflix duomenys gali būti suvokiami kaip didžiulis matricoje, kuri yra maždaug 500.000 klientų 20000 filmus. Šioje matricoje, ten buvo apie 100 mln įvertinimą skalėje nuo 1 iki 5 žvaigždučių (5.2 lentelė). Iššūkis buvo naudoti pastebėtus duomenis matricos prognozuoti 3 mln laikomų iš reitingus.

Mokslininkai ir įsilaužėlių visame pasaulyje buvo atkreipiamas į iššūkį, o iki 2008 m daugiau nei 30.000 žmonių buvo su juo dirbti (Thompson 2008) . Per konkurso žinoma, "Netflix" gavo daugiau nei 40.000 siūlomus sprendimus iš daugiau nei 5000 komandų (Netflix 2009) . Akivaizdu, kad "Netflix" negalėjo perskaityti ir suprasti visus šiuos siūlomus sprendimus. Visa tai vyko sklandžiai, tačiau, nes sprendimai buvo lengva patikrinti. "Netflix" gali tiesiog turėti kompiuterį palyginti prognozuojamas reitingus į laikomų iš reitingais iš anksto nustatyta metrinė (konkretaus metrikos jie buvo naudojamas kvadratinė šaknis iš vidutinio kvadrato klaida). Būtent šis gebėjimas greitai įvertinti sprendimų, kurie leido Netflix priimti sprendimus iš visų, kuris pasirodė esąs svarbus, nes geros idėjos atėjo iš kai kurių netikėtų vietų. Tiesą sakant, laimėti sprendimas buvo pateiktas komandoje prasidejo trijų mokslininkų, kurie turėjo jokių išankstinių kūrimo patirtį filmas rekomendacija sistemas (Bell, Koren, and Volinsky 2010) .

Vienas gražus aspektas Netflix premijos yra tai, kad ji leido kiekvienas pasaulyje turėti jų sprendimas vertinamas gana. Kai žmonės savo darytas prognozuojamas reitingus, jie nereikėjo įkelti savo akademinius raštus, amžių, rasę, lytį, seksualinę orientaciją, arba nieko apie save. Taigi, prognozuojama reitingai garsaus profesoriaus Stanfordo buvo gydomi lygiai tas pats, kaip ir iš savo miegamajame paauglys. Deja, tai nėra tiesa daugumoje socialinių tyrimų. Tai yra, dauguma socialinių tyrimų, vertinimas yra labai daug laiko ir iš dalies subjektyvus. Taigi, dauguma tyrimų idėjų niekada rimtai vertinami, ir kai idėjos yra vertinamos, sunku atskirti tuos vertinimus nuo idėjų kūrėjas. Nes sprendimai yra lengva patikrinti, kvietimai leidžia mokslininkams prieigą prie visų potencialiai nuostabių sprendimų, kurie būtų patenka per plyšius, jei jie tik laikyti sprendimus iš garsiausių profesorių.

Pavyzdžiui, vienu metu per "Netflix" premijos kažkas su slapyvardį Simonas Funk parašė savo dienoraštyje siūlomą sprendimą remiantis vienaskaitos vertės skilimo, požiūris iš tiesinės algebros, kad nebuvo naudojama anksčiau kitų dalyvių. Funk anketa dienoraštyje buvo vienu metu techninį ir keistai neformalus. Buvo šio dienoraščio Įrašas apibūdinant gerą sprendimą ar tai buvo laiko švaistymas? Už atvirą kvietimą projekto, tirpalas gali niekada gavo rimtą vertinimą. Juk Simonas Funk nebuvo Cal Tech ar MIT profesorius; jis buvo programinės įrangos kūrėjas, kuris tuo metu buvo turistinius aplink Naujoji Zelandija (Piatetsky 2007) . Jei jis elektroniniu paštu šią idėją į ne Netflix inžinierius, jis beveik neabejotinai nebūtų imtasi rimtai.

Laimei, nes vertinimo kriterijai buvo aiškūs ir lengvai taikyti, buvo įvertintos jo prognozuojama reitingai, ir tai buvo iš karto aišku, kad jo požiūris buvo labai galingas: jis šovė į ketvirtą vietą konkurse, didžiulis rezultatas turint omenyje, kad kitos komandos jau buvo darbo mėnesius nuo problemos. Galų gale, dalys Simono Funk požiūris buvo naudojami beveik visiems rimtų konkurentų (Bell, Koren, and Volinsky 2010) .

Tas faktas, kad Simonas Funk pasirinko parašyti dienoraštyje paaiškinti savo požiūrį, o ne bandyti jį laikyti paslaptis, taip pat rodo, kad daugelis dalyvių Netflix premijos nebuvo motyvuotas tik milijonų dolerių prizą. Atvirkščiai, daugelis dalyvių taip pat atrodė, kad patinka intelektualinį iššūkį ir bendruomenę, kuri plėtojama aplink problemos (Thompson 2008) , jausmai, kad tikiuosi daug mokslininkai gali suprasti.

Netflix premija yra klasikinis pavyzdys, atvirą kvietimą. "Netflix" kelia klausimą su konkretaus tikslo (prognozuoti filmų reitingus) ir prašyta sprendimus iš daugelio žmonių. "Netflix" galėjo įvertinti visus šiuos sprendimus, nes jie buvo lengviau patikrinti, nei kurti, ir galiausiai "Netflix" pakėlė geriausią sprendimą. Be to, aš jums parodysiu, kaip tai pats metodas gali būti naudojamas biologijos ir teisę.