5.3.1 Netflix сыйлығының

Netflix сыйлығының адам ұнайды, ол фильмдер болжау ашық қоңырау пайдаланады.

Ең танымал ашық қоңырау жобасы - Netflix сыйлығы. Netflix - онлайн фильмдерді жалға беру компаниясы, ал 2000 жылы ол Cinematch-ке клиенттерге фильмдерді ұсыну бойынша қызмет ұсынды. Мысалы, кинорежиссер Сізге Star Wars және The Empire Strikes Back-ді ұнататынын байқап, содан кейін Jedi-нің қайтаруын көруге кеңес береді. Бастапқыда, кинематограф нашар жұмыс істеді. Көптеген жылдар бойы ол клиенттердің қандай фильмдерден ләззат алатындығын болжау қабілетін жақсарта берді. Алайда, 2006 жылы кинематографтағы прогресс төңірегінде болды. Зерттеушілер Netflix-тегі барлық нәрселер туралы ойлануға тырысты, бірақ сонымен қатар, олардың жүйені жақсартуға көмектесетін басқа идеялар бар деп күдіктенді. Осылайша, олар сол кездегі түбегейлі шешімге келді: ашық шақыру.

Netflix сыйлығының табысты жетістігі үшін ашық қоңырау қалай жасалынды және бұл жобада әлеуметтік зерттеулер үшін ашық қоңыраулардың қалай пайдаланыла алатыны туралы маңызды сабақтар бар. Netflix идеяларға арналған құрылымдық емес сұранысты шығарып қана қойған жоқ, бұл көптеген адамдар алғаш рет ашық қоңырауды қарастырғанда елестетеді. Netflix қарапайым бағалау процедурасымен анық мәселе қойды: олар адамдарға 3 миллионға дейін бағаланған рейтингтерді болжау үшін 100 миллион кино рейтингісін қолдануға шақырды (пайдаланушылар Netflix шығарған рейтингтер). Кинематографқа қарағанда, 3 миллионға жуық рейтингтерді 10% -ға жақсартатын алгоритм құрудың бірінші адамы миллион долларға жетеді. Бағалау әдісін қолданудың айқын әрі қарапайым әдісі - болжамды рейтингтерді өткізілген бағалармен салыстыру - Netflix сыйлығы генерациядан гөрі қарапайым тексеру оңай болғандығын білдіреді; ол кинематографты ашық қоңырау үшін қолайлы проблемаға айналдыру мәселесін шешті.

2006 жылдың қазан айында Netflix компаниясы шамамен 500 000 тұтынушыдан 100 миллион кино рейтингі бар деректер жиынтығын шығарды (біз 6-тарауда осы деректерді жариялаудың құпиялылық салдарын қарастырамыз). Netflix деректері 20 000 фильм бойынша шамамен 500 000 клиент болып табылатын үлкен матрица ретінде тұжырымдалады. Осы матрицаның шегінде бір-бес жұлдызға дейінгі ауқымда шамамен 100 миллион рейтинг бар (5.2-кесте). Мәселе матрицада бақыланған деректерді 3 миллион өткізілген бағалауларды болжау үшін қолданды.

5.2-кесте: Netflix сыйлығының деректерінің схемасы
Фильм 1 Фильм 2 Фильм 3 ... 20 000 фильм
Клиент 1 2 5 ... ?
Клиент 2 2 ? ... 3
Клиент 3 ? 2 ...
\(\vdots\) \(\vdots\) \(\vdots\) \(\vdots\) \(\vdots\)
Клиент 500,000 ? 2 ... 1

Әлемдегі зерттеушілер мен хакерлердің барлығы осы мәселені шешу үшін 2008 жылы 30 мыңнан астам адам жұмыс істеді (Thompson 2008) . Байқау барысында Netflix компаниясы 5000 астам командадан ұсынылған 40 000 астам ұсынысты қабылдады (Netflix 2009) . Әрине, Netflix осы ұсынылған шешімдердің барлығын оқып, түсінбеді. Дегенмен, бәрі біртіндеп жүгіріп келді, өйткені шешімдер оңай. Netflix болжамды рейтингтерді алдын-ала анықталған метриканы пайдалана отырып, өткізілген рейтингтермен салыстыру үшін компьютерге ие болуы мүмкін (қолданылған метрика орташа квадрат қателіктің квадрат түбірі болған). Бұл Netflix-ке барлық шешімдерді қабылдауға мүмкіндік беретін шешімдерді жылдам бағалауға мүмкіндік болды, бұл маңызды болып шықты, себебі жақсы идеялар таңғаларлық жерлерден келді. Шындығында, жеңімпаз шешімді ұсынған үш зерттеушіден бастаған команда ұсынды, оларда киноны ұсыныс жүйелерін (Bell, Koren, and Volinsky 2010) құру тәжірибесі болмады.

Netflix сыйлығының бір тамаша аспектісі барлық ұсынылған шешімдерді әділ бағалауға мүмкіндік берді. Яғни, адамдар болжамды рейтингтерді қотарған кезде, олардың академиялық мандатын, жасын, нәсілін, жынысын, жыныстық ориентациясын немесе өздері туралы қандай да бір нәрсені жүктеудің қажеті жоқ еді. Стэнфордтан танымал профессордың болжамды бағалары, дәл сол сияқты, жасөспірімнің жатын бөлмесіндегідей болғаны сияқты. Өкінішке орай, бұл көптеген әлеуметтік зерттеулерде дұрыс емес. Яғни көптеген әлеуметтік зерттеулер үшін бағалау өте көп уақытты талап етеді және ішінара субъективті. Мәселен, зерттеу идеясының көпшілігі ешқашан байыпты бағаланбайды және идеялар бағаланған кезде, идеяларды жасаушылардан бұл бағалауды ажырату қиын. Екінші жағынан, қоңырау шоты бойынша ашық жобалар ашық және қарапайым бағалауға мүмкіндік береді, осылайша олар басқаша қабылданбайтын идеяларды табады.

Мысалы, Netflix сыйлығының бір кезеңінде экранның аты Simon Funk өзінің блогында сингулярлық құнды ыдырауға негізделген ұсынылған шешімді, басқа қатысушылармен бұрын пайдаланылмаған сызықтық алгебрадан тұратын, ұсынды. Funk блогының жұмысы бір уақытта техникалық және елеусіз бейресми болды. Бұл блог жазбасы жақсы шешімді сипаттады ма, әлде уақыт жоғалтты ма? Ашық қоңырау жобасы тыс шешім ешқашан елеулі баға алды. Өйткені Simon Funk MIT-те профессор емес еді; ол Жаңа Зеландияда (Piatetsky 2007) айналасында (Piatetsky 2007) айналысатын бағдарламалық жасақтама әзірлеушісі болды. Егер ол осы идеяны Netflix-ге инженерге жіберсе, ол, әрине, оқылмаған еді.

Бақытымызға орай, бағалау критерийлері айқын әрі оңай болғандықтан, оның болжамды рейтингтері бағаланды және оның көзқарасы өте күшті екендігі анық болды: ол бәсекелестікте төртінші орынға көтеріліп, басқа командалар қазірдің өзінде мәселе бойынша бірнеше ай жұмыс істеді. Ақыр соңында, оның көзқарастарының бір бөлігін барлық қарсыластар қолданды (Bell, Koren, and Volinsky 2010) .

Саймон Фанк өзінің құпияны сақтауға тырысқанмен емес, өзінің көзқарасын түсіндіретін блог жазбасын жазуды таңдағаны, Netflix сыйлығының көптеген қатысушылары миллион долларлық сыйлығымен ғана ерекшеленбейтінін көрсетеді. Керісінше, көптеген қатысушылардың ақылға қонымды міндет және қауымдастық проблемасы айналасында дамыған көрінеді (Thompson 2008) , мен көптеген зерттеушілер түсінетін сезімдер.

Netflix сыйлығы - ашық қоңыраудың классикалық үлгісі. Netflix белгілі бір мақсатпен (фильм рейтингін болжамдау) сұрақ қойып, көптеген адамдардан шешімдер қабылдады. Netflix барлық шешімдерді бағалауға мүмкіндік алды, өйткені олар жасаудан гөрі қарапайым болды, және түптің түбінде Netflix ең жақсы шешімді таңдады. Содан кейін сізге осы көзқарасты биология мен заңнамада және миллион долларлық сыйлықсыз қалай қолдануға болатынын көрсетемін.