5.3.1 Prix Netflix

Le Prix Netflix utilise appel ouvert pour prédire quels films les gens aimeront.

Le projet d'appel ouvert le plus connu est le prix Netflix. Netflix est une société de location de films en ligne et, en 2000, elle a lancé Cinematch, un service de recommandation de films aux clients. Par exemple, Cinematch peut remarquer que vous avez aimé Star Wars et The Empire Strikes Back , puis vous recommande de regarder Return of the Jedi . Initialement, Cinematch a mal travaillé. Mais, au cours de nombreuses années, il a continué à améliorer sa capacité à prédire quels films les clients apprécieraient. En 2006, cependant, les progrès sur Cinematch avaient atteint un plateau. Les chercheurs de Netflix avaient essayé à peu près tout ce qu'ils pouvaient penser, mais, en même temps, ils soupçonnaient qu'il y avait d'autres idées qui pourraient les aider à améliorer leur système. Ainsi, ils ont trouvé ce qui était, à l'époque, une solution radicale: un appel ouvert.

Le mode de fonctionnement de l'appel ouvert a été déterminant pour le succès éventuel du Prix Netflix, et cette conception a d'importantes leçons sur la façon dont les appels ouverts peuvent être utilisés pour la recherche sociale. Netflix ne s'est pas contenté de lancer une demande d'idées non structurée, ce que beaucoup de gens imaginent lorsqu'ils envisagent un appel ouvert. Plutôt, Netflix a posé un problème clair avec une procédure d'évaluation simple: ils ont mis au défi les gens d'utiliser un ensemble de 100 millions de classements de films pour prédire 3 millions de notes bloquées (évaluations que les utilisateurs avaient faites mais que Netflix n'a pas publiées). La première personne à avoir créé un algorithme qui a prédit que les 3 millions de classements bloqués 10% de mieux que Cinematch gagnerait un million de dollars. Cette procédure d'évaluation claire et facile à appliquer - comparant les notes prédites avec les notes en attente - signifiait que le Prix Netflix était conçu de telle sorte que les solutions étaient plus faciles à vérifier qu'à générer; il a transformé le défi d'améliorer Cinematch en un problème approprié pour un appel ouvert.

En octobre 2006, Netflix a publié un ensemble de données contenant 100 millions de classements de films provenant d'environ 500 000 clients (nous examinerons les implications sur la vie privée de cette publication de données au chapitre 6). Les données Netflix peuvent être conceptualisées comme une énorme matrice qui compte environ 500 000 clients et 20 000 films. Dans cette matrice, il y avait environ 100 millions de notes sur une échelle de une à cinq étoiles (tableau 5.2). Le défi consistait à utiliser les données observées dans la matrice pour prédire les 3 millions d'évaluations en attente.

Les chercheurs et les hackers du monde entier ont été attirés par le défi et, en 2008, plus de 30 000 personnes y travaillaient (Thompson 2008) . Au cours du concours, Netflix a reçu plus de 40 000 solutions proposées par plus de 5 000 équipes (Netflix 2009) . Évidemment, Netflix ne pouvait pas lire et comprendre toutes ces solutions proposées. Le tout s'est bien déroulé, cependant, parce que les solutions étaient faciles à vérifier. Netflix pourrait simplement faire comparer par un ordinateur les évaluations prédites aux cotes retenues en utilisant une mesure prédéfinie (la mesure particulière utilisée était la racine carrée de l'erreur quadratique moyenne). C'est cette capacité à évaluer rapidement les solutions qui ont permis à Netflix d'accepter des solutions de tout le monde, ce qui s'est avéré important parce que les bonnes idées venaient de certains endroits surprenants. En fait, la solution gagnante a été soumise par une équipe formée de trois chercheurs qui n'avaient aucune expérience dans la création de systèmes de recommandation de films (Bell, Koren, and Volinsky 2010) .

Un aspect intéressant du prix Netflix est qu'il a permis d'évaluer toutes les solutions proposées de manière équitable. Autrement dit, lorsque les utilisateurs ont téléchargé leurs évaluations prédites, ils n'avaient pas besoin de télécharger leurs diplômes, leur âge, leur race, leur sexe, leur orientation sexuelle ou quoi que ce soit à leur sujet. Les notes prédites d'un professeur célèbre de Stanford ont été traitées exactement les mêmes que celles d'un adolescent dans sa chambre. Malheureusement, ce n'est pas vrai dans la plupart des recherches sociales. Autrement dit, pour la plupart des recherches sociales, l'évaluation prend beaucoup de temps et est partiellement subjective. Ainsi, la plupart des idées de recherche ne sont jamais sérieusement évaluées, et quand les idées sont évaluées, il est difficile de détacher ces évaluations du créateur des idées. D'un autre côté, les projets d'appels ouverts ont une évaluation facile et équitable, ce qui leur permet de découvrir des idées qui seraient manquées autrement.

Par exemple, à un moment du Prix Netflix, quelqu'un avec le pseudonyme Simon Funk a posté sur son blog une solution proposée basée sur une décomposition de valeur singulière, une approche de l'algèbre linéaire qui n'avait pas été utilisée auparavant par d'autres participants. Le blog de Funk était à la fois technique et étrangement informel. Ce billet décrivait-il une bonne solution ou était-ce une perte de temps? En dehors d'un projet d'appel ouvert, la solution n'a peut-être jamais reçu d'évaluation sérieuse. Après tout, Simon Funk n'était pas professeur au MIT; il était un développeur de logiciels qui, à l'époque, faisait de la randonnée autour de la Nouvelle-Zélande (Piatetsky 2007) . S'il avait envoyé cette idée par courriel à un ingénieur de Netflix, elle n'aurait certainement pas été lue.

Heureusement, parce que les critères d'évaluation étaient clairs et faciles à appliquer, ses évaluations prédites ont été évaluées, et il a été immédiatement clair que son approche était très puissante: il a grimpé à la quatrième place de la compétition, un résultat énorme étant donné que travailler pendant des mois sur le problème. En fin de compte, des parties de son approche ont été utilisées par pratiquement tous les concurrents sérieux (Bell, Koren, and Volinsky 2010) .

Le fait que Simon Funk ait choisi d'écrire un billet expliquant son approche, plutôt que d'essayer de le garder secret, montre également que de nombreux participants au Prix Netflix n'étaient pas exclusivement motivés par le prix d'un million de dollars. Plutôt, de nombreux participants semblaient également apprécier le défi intellectuel et la communauté qui s'est développée autour du problème (Thompson 2008) , des sentiments que je pense que de nombreux chercheurs peuvent comprendre.

Le prix Netflix est un exemple classique d'appel ouvert. Netflix a posé une question avec un objectif spécifique (prédire les classements de films) et a sollicité des solutions auprès de nombreuses personnes. Netflix a pu évaluer toutes ces solutions car elles étaient plus faciles à vérifier qu'à créer et Netflix a finalement choisi la meilleure solution. Ensuite, je vais vous montrer comment cette même approche peut être utilisée en biologie et en droit, et sans un prix d'un million de dollars.