5.3.1 Netflix ਪੁਰਸਕਾਰ

Netflix ਪੁਰਸਕਾਰ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣਾ ਹੈ, ਜੋ ਕਿ ਫਿਲਮ ਦੇ ਲੋਕ ਪਸੰਦ ਕਰੇਗਾ ਖੁੱਲ੍ਹੇ ਕਾਲ ਵਰਤਦਾ ਹੈ.

ਸਭਤੋਂ ਚੰਗੀ ਜਾਣਿਆ ਓਪਨ ਕਾਲ ਪ੍ਰੋਜੈਕਟ ਹੈ ਨੈੱਟਫਿਲਕਸ ਇਨਾਮ Netflix ਇੱਕ ਆਨਲਾਈਨ ਫਿਲਮ ਰੈਂਟਲ ਕੰਪਨੀ ਹੈ, ਅਤੇ 2000 ਵਿੱਚ ਇਸਨੇ ਸਿਨੇਮੈਚ ਦੀ ਸ਼ੁਰੂਆਤ ਕੀਤੀ, ਜੋ ਗਾਹਕਾਂ ਨੂੰ ਫਿਲਮਾਂ ਦੀ ਸਿਫਾਰਸ਼ ਕਰਨ ਲਈ ਇੱਕ ਸੇਵਾ ਹੈ. ਉਦਾਹਰਨ ਲਈ, ਸਿਨਮੈਚ ਤੁਹਾਨੂੰ ਨੋਟ ਕਰ ਸਕਦਾ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਸਟਾਰ ਵਾਰਜ਼ ਅਤੇ ਦ ਸਾਮਰਾਜ ਹੜਤਾਲਾਂ ਦੀ ਪਸੰਦ ਹੈ ਅਤੇ ਫਿਰ ਤੁਸੀਂ ਸਿਫਾਰਸ਼ ਕਰਦੇ ਹੋ ਕਿ ਤੁਸੀਂ ਜੇਡੀ ਦੀ ਰਿਟਰਨ ਦੇਖੋ. ਸ਼ੁਰੂ ਵਿਚ, ਸਿਨੇਮੈਚ ਨੇ ਮਾੜੀ ਕੰਮ ਕੀਤਾ ਪਰ, ਕਈ ਸਾਲਾਂ ਦੇ ਦੌਰਾਨ, ਇਹ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਦੀ ਸਮਰੱਥਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨਾ ਜਾਰੀ ਰੱਖਿਆ ਕਿ ਕਿਹੜੇ ਫਿਲਮਾਂ ਗਾਹਕ ਪਸੰਦ ਕਰਨਗੇ. 2006 ਤਕ, ਸਿਨੇਮੈਚ ਦੀ ਤਰੱਕੀ 'ਤੇ ਤਰੱਕੀ ਹੋਈ ਸੀ. ਨੈੱਟਫਿਲਕਸ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਉਹ ਸਭ ਕੁਝ ਲਿਆ ਜੋ ਉਹ ਸੋਚ ਸਕਦੇ ਸਨ, ਪਰ ਉਸੇ ਸਮੇਂ ਉਨ੍ਹਾਂ ਨੂੰ ਸ਼ੱਕ ਸੀ ਕਿ ਅਜਿਹੇ ਹੋਰ ਵਿਚਾਰ ਸਨ ਜੋ ਉਨ੍ਹਾਂ ਨੂੰ ਆਪਣੇ ਸਿਸਟਮ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਵਿਚ ਸਹਾਇਤਾ ਕਰ ਸਕਦੇ ਹਨ. ਇਸ ਤਰ੍ਹਾਂ, ਉਹ ਉਸ ਸਮੇਂ ਦੇ ਨਾਲ ਆਏ ਸਨ, ਉਸ ਸਮੇਂ, ਇੱਕ ਰੈਡੀਕਲ ਹੱਲ: ਇੱਕ ਖੁੱਲ੍ਹਾ ਕਾਲ.

Netflix ਇਨਾਮ ਦੀ ਆਖ਼ਿਦ ਸਫਲਤਾ ਦੇ ਲਈ ਮਹੱਤਵਪੂਰਣ ਸੀ ਕਿ ਕਿਵੇਂ ਖੁੱਲ੍ਹਾ ਕਾਲ ਤਿਆਰ ਕੀਤੀ ਗਈ ਸੀ, ਅਤੇ ਇਸ ਡਿਜ਼ਾਇਨ ਵਿੱਚ ਮਹੱਤਵਪੂਰਣ ਸਬਕ ਹਨ ਕਿ ਸਮਾਜਿਕ ਖੋਜ ਲਈ ਓਪਨ ਕਾਲਾਂ ਕਿਵੇਂ ਵਰਤੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ. Netflix ਨੇ ਸਿਰਫ ਵਿਚਾਰਾਂ ਲਈ ਇੱਕ ਅਨਿਯਮਤ ਬੇਨਤੀ ਕੀਤੀ, ਜੋ ਕਿ ਬਹੁਤ ਸਾਰੇ ਲੋਕ ਕਲਪਨਾ ਕਰਦੇ ਹਨ ਜਦੋਂ ਉਹ ਪਹਿਲਾਂ ਇੱਕ ਖੁੱਲ੍ਹੀ ਕਾਲ ਤੇ ਵਿਚਾਰ ਕਰਦੇ ਹਨ. ਸਗੋਂ, Netflix ਨੇ ਇੱਕ ਸਧਾਰਣ ਮੁਲਾਂਕਣ ਪ੍ਰਕਿਰਿਆ ਦੇ ਨਾਲ ਇਕ ਸਪਸ਼ਟ ਸਮੱਸਿਆ ਖੜ੍ਹੀ ਕੀਤੀ: ਉਨ੍ਹਾਂ ਨੇ ਲੋਕਾਂ ਨੂੰ 100 ਮਿਲੀਅਨ ਫਿਲਮ ਰੇਟਿੰਗਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਦਾ ਇਸਤੇਮਾਲ ਕਰਨ ਲਈ 3 ਮਿਲੀਅਨ ਦੀ ਆਯੋਜਿਤ ਰੇਟਿੰਗ (ਅੰਕਾਂ ਦੀ ਰੇਟਿੰਗ, ਜੋ ਕਿ ਉਪਭੋਗਤਾ ਨੇ ਬਣਾ ਦਿੱਤਾ ਸੀ, ਪਰ Netflix ਰਿਲੀਜ ਨਹੀਂ ਸੀ) ਕਰਨ ਲਈ ਚੁਣੌਤੀ ਦਿੱਤੀ. ਇਕ ਐਲਗੋਰਿਥਮ ਬਣਾਉਣ ਵਾਲਾ ਪਹਿਲਾ ਵਿਅਕਤੀ ਜੋ ਸੀਨਮੇਚ ਨਾਲੋਂ 10% ਬਿਹਤਰ 3 ਮਿਲੀਅਨ ਆਸਪਾਸ ਰੇਟਿੰਗਾਂ ਦੀ ਪੂਰਵ ਅਨੁਮਾਨਾਂ ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਉਂਦਾ ਹੈ, ਉਹ ਇੱਕ ਮਿਲੀਅਨ ਡਾਲਰ ਜਿੱਤ ਜਾਵੇਗਾ. ਇਹ ਸਾਫ ਅਤੇ ਆਸਾਨ ਮੁਲਾਂਕਣ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਲਾਗੂ ਕਰਨਾ - ਆਯੋਜਤ ਰੇਟਿੰਗਾਂ ਨਾਲ ਪੂਰਵ ਅਨੁਮਾਨਾਂ ਦੀ ਤੁਲਨਾ ਕਰਨਾ - ਮਤਲਬ ਕਿ Netflix ਇਨਾਮ ਅਜਿਹੇ ਢੰਗ ਨਾਲ ਬਣਾਇਆ ਗਿਆ ਸੀ ਕਿ ਖਰਪਿਆਂ ਦੀ ਪੈਦਾਵਾਰ ਤੋਂ ਪਤਾ ਲਗਣਾ ਆਸਾਨ ਸੀ; ਇਸਨੇ ਸਿਨੇਮੈਚ ਨੂੰ ਇੱਕ ਖੁੱਲੀ ਕਾਲ ਲਈ ਢੁਕਵੀਂ ਸਮੱਸਿਆ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਦੀ ਚੁਣੌਤੀ ਨੂੰ ਬਦਲ ਦਿੱਤਾ.

ਅਕਤੂਬਰ 2006 ਵਿੱਚ, ਨੇਟਵਿਲਿਕਸ ਨੇ ਲਗਭਗ 500,000 ਗਾਹਕਾਂ ਤੋਂ 100 ਮਿਲੀਅਨ ਫਿਲਮ ਰੇਟਿੰਗਾਂ ਵਾਲੀ ਇੱਕ ਡਾਟਾਸਟਸ ਜਾਰੀ ਕੀਤੀ (ਅਸੀਂ ਅਧਿਆਇ 6 ਵਿੱਚ ਇਸ ਡੇਟਾ ਰੀਲੀਜ਼ ਦੇ ਗੋਪਨੀਯਤਾ ਪ੍ਰਭਾਵਾਂ ਤੇ ਵਿਚਾਰ ਕਰਾਂਗੇ) Netflix ਡਾਟਾ ਨੂੰ ਇੱਕ ਵਿਸ਼ਾਲ ਮੈਟ੍ਰਿਕਸ ਵਜੋਂ ਸੰਕਲਪਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਜੋ 20,000 ਫਿਲਮਾਂ ਦੁਆਰਾ ਲਗਪਗ 500,000 ਗਾਹਕ ਹੁੰਦੇ ਹਨ. ਇਸ ਮੈਟ੍ਰਿਕਸ ਦੇ ਅੰਦਰ, ਇੱਕ ਤੋਂ ਪੰਜ ਤਾਰਾ (ਟੇਬਲ 5.2) ਤੱਕ ਪੈਮਾਨੇ 'ਤੇ ਤਕਰੀਬਨ 100 ਮਿਲੀਅਨ ਰੇਟਿੰਗਸ ਸਨ. ਚੁਣੌਤੀ ਮੈਟ੍ਰਿਕਸ ਵਿੱਚ ਦੇਖੇ ਗਏ ਅੰਕੜਿਆਂ ਨੂੰ 30 ਲੱਖ ਆਯੋਜਿਤ ਰੇਟਿੰਗਾਂ ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਲਈ ਸੀ.

ਸਾਰਣੀ 5.2: ਨੈਟਫਿਲਕਸ ਇਨਾਮ ਤੋਂ ਡਾਟੇ ਦੇ ਯੋਜਨਾਬੱਧ
ਮੂਵੀ 1 ਮੂਵੀ 2 ਮੂਵੀ 3 ... ਫਿਲਮ 20,000
ਗਾਹਕ 1 2 5 ... ?
ਗਾਹਕ 2 2 ? ... 3
ਗਾਹਕ 3 ? 2 ...
\(\vdots\) \(\vdots\) \(\vdots\) \(\vdots\) \(\vdots\)
ਗਾਹਕ 500,000 ? 2 ... 1

ਦੁਨੀਆਂ ਭਰ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਅਤੇ ਹੈਕਰ ਚੁਣੌਤੀ ਲਈ ਖਿੱਚੇ ਗਏ ਸਨ, ਅਤੇ 2008 ਤਕ 30,000 ਤੋਂ ਵੱਧ ਲੋਕ ਇਸ 'ਤੇ ਕੰਮ ਕਰ ਰਹੇ ਸਨ (Thompson 2008) . ਮੁਕਾਬਲੇ ਦੇ ਦੌਰਾਨ, Netflix ਨੂੰ 5000 ਤੋਂ ਵੱਧ ਟੀਮਾਂ (Netflix 2009) ਤੋਂ 40,000 ਤੋਂ ਵੱਧ ਪ੍ਰਸਤਾਵਿਤ ਹੱਲ ਮਿਲ ਗਏ. ਸਪੱਸ਼ਟ ਹੈ ਕਿ, Netflix ਇਹਨਾਂ ਸਭ ਪ੍ਰਸਤਾਵਿਤ ਹੱਲਾਂ ਨੂੰ ਪੜ੍ਹ ਅਤੇ ਸਮਝ ਨਹੀਂ ਸਕਿਆ ਸਾਰੀ ਗੱਲ ਸੁਚਾਰੂ ਢੰਗ ਨਾਲ ਚਲਦੀ ਰਹੀ, ਹਾਲਾਂਕਿ, ਹੱਲ ਲੱਭਣਾ ਆਸਾਨ ਸੀ. Netflix ਇੱਕ ਕੰਪਿਊਟਰ ਨੂੰ ਪੂਰਵ ਨਿਰਧਾਰਿਤ ਰੇਟਿੰਗ ਦੇ ਨਾਲ ਅਨੁਮਾਨਤ ਰੇਟਿੰਗਾਂ ਦੀ ਤੁਲਨਾ ਪੂਰਵ ਪ੍ਰਭਾਸ਼ਿਤ ਮੀਟ੍ਰਿਕ ਦੀ ਵਰਤੋਂ ਨਾਲ ਕਰ ਸਕਦਾ ਹੈ (ਉਹ ਵਰਤੀ ਮੀਟਰਿਕ ਇਹ ਮਤਲਬ ਵਰਤੀ ਗਈ ਗਲਤੀ ਦਾ ਸਮਰੂਪ ਰੂਮ ਸੀ). ਇਹ ਹੱਲਾਸ਼ੇਰੀ ਦੀ ਆਸਾਨੀ ਨਾਲ ਮੁਲਾਂਕਣ ਕਰਨ ਦੀ ਕਾਬਲੀਅਤ ਸੀ ਜਿਸ ਨਾਲ ਨੇਟਫ਼ਿਲਕਸ ਹਰ ਕਿਸੇ ਦੇ ਹੱਲਾਂ ਨੂੰ ਸਵੀਕਾਰ ਕਰ ਸਕੇ, ਜੋ ਮਹੱਤਵਪੂਰਨ ਸਾਬਤ ਹੋ ਗਿਆ ਕਿਉਂਕਿ ਚੰਗੇ ਸੁਝਾਅ ਕੁਝ ਹੈਰਾਨ ਕਰਨ ਵਾਲੀਆਂ ਥਾਵਾਂ ਤੋਂ ਆਏ ਸਨ. ਵਾਸਤਵ ਵਿੱਚ, ਤਿੰਨ ਖੋਜਕਰਤਾਵਾਂ ਦੁਆਰਾ ਸ਼ੁਰੂ ਕੀਤੀ ਗਈ ਟੀਮ ਦੁਆਰਾ ਜਿੱਤਣ ਦਾ ਹੱਲ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ ਸੀ, ਜਿਨ੍ਹਾਂ ਕੋਲ ਪਹਿਲਾਂ ਕੋਈ ਅਨੁਭਵ ਬਣਾਉਣ ਵਾਲੀ ਫਿਲਮ ਸਿਫਾਰਸ਼ ਪ੍ਰਣਾਲੀ ਨਹੀਂ ਸੀ (Bell, Koren, and Volinsky 2010) .

Netflix ਇਨਾਮ ਦਾ ਇੱਕ ਸੁੰਦਰ ਪੱਖ ਇਹ ਹੈ ਕਿ ਇਸ ਨੇ ਸਾਰੇ ਪ੍ਰਸਤਾਵਿਤ ਹੱਲਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਯੋਗ ਕੀਤਾ ਹੈ. ਭਾਵ, ਜਦੋਂ ਲੋਕ ਆਪਣੀ ਪੂਰਵ-ਅਨੁਮਾਨਤ ਰੇਟਿੰਗਾਂ ਨੂੰ ਅਪਲੋਡ ਕਰਦੇ ਹਨ, ਉਨ੍ਹਾਂ ਨੂੰ ਆਪਣੇ ਵਿਦਿਅਕ ਪ੍ਰਮਾਣ-ਪੱਤਰ, ਉਹਨਾਂ ਦੀ ਉਮਰ, ਨਸਲ, ਲਿੰਗ, ਜਿਨਸੀ ਝੁਕਾਅ ਜਾਂ ਆਪਣੇ ਬਾਰੇ ਕੁਝ ਵੀ ਅਪਲੋਡ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਨਹੀਂ ਹੁੰਦੀ. ਸਟੈਨਫੋਰਡ ਦੇ ਮਸ਼ਹੂਰ ਪ੍ਰੋਫੈਸਰ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕੀਤੀ ਗਈ ਰੇਟਿੰਗ ਬਿਲਕੁਲ ਉਸੇ ਤਰ੍ਹਾਂ ਕੀਤੀ ਗਈ ਸੀ ਜਿਵੇਂ ਕਿ ਉਸ ਦੇ ਬੈਡਰੂਮ ਵਿੱਚ ਕਿਸ਼ੋਰ ਤੋਂ ਬਦਕਿਸਮਤੀ ਨਾਲ, ਇਹ ਜ਼ਿਆਦਾਤਰ ਸਮਾਜਿਕ ਖੋਜਾਂ ਵਿੱਚ ਸੱਚ ਨਹੀਂ ਹੈ ਇਹ ਹੈ ਕਿ ਜ਼ਿਆਦਾਤਰ ਸਮਾਜਿਕ ਖੋਜ ਲਈ, ਮੁਲਾਂਕਣ ਬਹੁਤ ਸਮਾਂ ਖਪਤ ਹੁੰਦਾ ਹੈ ਅਤੇ ਅੰਸ਼ਕ ਤੌਰ ਤੇ ਵਿਅਕਤੀਗਤ ਹੁੰਦਾ ਹੈ. ਇਸ ਲਈ, ਜ਼ਿਆਦਾਤਰ ਖੋਜ ਵਿਚਾਰਾਂ ਦਾ ਕਦੇ ਗੰਭੀਰਤਾ ਨਾਲ ਮੁਲਾਂਕਣ ਨਹੀਂ ਕੀਤਾ ਜਾਂਦਾ ਅਤੇ ਜਦੋਂ ਵਿਚਾਰਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਤਾਂ ਵਿਚਾਰਾਂ ਦੇ ਨਿਰਮਾਤਾ ਤੋਂ ਉਨ੍ਹਾਂ ਮੁਲਾਂਕਣਾਂ ਨੂੰ ਵੱਖ ਕਰਨਾ ਔਖਾ ਹੁੰਦਾ ਹੈ. ਓਪਨ ਕਾਲ ਪ੍ਰਾਜੈਕਟ, ਦੂਜੇ ਪਾਸੇ, ਕੋਲ ਆਸਾਨ ਅਤੇ ਨਿਰਪੱਖ ਮੁਲਾਂਕਣ ਹੁੰਦਾ ਹੈ ਤਾਂ ਜੋ ਉਹਨਾਂ ਵਿਚਾਰਾਂ ਨੂੰ ਖੋਜਿਆ ਜਾ ਸਕੇ ਜੋ ਦੂਜੀਆਂ ਚੀਜ਼ਾਂ ਨੂੰ ਗੁਆ ਦੇਣਗੇ.

ਮਿਸਾਲ ਦੇ ਤੌਰ ਤੇ, ਨੈੱਟਫਿਲਸ ਇਨਾਮ ਦੇ ਦੌਰਾਨ ਇਕ ਵਾਰ, ਸਾਈਨ ਫੰਕ ਨਾਂ ਦੇ ਸਕਰੀਨ ਨਾਂ ਵਾਲੇ ਕਿਸੇ ਵਿਅਕਤੀ ਨੇ ਆਪਣੇ ਬਲੌਗ ਤੇ ਇਕ ਵਿਵਹਾਰਕ ਮੁੱਲ ਵਾਲੀ ਵਿਗਾੜ ਦੇ ਆਧਾਰ ਤੇ ਪ੍ਰਸਤਾਵਿਤ ਹੱਲ ਪੇਸ਼ ਕੀਤਾ, ਜੋ ਰੇਖਿਕ ਅਲਜਬਰਾ ਤੋਂ ਇਕ ਵਿਧੀ ਹੈ ਜੋ ਪਹਿਲਾਂ ਹੋਰਨਾਂ ਭਾਗਾਂ ਦੁਆਰਾ ਨਹੀਂ ਵਰਤਿਆ ਗਿਆ ਸੀ ਫੰਕ ਦਾ ਬਲੌਗ ਪੋਸਟ ਇੱਕੋ ਸਮੇਂ ਤੇ ਤਕਨੀਕੀ ਅਤੇ ਡਰਾਉਣਾ ਗੈਰ ਰਸਮੀ ਸੀ. ਕੀ ਇਹ ਬਲਾੱਗ ਪੋਸਟ ਕਿਸੇ ਵਧੀਆ ਹੱਲ ਦਾ ਵਰਣਨ ਕਰ ਰਿਹਾ ਸੀ ਜਾਂ ਕੀ ਇਹ ਸਮੇਂ ਦੀ ਬਰਬਾਦੀ ਸੀ? ਇੱਕ ਓਪਨ ਕਾਲ ਪ੍ਰੋਜੈਕਟ ਤੋਂ ਬਾਹਰ, ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਕਦੇ ਗੰਭੀਰ ਮੁਲਾਂਕਣ ਨਹੀਂ ਮਿਲਿਆ. ਆਖ਼ਰਕਾਰ, ਸਾਈਮਨ ਫੰਕ ਐਮਆਈਟੀ ਵਿਚ ਪ੍ਰੋਫੈਸਰ ਨਹੀਂ ਸੀ; ਉਹ ਇਕ ਸਾਫਟਵੇਅਰ ਡਿਵੈਲਪਰ ਸੀ, ਜੋ ਉਸ ਵਕਤ ਨਿਊਜ਼ੀਲੈਂਡ (Piatetsky 2007) ਆਲੇ-ਦੁਆਲੇ ਬੈਕਪੈਕਿੰਗ ਕਰ ਰਿਹਾ ਸੀ. ਜੇ ਉਸ ਨੇ ਇਸ ਵਿਚਾਰ ਨੂੰ ਨੈੱਟਫਿਲਕਸ ਤੇ ਇਕ ਇੰਜੀਨੀਅਰ ਨੂੰ ਈਮੇਲ ਕੀਤਾ ਸੀ, ਤਾਂ ਇਸ ਨੂੰ ਲਗਭਗ ਜ਼ਰੂਰ ਪੜ੍ਹਿਆ ਨਹੀਂ ਗਿਆ ਸੀ.

ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ, ਕਿਉਕਿ ਮੁਲਾਂਕਣ ਮਾਪਦੰਡ ਸਪੱਸ਼ਟ ਸਨ ਅਤੇ ਲਾਗੂ ਕਰਨ ਵਿੱਚ ਅਸਾਨ ਸਨ, ਉਸਦੀ ਪੂਰਵ-ਅਨੁਮਾਨਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ ਗਿਆ ਸੀ, ਅਤੇ ਇਹ ਉਸੇ ਵੇਲੇ ਸਪੱਸ਼ਟ ਸੀ ਕਿ ਉਨ੍ਹਾਂ ਦਾ ਤਰੀਕਾ ਬਹੁਤ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸੀ: ਉਹ ਮੁਕਾਬਲੇ ਵਿੱਚ ਚੌਥੇ ਸਥਾਨ ਉੱਤੇ ਚੜ੍ਹ ਗਏ, ਇੱਕ ਸ਼ਾਨਦਾਰ ਨਤੀਜਾ ਜੋ ਹੋਰ ਟੀਮਾਂ ਪਹਿਲਾਂ ਹੀ ਹੋ ਚੁਕਿਆ ਸੀ ਸਮੱਸਿਆ 'ਤੇ ਮਹੀਨੇ ਲਈ ਕੰਮ ਕਰਦੇ ਹੋਏ ਅੰਤ ਵਿੱਚ, ਉਸ ਦੇ ਪਹੁੰਚ ਦੇ ਕੁਝ ਹਿੱਸਿਆਂ ਵਿੱਚ ਸਾਰੇ ਗੰਭੀਰ ਮੁਕਾਬਲੇਬਾਜ਼ (Bell, Koren, and Volinsky 2010) ਦੁਆਰਾ ਵਰਤਿਆ ਗਿਆ ਸੀ.

ਇਹ ਤੱਥ ਕਿ ਸਾਈਮਨ ਫੰਕ ਨੇ ਇਕ ਗੁਪਤ ਪੋਥੀਆਂ ਲਿਖਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ, ਜੋ ਇਸ ਨੂੰ ਗੁਪਤ ਰੱਖਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਦੀ ਬਜਾਏ ਉਸ ਦੀ ਪਹੁੰਚ ਨੂੰ ਸਮਝਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ, ਇਹ ਵੀ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ Netflix ਇਨਾਮ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਹਿੱਸਾ ਲੈਣ ਖਾਸ ਤੌਰ 'ਤੇ ਲੱਖ ਡਾਲਰ ਦੇ ਇਨਾਮ ਨਾਲ ਪ੍ਰੇਰਿਤ ਨਹੀਂ ਸਨ. ਇਸ ਦੀ ਬਜਾਏ, ਬਹੁਤ ਸਾਰੇ ਹਿੱਸਾ ਲੈਣ ਵਾਲੇ ਵੀ ਬੌਧਿਕ ਚੁਣੌਤੀ ਅਤੇ ਕਮਿਊਨਿਟੀ ਦਾ ਆਨੰਦ ਮਾਣ ਰਹੇ ਸਨ ਜੋ ਸਮੱਸਿਆ ਦੇ ਆਲੇ ਦੁਆਲੇ ਵਿਕਸਿਤ ਹੋ ਗਏ (Thompson 2008) , ਭਾਵਨਾ ਜਿਹਨਾਂ ਦੀ ਉਮੀਦ ਹੈ ਕਿ ਬਹੁਤ ਸਾਰੇ ਖੋਜਕਰਤਾ ਸਮਝ ਸਕਦੇ ਹਨ.

Netflix ਇਨਾਮ ਇੱਕ ਖੁੱਲ੍ਹਾ ਕਾਲ ਦਾ ਇੱਕ ਸ਼ਾਨਦਾਰ ਉਦਾਹਰਨ ਹੈ. Netflix ਇੱਕ ਖਾਸ ਟੀਚਾ (ਪ੍ਰੋਗ੍ਰਾਮ ਰੇਟਿੰਗ ਦੀ ਭਵਿੱਖਬਾਣੀ) ਦੇ ਨਾਲ ਇੱਕ ਸਵਾਲ ਪੁੱਛਿਆ ਅਤੇ ਬਹੁਤ ਸਾਰੇ ਲੋਕ ਤੱਕ ਹੱਲ ਹੱਲ. Netflix ਇਹਨਾਂ ਸਾਰੇ ਹੱਲਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਦੇ ਸਮਰੱਥ ਸੀ ਕਿਉਂਕਿ ਉਹਨਾਂ ਨੂੰ ਬਣਾਉਣ ਦੀ ਬਜਾਏ ਜਾਂਚ ਕਰਨਾ ਸੌਖਾ ਸੀ, ਅਤੇ ਅੰਤ ਵਿੱਚ ਨੈੱਟਫਿਲਸ ਨੇ ਸਭ ਤੋਂ ਵਧੀਆ ਹੱਲ ਕੱਢਿਆ ਅਗਲਾ, ਮੈਂ ਤੁਹਾਨੂੰ ਇਹ ਦਿਖਾਉਂਦਾ ਹਾਂ ਕਿ ਜੀਵ ਵਿਗਿਆਨ ਅਤੇ ਕਾਨੂੰਨ ਵਿਚ ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਕਿਵੇਂ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਅਤੇ ਲੱਖਾਂ ਡਾਲਰ ਦੇ ਇਨਾਮ ਦੇ ਬਿਨਾਂ