3.6.1 વિસ્તરિત પૂછવા

ડિજિટલ નિશાનો માટે તમારા સર્વે લિંક બધા સમયે દરેકને તમારી પ્રશ્નો પૂછવા જેવા હોઈ શકે છે.

નમૂના સર્વેક્ષણ અને વસતી: પૂછવા સામાન્ય રીતે બે મુખ્ય વર્ગોમાં માં આવે છે. નમૂના સર્વેક્ષણ, જ્યાં તમે લોકો એક નાના નંબર ઍક્સેસ, લવચીક સમયસર અને પ્રમાણમાં સસ્તી હોઈ શકે છે. જો કે, નમૂના સર્વેક્ષણ, કારણ કે તેઓ એક નમૂનો પર આધારિત છે, ઘણી વખત તેમના ઠરાવ મર્યાદિત છે; એક સેમ્પલ સર્વે સાથે, તે ઘણી વાર ચોક્કસ ભૌગોલિક વિસ્તારોમાં વિશે અથવા ચોક્કસ વસ્તી વિષયક જૂથો માટે અંદાજ બનાવવા માટે મુશ્કેલ છે. વતી ગણતરી, અન્ય પર, વસ્તી દરેક ઇન્ટરવ્યુ પ્રયત્ન કરે છે. તેઓ મહાન રિઝોલ્યુશન હોય છે, પરંતુ તેઓ સામાન્ય રીતે ખર્ચાળ ધ્યાન સાંકડા હોય છે (તેઓ માત્ર નાના પ્રશ્નો નંબર સમાવેશ થાય છે), અને સમયસર (તેઓ જેમ કે દર 10 વર્ષે તરીકે, એક નિયત પર થાય છે) (Kish 1979) . હવે કલ્પના જો સંશોધકો નમૂના સર્વેક્ષણ અને વસતી ગણતરી ના શ્રેષ્ઠ લક્ષણો ભેગા કરી શકે છે; કલ્પના જો સંશોધકો દરેક દિવસ દરેકને દરેક પ્રશ્ન પૂછી શકે છે.

દેખીતી રીતે, આ સતત, સર્વવ્યાપક, હંમેશા સર્વેક્ષણ સામાજિક વિજ્ઞાન કાલ્પનિક એક પ્રકારની છે. પરંતુ, તે દેખાય છે કે અમે ઘણા લોકો ડિજિટલ નિશાનો સાથે લોકો એક નાના નંબર મોજણી પ્રશ્નો સંયોજન દ્વારા આ આશરે શરૂ કરી શકો છો. હું મિશ્રણ આ પ્રકારના પૂછવા વિસ્તરિત કૉલ કરો. જો સારી રીતે કરવામાં આવે છે, તેને મદદ કરી શકે અમને અંદાજ છે કે (નાના ભૌગોલિક વિસ્તારો માટે) વધુ સ્થાનિક છે, વધુ દાણાદાર (ચોક્કસ વસ્તી વિષયક જૂથો માટે), અને વધુ સમયસર પૂરું પાડે છે.

વિસ્તરિત પૂછવા એક ઉદાહરણ જોશુઆ Blumenstock, જે ડેટા હોય છે તે ગરીબ દેશોમાં માર્ગદર્શન વિકાસ કરવામાં મદદ કરશે એકત્રિત કરવા માગતા હતા કામ આવે છે. વધુ ખાસ રીતે, Blumenstock સિસ્ટમ સંપત્તિ અને સુખાકારી રાહત અને એક સર્વેક્ષણ આવૃત્તિ સાથે સેન્સસ સંપૂર્ણતા સંયુક્ત માપવા માટે બનાવવા માગતા હતા (Blumenstock 2014; Blumenstock, Cadamuro, and On 2015) . હકીકતમાં, હું પહેલેથી જ Blumenstock કામ થોડા સમય પ્રકરણ 1 માં વર્ણવ્યા છે.

શરૂ કરવા માટે, Blumenstock રવાંડા સૌથી મોટી મોબાઇલ ફોન પ્રદાતા સાથે ભાગીદારી કરી. કંપનીએ તેને જેમ શરૂઆત સમય, સમયગાળો અને કોલર અને રીસીવર અંદાજિત ભૌગોલિક સ્થાન તરીકે 2005 અને 2009 લોગ દરેક કોલ અને ટેક્સ્ટ સંદેશ વિશે જાણકારી સમાવે છે 1.5 મિલિયન વર્તન આવરી ગ્રાહકો પાસેથી અનામી સોદા રેકોર્ડ પૂરી પાડે છે. પહેલાં અમે આંકડાકીય મુદ્દાઓ વિશે વાત શરૂ કરવા માટે, તે બહાર તરફ પોઇન્ટ આ પ્રથમ પગલું ખૂબ સખત હોઈ શકે છે કે વર્થ છે. પ્રકરણ 2 માં વર્ણવ્યા અનુસાર, મોટા ભાગના ડિજીટલ ટ્રેસ માહિતી સંશોધકો માટે દુર્ગમ છે. અને ઘણા કંપનીઓ justifiably તેમની માહિતી શેર કરવા માટે, કારણ કે તે ખાનગી છે ડગુમગુ છે; કે જે તેમના ગ્રાહકો કદાચ અપેક્ષા નથી કે તેમની રેકોર્ડ વહેંચાયેલ-માં આવશે સંશોધકો બલ્ક સાથે છે. આ કિસ્સામાં, સંશોધકો ડેટાને અનામ બનાવીએ કરવા માટે ખૂબ કાળજી પગલાં લીધા છે અને તેમના કામ તૃતીય પક્ષ (એટલે ​​કે, તેમના IRB) દ્વારા દેખરેખ રાખવામાં આવી હતી. પરંતુ, આ પ્રયત્નો છતાં, આ માહિતી કદાચ હજુ પણ ઓળખી શકાય છે અને તેઓ સંભવિત સંવેદનશીલ જાણકારી સમાવે છે (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . હું પ્રકરણ 6 આ નૈતિક પ્રશ્ન પર પાછા પડશે.

જણાવ્યું હતું કે Blumenstock સંપત્તિ અને સુખાકારી માપવા રસ હતો. પરંતુ, આ લક્ષણો કોલ રેકોર્ડ સીધા નથી. બીજા શબ્દોમાં કહીએ તો, આ કોલ રેકોર્ડ આ સંશોધન, ડિજિટલ નિશાનો એક સામાન્ય લક્ષણ છે કે જે પ્રકરણ 2. વિગતવાર ચર્ચા કરવામાં આવી હતી માટે અપૂર્ણ છે પરંતુ, તે શક્યતા લાગે છે કે કોલ રેકોર્ડ કદાચ સંપત્તિ અને સુખાકારી વિશે કેટલીક જાણકારી હોય છે. તેથી, Blumenstock પ્રશ્ન હોઇ શકે છે પૂછતી એક રસ્તો છે: તે આગાહી કેવી રીતે કોઈને તેમના ડિજિટલ ટ્રેસ માહિતી પર આધારિત એક સર્વેક્ષણ પ્રતિભાવ આપશે શક્ય છે? જો એમ હોય તો, તો પછી થોડા લોકો પૂછીને આપણે બીજું દરેકને જવાબો ધારી શકો છો.

આ અનુભવ આકારણી કરવા માટે, સાયન્સ કિગાલી સંસ્થા અને ટેકનોલોજી Blumenstock અને સંશોધન મદદનીશો મોબાઇલ ફોન ગ્રાહકો વિશે એક હજાર એક નમૂનો કહેવાય છે. સંશોધકો, સહભાગીઓ પ્રોજેક્ટ ગોલ સમજાવી કોલ રેકોર્ડ મોજણી જવાબો લિંક કરવા તેમના સંમતિ માટે પૂછ્યું છે, અને પછી તેમને પ્રશ્નો શ્રેણી પૂછવામાં તેમના સંપત્તિ અને સુખાકારી માપવા માટે, જેમ કે "તમે એક ધરાવો છો રેડિયો? "અને" (અંશતઃ યાદી માટે આ આંકડો 3.11 જુઓ) તમે સાયકલ ધરાવો છો? ". સર્વે ઑફ તમામ સહભાગીઓ નાણાંકીય સરભર કરવામાં આવી હતી.

લક્ષણ એન્જિનિયરિંગ દેખરેખ શિક્ષણ દ્વારા અનુસરવામાં: આગળ, Blumenstock બે પગલું પ્રક્રિયા માહિતી વિજ્ઞાન સામાન્ય ઉપયોગ થાય છે. પ્રથમ, લક્ષણ એન્જિનિયરિંગ પગલું, દરેકને કે મુલાકાત લેવામાં આવી હતી માટે, Blumenstock કોલ રેકોર્ડ દરેક વ્યક્તિ વિશે લાક્ષણિકતાઓ સમૂહ રૂપાંતરિત; માહિતી વૈજ્ઞાનિકો દરેક વ્યક્તિ માટે આ લાક્ષણિકતાઓ "લક્ષણો" કહી શકે અને સામાજિક વૈજ્ઞાનિકો તેમને કૉલ કરશે "ચલો." ઉદાહરણ તરીકે, Blumenstock ગણતરી પ્રવૃત્તિ સાથે ટ્રેડીંગ કુલ સંખ્યા, અલગ લોકોની સંખ્યા એક વ્યક્તિ સાથે સંપર્ક કરવામાં આવ્યો છે, જે રકમ મની airtime પર ખર્ચવામાં, અને તેથી પર. ભારે, સારા લક્ષણ ઇજનેરી સંશોધન સેટિંગ જ્ઞાન જરૂરી છે. ઉદાહરણ તરીકે, જો તે (અમે લોકો આંતરરાષ્ટ્રીય કૉલ સમૃદ્ધ હોઈ આશા રાખી શકે છે) સ્થાનિક અને આંતરરાષ્ટ્રીય કોલ્સ વચ્ચે તફાવત મહત્વનું છે, તો પછી આ લક્ષણ એન્જિનિયરિંગ પગલે થવું જ જોઈએ. રવાન્ડા બહુ ઓછી સમજ સાથે સંશોધક આ લક્ષણ સમાવેશ થાય છે શકે છે, અને પછી મોડેલ આગાહીયુક્ત કામગીરી સહન કરશે.

આગળ, દેખરેખ શિક્ષણ પગલું, Blumenstock એક આંકડાકીય મોડલ તેમના લક્ષણો પર આધારિત છે દરેક વ્યક્તિ માટે સર્વે પ્રતિભાવ આગાહી બનાવી છે. આ કિસ્સામાં, Blumenstock 10 ગણો ક્રોસ માન્યતા સાથે પરીવહન રીગ્રેસન સુધારાયું માટે વપરાય છે, પરંતુ તે અન્ય આંકડાકીય અથવા મશીન શિક્ષણ અભિગમ વિવિધ ઉપયોગ કરી શકે છે.

તેથી તે કેવી રીતે સારી રીતે કામ કર્યું? Blumenstock કોલ રેકોર્ડ માંથી તારવેલી સુવિધાઓ ઉપયોગ જેવા પ્રશ્નો સર્વેક્ષણ જવાબો આગાહી કરવાનો હતો "તમે રેડિયો ધરાવો છો?" અને "તમે એક સાયકલ ધરાવો છો?" ના સૉર્ટ કરો. માસિક ચોકસાઈ કેટલાક લક્ષણો છે (આકૃતિ 3.11) માટે ઊંચા હતા. પરંતુ, તે હંમેશા એક સરળ વિકલ્પ સામે એક જટિલ આગાહી પદ્ધતિ સરખાવવા માટે મહત્વપૂર્ણ છે. આ કિસ્સામાં, એક સરળ વિકલ્પ આગાહી છે કે દરેક વ્યક્તિ સૌથી સામાન્ય જવાબ આપશે. ઉદાહરણ તરીકે, 97.3% એક રેડિયો તેથી જો Blumenstock આગાહી કરી હતી કે દરેક વ્યક્તિ એક રેડિયો તેમણે 97.3% છે, જે આશ્ચર્યજનક તેના વધુ જટિલ પ્રક્રિયા (97.6% ચોકસાઈ) કામગીરી સમાન છે ચોકસાઈ ના થયા હોત ધરાવતો જાણ કરશે ધરાવતો અહેવાલ. અન્ય શબ્દોમાં, તમામ ફેન્સી માહિતી અને મોડેલિંગ 97.6% માટે 97.3% થી આગાહી ચોકસાઈ વધારો થયો છે. જો કે, જેમ કે અન્ય પ્રશ્નો માટે "તમે એક સાયકલ ધરાવો છો?", માસિક 54.4% થી 67.6% માટે સુધારો થયો છે. વધારે સામાન્ય રીતે, આકૃતિ 3.12 શો કેટલાક લક્ષણો માટે Blumenstock ખૂબ માત્ર સરળ આધારરેખા આગાહી કરવા ઉપરાંત સુધારવા ન હતી, પરંતુ તે અન્ય લક્ષણો માટે કેટલાક સુધારો હતો.

આકૃતિ 3.11: આંકડાકીય મોડલ કોલ રેકોર્ડ સાથે તાલીમ માટે આગાહીયુક્ત ચોકસાઈ. કોષ્ટક 2 ના પરિણામો Blumenstock (2014) .

આકૃતિ 3.12: આંકડાકીય મોડલ સરળ આધારરેખા આગાહી કરવા માટે કૉલ રેકોર્ડ સાથે તાલીમ માટે આગાહીયુક્ત ચોકસાઈ સરખામણી. પોઇંટ્સ સહેજ સામ્યતા ટાળવા jittered છે; કોષ્ટક 2 જુઓ Blumenstock (2014) ચોક્કસ કિંમતો માટે.

આ બિંદુએ તમે વિચારી શકે છે કે આ પરિણામો થોડી નિરાશાજનક છે, પરંતુ માત્ર એક વર્ષ બાદ, Blumenstock અને બે સાથીદારો-ગેબ્રિયલ Cadamuro અને રોબર્ટ પર પ્રકાશિત નોંધપાત્ર સારા પરિણામો સાથે વિજ્ઞાન એક કાગળ (Blumenstock, Cadamuro, and On 2015) . ત્યાં બે મુખ્ય ટેકનિકલ સુધારણા માટે કારણો હતા: અને 2) બદલે (દા.ત. વ્યક્તિગત સર્વેક્ષણ પ્રશ્નોના જવાબો અટકળ બાંધવી પ્રયાસ કરતાં 1) તેઓ વધુ વ્યવહારદક્ષ પદ્ધતિઓનો ઉપયોગ (એટલે ​​કે, એક નવો અભિગમ એન્જિનિયરિંગ અને વધુ વ્યવહારદક્ષ મશીન શિક્ષણ મોડેલ લક્ષણ માટે), "જો તમે રેડિયો ધરાવો છો?"), તેઓ એક સંયુક્ત સંપત્તિ ઇન્ડેક્સ અટકળ બાંધવી પ્રયાસ કર્યો હતો.

Blumenstock અને સાથીદારો બે રીતે તેમના અભિગમ પ્રભાવ દર્શાવ્યું. પ્રથમ, તેઓ મળી તેમના નમૂના લોકો માટે, તેઓ કોલ રેકોર્ડ (આકૃતિ 3.14) તેમની સંપત્તિ આગાહી એક સુંદર સારું કામ કરી શકે છે કે. બીજું, અને ક્યારેય વધુ અગત્યનું, Blumenstock અને સાથીદારો દર્શાવે છે કે તેમના પ્રક્રિયા રવાંડા સંપત્તિ ભૌગોલિક વિતરણ ઉચ્ચ ગુણવત્તા અંદાજ પેદા કરી શકે છે. વધુ ખાસ રીતે, તેઓ તેમના મશીન શિક્ષણ મોડેલ, જે લગભગ 1,000 લોકો તેમના નમૂના પર તાલીમ આપવામાં આવી હતી, જેનો ઉપયોગ કોલ રેકોર્ડ તમામ 1.5 મિલિયન લોકો સંપત્તિ આગાહી. વધુમાં, કોલ ડેટા જડિત ભૂ-સ્થાનિક ડેટા સાથે (યાદ છે કે કોલ ડેટા દરેક કોલ માટે નજીકના સેલ ટાવર સ્થાન સમાવેશ થાય છે), સંશોધકો દરેક વ્યક્તિ ના નિવાસ આશરે સ્થળ અંદાજ મેળવી શકતા હતા. આ બે અંદાજ મળીને પુટિંગ, સંશોધન અત્યંત સુંદર અવકાશી ઉછેરના પર ગ્રાહકના સંપત્તિ ભૌગોલિક વિતરણ એક અંદાજ ઉત્પાદન કર્યું હતું. ઉદાહરણ તરીકે, તેઓ રવાંડા માતાનો 2148 કોશિકાઓ (દેશમાં નાના વહીવટી એકમ) દરેક સરેરાશ સંપત્તિ અંદાજ કરી શકે છે. આ આગાહી સંપત્તિ કિંમતો જેથી દાણાદાર તેઓ ચકાસવા માટે મુશ્કેલ હતા. તેથી, સંશોધકો તેમના પરિણામો એકત્રિત રવાંડા 30 જિલ્લાઓમાં સરેરાશ સંપત્તિ અંદાજ પેદા કરે છે. આ જિલ્લા કક્ષાની અંદાજ ખૂબ ગોલ્ડ સ્ટાન્ડર્ડ પરંપરાગત સર્વેક્ષણ અંદાજ સાથે સંબંધિત હતી, Rwandan વસ્તી વિષયક અને હેલ્થ સર્વે (આકૃતિ 3.14). જોકે બે સ્રોતોમાંથી અંદાજ સમાન હતા, Blumenstock અને સહકર્મીઓ પાસેથી અંદાજ આશરે 50 વખત સસ્તા અને 10 વખત ઝડપી છે (જ્યારે ખર્ચ ચલ ખર્ચ દ્રષ્ટિએ માપવામાં આવે છે) હતા. ખર્ચ આ નાટકીય ઘટાડો બદલે દર થોડા વર્ષો તરીકે ચલાવવામાં આવે વસ્તી વિષયક અને આરોગ્ય માટે પ્રમાણભૂત છે સર્વેક્ષણો મોટી ડિજિટલ ટ્રેસ માહિતી સાથે જોડાઈ નાનો સર્વે સંકર દર મહિને ચાલી શકે છે.

આકૃતિ 3.13: ગાંઠનો Blumenstock, Cadamuro, and On (2015) . ફોન કંપની પાસેથી કોલ ડેટા દરેક વ્યક્તિ માટે એક પંક્તિ અને દરેક લક્ષણ (એટલે ​​કે, ચલ) માટે એક કૉલમ સાથે મેટ્રિક્સ રૂપાંતરિત કરવામાં આવી હતી. આગળ, સંશોધકો લક્ષણ મેટ્રિક્સ દ્વારા વ્યક્તિ મોજણી જવાબો આગાહી એક દેખરેખ શિક્ષણ મોડેલ બનાવી છે. પછી, દેખરેખ શિક્ષણ મોડેલ દરેક માટે મોજણી જવાબો દોષારોપણ કરવા માટે વપરાય હતી. જરૂરીયાતમાં, સંશોધકો એક મિલિયન લોકો સંપત્તિ દોષારોપણ કરવું વિશે એક હજાર લોકો જવાબો ઉપયોગ થાય છે. પણ, સંશોધકો બધા 1.5 મિલિયન લોકો તેમના કોલ્સ સ્થાનો પર આધારિત નિવાસ આશરે સ્થળ અંદાજ છે. જ્યારે આ બે અંદાજ સંયુક્ત હતા અંદાજ સંપત્તિ અને નિવાસ-પરિણામો અંદાજ સ્થળ વસ્તી વિષયક અને હેલ્થ સર્વે, એક ગોલ્ડ સ્ટાન્ડર્ડમાં પરંપરાગત સર્વેક્ષણ (આકૃતિ 3.14) અંદાજ સમાન હતા.

આકૃતિ 3.14: ના પરિણામો Blumenstock, Cadamuro, and On (2015) . વ્યક્તિગત સ્તર પર, સંશોધકો તેમના કોલ રેકોર્ડ કોઈની સંપત્તિ આગાહી વાજબી કામ કરવા માટે સક્ષમ હતા. જિલ્લા કક્ષાની સંપત્તિ જે સંપત્તિ અને નિવાસ-પરિણામો સ્થળ વ્યક્તિગત સ્તર અંદાજ પર આધારિત હતા અંદાજ વસ્તી વિષયક અને હેલ્થ સર્વે, એક ગોલ્ડ સ્ટાન્ડર્ડમાં પરંપરાગત મોજણી પરિણામો માટે સમાન હતા.

અંતમા, Blumenstock માતાનો વિસ્તરિત ડિજિટલ ટ્રેસ માહિતી સાથે અભિગમ સંયુક્ત મોજણી માહિતી પૂછવા ગોલ્ડ સ્ટાન્ડર્ડમાં સર્વેક્ષણ અંદાજ સાથે સરખાવી અંદાજ પેદા કરે છે. આ ચોક્કસ ઉદાહરણ પણ વિસ્તરિત પૂછવા અને પરંપરાગત સર્વેક્ષણ પદ્ધતિઓ વચ્ચે વેપાર ન કેટલાક સ્પષ્ટતા. પ્રથમ, વિસ્તરિત પૂછવા અંદાજ વધુ સમયસર નોંધપાત્ર સસ્તા અને વધુ દાણાદાર હતા. પરંતુ, બીજી બાજુ, આ સમયે, ત્યાં ન વિસ્તરિત પૂછવા આ પ્રકારની માટે એક મજબૂત સૈદ્ધાંતિક આધાર છે. એટલે કે, આ એક ઉદાહરણ બતાવવા નથી છે જ્યારે તે ન ચાલશે જ્યારે તે કામ કરે છે અને કરશે. વધુમાં, વિસ્તરિત પૂછવા અભિગમ હજુ સુધી તેના અંદાજ આસપાસ અનિશ્ચિતતા જથ્થામાં સારી રીતે નથી. જો કે, વિસ્તરિત પૂછવા ત્રણ મોટા આંકડા મોડેલ આધારિત પોસ્ટ સ્તરીકરણ માં વિસ્તારોમાં ઊંડો સંબંધ છે (Little 1993) , આરોપ (Rubin 2004) , અને નાના વિસ્તાર અંદાજ (Rao and Molina 2015) -અને તેથી હું આશા છે કે પ્રગતિ થશે ઝડપી હોય છે.

વિસ્તરિત પૂછવા એક મૂળભૂત રેસીપી છે કે જે તમારા ચોક્કસ પરિસ્થિતિ અનુસાર કરી શકો છો નીચે મુજબ છે. ત્યાં બે ઘટકો અને બે પગલાંઓ છે. બે ઘટકો 1) ડિજિટલ ટ્રેસ dataset કે વિશાળ પરંતુ પાતળા (એટલે ​​કે છે, તે અનેક લોકો નથી, પરંતુ જાણકારી માટે કે જે તમે દરેક વ્યક્તિ વિશે જરૂર છે) અને 2) એક સર્વેક્ષણ કે સાંકડી પરંતુ જાડા (એટલે ​​કે છે, તે છે માત્ર થોડા લોકો છે, પરંતુ તે જાણકારી માટે કે જે તમે એક તે લોકો વિશે જરૂર છે) છે. પછી, ત્યાં બે પગલાંઓ છે. પ્રથમ, બંને માહિતી સ્ત્રોતો લોકો માટે, મશીન શિક્ષણ મોડેલ ડિજિટલ ટ્રેસ માહિતી વાપરે છે કે જે મોજણી જવાબો આગાહી બિલ્ડ. આગળ, કે મશીન શિક્ષણ મોડેલ ઉપયોગ ડિજિટલ ટ્રેસ માહિતી દરેક મોજણી જવાબો દોષારોપણ કરવું. આમ, જો ત્યાં કેટલાક પ્રશ્ન એ છે કે તમે લોકો ઘણાં પૂછો કે તે લોકો તેમના જવાબ આગાહી કરવા માટે વપરાય હોઈ શકે છે ડિજિટલ ટ્રેસ માહિતી જોવા માટે કરવા માંગો છો.

સરખામણી Blumenstock સમસ્યા પર પ્રથમ અને બીજા પ્રયાસ પણ સર્વેક્ષણ સંશોધન ત્રીજા યુગ અભિગમ બીજા યુગ સંક્રમણ વિશે એક મહત્વપૂર્ણ પાઠ સમજાવે છે: શરૂઆતથી અંત નથી. એટલે કે, ઘણી વખત, પ્રથમ અભિગમ નથી શ્રેષ્ઠ હશે, પરંતુ જો સંશોધકો કામ ચાલુ છે, વસ્તુઓ વધુ સારી રીતે મળી શકે છે. વધુ સામાન્ય રીતે, જ્યારે ડિજિટલ વય માં સામાજિક સંશોધન માટે નવા અભિગમ મૂલ્યાંકન, તે મહત્વનું બે અલગ મૂલ્યાંકનના કરવા માટે છે: 1) વેલ હવે આ કામ કરે છે અને 2) કેટલી સારી રીતે તમે લાગે છે કે આ માહિતી લેન્ડસ્કેપ તરીકે ભવિષ્યમાં કામ કરી શકે છે શું ફેરફારો અને સંશોધકો સમસ્યા વધુ ધ્યાન સમર્પણ. તેમ છતાં, સંશોધકો (સારી રીતે સંશોધન આ ચોક્કસ ભાગ છે) મૂલ્યાંકન પ્રથમ પ્રકારની બનાવવા માટે તાલીમ આપવામાં આવે છે, બીજા ઘણી વાર વધુ મહત્વનું છે.