微軟研究院是如何利用數(shù)據(jù)挖掘預(yù)測奧斯卡的?
奧斯卡獲獎名單甫一公布,興奮的除了影迷們,恐怕還有微軟亞洲研究院。他們的官微稱,微軟研究院的“David Rothschild帶領(lǐng)的團(tuán)隊(duì)通過對入圍影片相關(guān)數(shù)據(jù)分析預(yù)測出今年各項(xiàng)奧斯卡大獎的最終歸屬”,“除最佳導(dǎo)演外,其他各項(xiàng)奧斯卡大獎預(yù)測全部命中。”
微軟亞洲研究院可能得興奮過頭了,實(shí)際情況是,David團(tuán)隊(duì)對所有24個獎項(xiàng)都做出了預(yù)測,其中19項(xiàng)預(yù)測正確,有5項(xiàng)錯誤,出錯的除去最佳導(dǎo)演外,還包括最佳男配角、最佳化妝、最佳紀(jì)錄短片和最佳藝術(shù)指導(dǎo)這幾個獎項(xiàng)。
當(dāng)然,即使這樣,也不得不說他們做出的預(yù)測結(jié)果準(zhǔn)確率已經(jīng)非常高。David在微軟研究院的博客中介紹了他們是如何通過對數(shù)據(jù)進(jìn)行挖掘,建立預(yù)測模型來得出這一結(jié)果的:
“預(yù)測奧斯卡的方法同我預(yù)測其他東西的方法一致,包括政治。”David說,”我關(guān)注最有效的數(shù)據(jù),然后創(chuàng)建一個不受任何特別年份結(jié)果干擾的統(tǒng)計(jì)模型。所有模型都根據(jù)歷史數(shù)據(jù)進(jìn)行檢測和校正,確保模型能夠正確預(yù)測樣本結(jié)果。這些模型能夠預(yù)測未來,而不只是驗(yàn)證過去發(fā)生的結(jié)果。”
“我關(guān)注四種不同類型的數(shù)據(jù):投票數(shù)據(jù)、預(yù)測市場數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)和用戶生成數(shù)據(jù)( user generated data )。
對于大選來說,基礎(chǔ)數(shù)據(jù),比如說過去的選舉結(jié)果、現(xiàn)任者和經(jīng)濟(jì)指數(shù)等,更為重要。在整個預(yù)測周期中,會通過基礎(chǔ)數(shù)據(jù)建立一個基準(zhǔn),當(dāng)預(yù)測市場數(shù)據(jù)和投票數(shù)據(jù)所含信息越來越豐富之后,再把重點(diǎn)轉(zhuǎn)向后者。預(yù)測2012年總統(tǒng)大選時,我運(yùn)用了少量的用戶生成數(shù)據(jù),但是Xbox LIVE的數(shù)據(jù)對于提供大事件的實(shí)時分析非常關(guān)鍵。
但是奧斯卡的預(yù)測缺少投票數(shù)據(jù),而且票房回報和電影評分等數(shù)據(jù)在統(tǒng)計(jì)學(xué)上并不是那么地有效。所以我更多地把注意力放在預(yù)測市場數(shù)據(jù)上,再加入部分用戶生成數(shù)據(jù),這可以幫助我了解電影內(nèi)部和不同類別之間關(guān)聯(lián)度,比如《林肯》會贏得多少個項(xiàng)獎項(xiàng)。
只要我關(guān)注一個新的領(lǐng)域,我就會去思考對于一項(xiàng)有意義的預(yù)測來說,有哪些關(guān)鍵的事情:
首先,我會確定什么是最相關(guān)的預(yù)測。比如說,奧斯卡我會關(guān)注24個類別可能的贏家,也會思考某部電影的獲獎總數(shù);
其次,所有的預(yù)測會進(jìn)行實(shí)時更新。從研究的角度看,了解從做出預(yù)測和最終結(jié)果之間所發(fā)生事件的價值很關(guān)鍵。對于奧斯卡來說,這些事件就是其他獎項(xiàng)(如金球獎等)的頒獎結(jié)果;
最后,我會利用這個領(lǐng)域的歷史數(shù)據(jù)來建立這個模型,然后不斷更新以確保模型的準(zhǔn)確度。我想強(qiáng)調(diào)的是,我們做的每件事都是針對獨(dú)立領(lǐng)域的,來保證它能擴(kuò)展到很多問題上。如果這項(xiàng)研究能推演出更有效率的預(yù)測模型,能應(yīng)用到更多領(lǐng)域來解決更多問題,那它對于微軟、對于學(xué)術(shù)界和這個世界來說都將有很大的價值。”
David和他的團(tuán)隊(duì)開設(shè)了PredictWise網(wǎng)站,專門刊登對于各項(xiàng)重大事件的預(yù)測結(jié)果。他稱,奧斯卡預(yù)測的難度非常大,因?yàn)樗婕暗?4個類別(通常只有6個),而且隨著奧斯卡之前其他獎項(xiàng)的不斷頒出,整個結(jié)果會不斷地產(chǎn)生變化。
為了解決這個問題,David加大了動態(tài)數(shù)據(jù)在整個預(yù)測模型里的比重。
“實(shí)時預(yù)測是非常重要的。因?yàn)閷?shí)時預(yù)測可以隨時提供最新的預(yù)測結(jié)果,而動態(tài)數(shù)據(jù)的挖掘表明整個預(yù)測結(jié)果正在不斷納入新信息。此外,它可以提供一個更細(xì)的追蹤記錄,來展示什么時候/為什么發(fā)生了變化,是哪個部分影響了最后的結(jié)果。”
以最佳影片獎的動態(tài)數(shù)據(jù)為例,大熱門電影《林肯》的勝率就在《逃離德黑蘭》陸續(xù)獲得多個獎項(xiàng)之后迅速滑坡——在奧斯卡提名剛公布的時候,《逃離德黑蘭》僅有8%的可能性獲獎,但是后期的獎項(xiàng)讓它的獲勝率迅速增長到了93%。
除了要考慮時間上的動態(tài)變化,還要注意數(shù)據(jù)之間的相互影響。David的模型指出,最佳影片獎和最佳改編劇本獎之間有著強(qiáng)烈的相關(guān)性,所以《林肯》和《逃離德黑蘭》在這兩個獎項(xiàng)里波動趨向基本一致,只是幅度略有差異?!读挚稀纷畛跤?0%的可能性獲得最佳改編劇本獎,但在它獲得最佳影片獎的可能性一路走低后,《逃離德黑蘭》的得獎率反超到了57%。
為了更好的實(shí)現(xiàn)動態(tài)數(shù)據(jù)的挖掘,David還和微軟的Office部門一起合作,發(fā)布了一款名為“Oscars Ballot Predictor”的Excel App,可以實(shí)時更新預(yù)測情況。

不過,和David更多的是挖掘預(yù)測市場數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)不同,分析機(jī)構(gòu)BranWatch選擇的是利用社交數(shù)據(jù)建立自己的預(yù)測模型。它從各大社交網(wǎng)絡(luò)中找出演員、導(dǎo)演和電影被提及的次數(shù),通過計(jì)算所獲得的積極評價數(shù)來預(yù)測他們獲獎的幾率。而Twitter占到了BrandWatch取樣內(nèi)容的約40%。
BrandWatch的做法并不新鮮,但是以往的分析數(shù)據(jù)有一點(diǎn)不同的是,它把專業(yè)人士的評論和普通大眾的評論區(qū)分開來統(tǒng)計(jì),而且只收集積極評價的數(shù)量。這里面就涉及到了兩個變量,一是提及次數(shù),還有一個就是背后的態(tài)度。BrandWatch認(rèn)為,這樣就確??梢赃^濾掉一定的無效數(shù)據(jù),比如,大量Helen Hunt在紅地毯上的穿著的評價,就不會作為主要數(shù)據(jù)納入到統(tǒng)計(jì)中。
此外,因利用統(tǒng)計(jì)學(xué)成功預(yù)測去年美國總統(tǒng)大選的Nate Silver,也給出了他自己的預(yù)測結(jié)果和模型,我們就不再贅述,有興趣的可以點(diǎn)擊他在《紐約時報》的專欄。