成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

數(shù)據(jù)并非越大越好:谷歌流感趨勢錯在哪兒了?

數(shù)據(jù)庫
大數(shù)據(jù)為研究人類行為和人與人之間大規(guī)模的互動提供了新的方式。然而,由于大數(shù)據(jù)的搜集做不到像“小數(shù)據(jù)”那樣精確,因此分析解讀大數(shù)據(jù)是一件十分復(fù)雜的事。一項(xiàng)發(fā)表在《科學(xué)》雜志政策論壇上的新研究利用“谷歌流感趨勢”(Google Flu Trends,GFT)作為范例,解釋了大數(shù)據(jù)分析為何會背離事實(shí),并提出了大數(shù)據(jù)時代背景下一些值得思考的事。

谷歌發(fā)現(xiàn)某些搜索關(guān)鍵詞可以很好地標(biāo)示流感疫情的現(xiàn)狀。GFT的工作原理就是使用經(jīng)過匯總的谷歌搜索數(shù)據(jù)來估測流感疫情,其預(yù)測結(jié)果將與美國疾病預(yù)防控制中心(Centers for Disease Control and Prevention,CDC)的監(jiān)測報(bào)告相比對。但是2013年2月,《自然》雜志發(fā)文指出,GFT預(yù)測的流感樣病例門診數(shù)超過了CDC根據(jù)全美各實(shí)驗(yàn)室監(jiān)測報(bào)告得出的預(yù)測結(jié)果的兩倍(但GFT的構(gòu)建本來就是用來預(yù)測CDC的報(bào)告結(jié)果的)。

研究***作者大衛(wèi)·拉澤(David Lazer)認(rèn)為造成這種結(jié)果的兩個重要原因分別是“大數(shù)據(jù)傲慢”(Big Data Hubris)和算法變化。

大數(shù)據(jù)傲慢”指的是這樣一種觀點(diǎn):即認(rèn)為大數(shù)據(jù)可以完全取代傳統(tǒng)的數(shù)據(jù)收集方法,而非作為后者的補(bǔ)充。這種觀點(diǎn)的***問題在于,絕大多數(shù)大數(shù)據(jù)與經(jīng)過嚴(yán)謹(jǐn)科學(xué)試驗(yàn)得到的數(shù)據(jù)之間存在很大的不同。

編寫一個將5000萬搜索關(guān)鍵詞與1152個數(shù)據(jù)點(diǎn)相匹配的算法是非常困難的,很有可能會出現(xiàn)過度擬合(將噪聲誤認(rèn)為信號)的情況:很多關(guān)鍵詞只是看似與流感相關(guān),但實(shí)際上卻并無關(guān)聯(lián)。事實(shí)上,在2013年的報(bào)道之前,GFT就多次在很長一段時間內(nèi)過高地估計(jì)了流感的流行情況。 2010年的一項(xiàng)研究發(fā)現(xiàn),使用CDC的滯后預(yù)測報(bào)告(通常滯后兩周)來預(yù)測當(dāng)前的流感疫情,其準(zhǔn)確性甚至都高于GFT的預(yù)測結(jié)果。

谷歌搜索引擎的算法并非一成不變的,谷歌對算法會進(jìn)行不斷地調(diào)整和改進(jìn)。而搜索引擎算法的改變和用戶的搜索行為會影響GFT的預(yù)測結(jié)果,比如媒體對于流感流行的報(bào)道會增加與流感相關(guān)的詞匯的搜索次數(shù),進(jìn)而影響GFT的預(yù)測。

另外,相關(guān)搜索(People also search for)的算法也會對GFT造成影響。例如搜索“發(fā)燒”,相關(guān)搜索中會給出關(guān)鍵詞“流感”,而搜索“咳嗽”則會給出“普通感冒”。

除此以外,搜索建議(recommended search)也會進(jìn)一步增加某些熱門詞匯的搜索頻率。

因?yàn)镚FT會在它的模型中使用相對流行的關(guān)鍵詞,所以搜索引擎算法對GFT的預(yù)測結(jié)果會產(chǎn)生不利影響。奇怪的是,GFT在構(gòu)建時是基于這樣一種假設(shè):特定關(guān)鍵詞的相對搜索量和特定事件之間存在相關(guān)性,問題是用戶的搜索行為并不僅僅受外部事件影響,它還受服務(wù)提供商影響。

GoogleFluTrends

GFT在2012~2013的流感流行季節(jié)里過高的估計(jì)了流感疫情;在2011年~2012年則有超過一半的時間過高的估計(jì)了流感疫情。從2011年8月21日到2013年9月1日,GFT在為期108周的時間里有100周的預(yù)測結(jié)果都偏高。上圖:對流感樣病例門診數(shù)的預(yù)測結(jié)果;下圖:偏差%=(非CDC預(yù)測值-CDC預(yù)測結(jié)值)/CDC預(yù)測值,GFT的平均絕對偏差為0.486,CDC滯后模型的平均絕對偏差為0.311,GFT與CDC相結(jié)合的平均絕對偏差為0.232。以上統(tǒng)計(jì)結(jié)果P< 0.05。圖片來源:The Parable of Google Flu:Traps in Big Data

拉澤和他的研究團(tuán)隊(duì)認(rèn)為,如果谷歌可以公開衍生數(shù)據(jù)和匯總數(shù)據(jù),那么研究者就可以更好地了解GFT背后的算法。此外,谷歌還需要解決可重復(fù)性的問題:利用谷歌的Correlate服務(wù)得到的與流感高度相關(guān)的關(guān)鍵詞與GFT選取的關(guān)鍵詞無法匹配。

另外,GFT的優(yōu)勢在于能夠提供細(xì)化程度非常高的數(shù)據(jù)(數(shù)據(jù)粒度小)。因此與CDC相比,GFT的價(jià)值在于提供地區(qū)水平上的流感疫情預(yù)測。而且,GFT非常適合建立流感傳播的生成式模型(Generative Model),并且對于預(yù)測幾個月后的流感疫情具有較高的準(zhǔn)確性。

數(shù)以百萬的工程師和用戶在不斷改變著搜索引擎算法,而作為研究者則需要更好地理解這些變化,因?yàn)檎撬阉饕嫠惴Q定了我們最終得到的信息。

在論文的***作者指出,數(shù)據(jù)的價(jià)值并不僅僅體現(xiàn)在“大小”上。真正核心的改變在于利用創(chuàng)新的數(shù)據(jù)分析方法去分析數(shù)據(jù),這樣才能幫助我們更好的理解這個世界。

責(zé)任編輯:彭凡 來源: 36大數(shù)據(jù)
相關(guān)推薦

2020-02-11 17:15:09

開發(fā)者拋棄 Executors

2020-02-13 09:14:16

Executors開發(fā)Java

2022-02-25 10:03:11

對象數(shù)據(jù)算法

2013-05-10 10:58:56

ERP

2016-01-12 17:10:56

嫦娥玉兔美照

2019-07-23 16:00:36

區(qū)塊鏈存儲5G

2011-12-12 13:09:45

云計(jì)算

2012-10-25 16:40:11

WOT高效數(shù)據(jù)中心數(shù)據(jù)中心

2013-12-04 09:33:15

軟件成本

2015-08-27 13:45:25

2020-06-23 10:35:47

深度學(xué)習(xí)AI人工智能

2014-04-17 10:16:50

2023-09-12 11:38:18

2015-09-24 10:24:38

北京大數(shù)據(jù)

2020-03-25 09:20:21

自然語言處理

2010-06-23 09:41:17

Amazon Simp

2023-03-11 13:15:01

AI模型系統(tǒng)

2012-08-03 09:03:31

Windows Ser微軟

2009-05-04 08:53:03

谷歌墨西哥流感

2020-04-21 16:01:13

自動駕駛新基建工信部
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號

主站蜘蛛池模板: www国产成人免费观看视频 | 久久av一区二区三区 | 精品欧美一区免费观看α√ | 日本久久久一区二区三区 | 亚洲一区成人 | 国产一区三区在线 | 国产精品久久久久国产a级 欧美日本韩国一区二区 | 一区二区免费看 | av黄色在线观看 | 欧美一级久久 | 亚洲二区在线观看 | 国产精品一区二区欧美黑人喷潮水 | 国产精品一区二 | 国产999精品久久久 精品三级在线观看 | 亚洲成人毛片 | 在线播放国产一区二区三区 | 精品一区二区在线观看 | 国产目拍亚洲精品99久久精品 | 亚洲一二三区av | 日韩视频一级 | 99精品国自产在线 | 亚洲一区二区在线播放 | 日韩精品在线看 | 日韩日韩日韩日韩日韩日韩日韩 | 日韩三级在线观看 | 国产ts人妖一区二区三区 | 精品国产一区二区国模嫣然 | 午夜丁香视频在线观看 | 亚洲日韩中文字幕一区 | 国产精品久久一区二区三区 | 中文字幕成人av | 国产精品久久国产精品99 | 亚洲在线观看视频 | 视频1区2区 | 97超碰人人草 | 午夜无码国产理论在线 | 欧美日韩一区在线观看 | 欧美日韩a | 午夜影院 | 欧美 日韩 中文 | 精品电影 |