【51CTO.com原創(chuàng)稿件】活動(dòng)說(shuō)明：挨踢部落是為核心開(kāi)發(fā)者提供深度技術(shù)交流，解決開(kāi)發(fā)需求，資源共享的服務(wù)社群。基于此社群，我們邀請(qǐng)了業(yè)界技術(shù)大咖對(duì)開(kāi)發(fā)需求進(jìn)行一對(duì)一突破，解除開(kāi)發(fā)過(guò)程中的絆腳石。以最專業(yè)、最高效的答復(fù)為開(kāi)發(fā)者解決開(kāi)發(fā)難題。

話題關(guān)鍵詞： 大數(shù)據(jù)  spark  數(shù)據(jù)分析  數(shù)據(jù)畫(huà)像

部落陣容：徐韜，龍珠直播大數(shù)據(jù)主管；王勁，數(shù)果科技 聯(lián)合創(chuàng)始人；

面向?qū)ο?/span>：初級(jí)開(kāi)發(fā)工程師，數(shù)據(jù)分析師，運(yùn)維工程師

參與方式：加入51CTO開(kāi)發(fā)者QQ交流群 370892523 ，有任何技術(shù)問(wèn)題，在群里提問(wèn)，或發(fā)給群主小官。

活動(dòng)詳情：

南京-史國(guó)俊-Java：有沒(méi)有Spark學(xué)習(xí)的相關(guān)資料？

徐韜：建議學(xué)習(xí)Spark官方文檔，其他的Spark書(shū)籍可能會(huì)跟不上Spark技術(shù)的更新。

北京-robingao –Java：用Spark做離線分析，Nginx 日志一般從那些維度怎么分析，具體都看什么維度？

徐韜：建議離線分析用Hive + map/reduce 比Spark 更穩(wěn)定。Nginx日志一般用作流量監(jiān)控，運(yùn)維報(bào)警，有很強(qiáng)的時(shí)效性，可以使用Spark-Streaming。指標(biāo)：在線人數(shù)，用戶訪問(wèn)數(shù)量，流量使用情況，接口錯(cuò)誤情況，慢查詢數(shù)量，服務(wù)器狀態(tài)。維度：按站點(diǎn)，按模塊拆分。還可以做一些輕量級(jí)的用戶行為分析，如用戶訪問(wèn)路徑。

北京-robingao –Java：有做客戶畫(huà)像方面的分享嗎？具體點(diǎn)的。

徐韜：用戶畫(huà)像就是給用戶“打標(biāo)簽”。用戶畫(huà)像可以分為靜態(tài)標(biāo)簽，動(dòng)態(tài)標(biāo)簽。靜態(tài)標(biāo)簽是很少更新的指標(biāo)或者是幾乎不變的指標(biāo)，比如用戶的個(gè)人信息。動(dòng)態(tài)標(biāo)簽是用戶的行為標(biāo)簽,比如直播站的喜好類目。通過(guò)用戶行為日志和交易流水?dāng)?shù)據(jù)打上的標(biāo)簽 ，一些網(wǎng)站/APP 只有少量的用戶個(gè)人信息，但是通過(guò)打點(diǎn)可以獲得海量的用戶行為日志，我們可以通過(guò)聚類分析預(yù)測(cè)用戶的性別，年齡段，所在城市類型，工作類型等。直播站的一些比較有特點(diǎn)標(biāo)簽有：喜愛(ài)主播，習(xí)慣上線時(shí)段，簽到型用戶等等。

南京-史國(guó)俊-Java：假如要同時(shí)向Spark集群提交多條SQL，能否不采用Spark-submit方式來(lái)實(shí)現(xiàn)？

徐韜：建議在Spark-SQL客戶端里提交。

重慶-小包-Android：流媒體方面的，想了解下Android方面有關(guān)于流媒體的案例，比如視頻語(yǔ)音流這類的？

徐韜：這個(gè)題目太大了，和直播相關(guān)的案例有直播回放，連麥，H5直播播放器。

廣州-趙輝-大數(shù)據(jù)：大數(shù)據(jù)的多源數(shù)據(jù)融合的價(jià)值？

王勁：如果大數(shù)據(jù)不做跨界多源融合，數(shù)據(jù)的價(jià)值很有限，也體現(xiàn)不出大數(shù)據(jù)的真正核心價(jià)值。其中在金融，電商，保險(xiǎn)等行業(yè)會(huì)更能體現(xiàn)多源數(shù)據(jù)融合的價(jià)值。

珠海-小源-Java：51CTO有沒(méi)有做大數(shù)據(jù)相關(guān)的專題？

51CTO：有的，可以訂閱大數(shù)據(jù)期刊，訂閱的方法：在家園里面，個(gè)人主頁(yè)——我的訂閱這里。例如：大數(shù)據(jù)新動(dòng)向；一切盡在大數(shù)據(jù)；大數(shù)據(jù)世界之旅高端訪談；小團(tuán)隊(duì)如何玩轉(zhuǎn)大數(shù)據(jù)。

珠海-小源-Java：安全相關(guān)的專題有提供嗎？

51CTO：安全專題例如：HPE安全——“功夫熊貓”背后的數(shù)據(jù)保鏢；聚焦美網(wǎng)絡(luò)癱瘓事件，物聯(lián)網(wǎng)安全發(fā)人深省；2016國(guó)家網(wǎng)絡(luò)安全宣傳周專題報(bào)道；第十一屆(ISC)2亞太信息安全峰會(huì)專題報(bào)道；避免勒索軟件攻擊 仍需預(yù)防為上。

北京-楊凱-網(wǎng)絡(luò)工程師：想了解云計(jì)算方面的知識(shí)

51CTO：可以參考這篇來(lái)學(xué)習(xí)re:Invent 2016----AWS的五大云計(jì)算超能力。

南京-小胖- Android：云計(jì)算與大數(shù)據(jù)之間的關(guān)系

51CTO： 云計(jì)算的特點(diǎn)：通過(guò)對(duì)計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源的動(dòng)態(tài)調(diào)度及應(yīng)用的快速部署，通過(guò)虛擬技術(shù)提高信息化設(shè)備的利用率，實(shí)現(xiàn)節(jié)約資源、提高效率、集中管理、信息共享和節(jié)約財(cái)政支出等目的。云計(jì)算平臺(tái)主要部署各類應(yīng)用系統(tǒng)、存儲(chǔ)海量數(shù)據(jù)，為電子政務(wù)、社會(huì)管理、公眾服務(wù)等提供服務(wù)。大數(shù)據(jù)的特點(diǎn)：通過(guò)Hadoop等分布式計(jì)算架構(gòu)，通過(guò)ETL等工具，從云計(jì)算平臺(tái)中抽取海量數(shù)據(jù)，根據(jù)設(shè)定的目標(biāo)進(jìn)行跨部門(mén)、跨行業(yè)等大數(shù)據(jù)分析、建模及驗(yàn)證等工作。大數(shù)據(jù)分析的結(jié)果通過(guò)云計(jì)算平臺(tái)進(jìn)行發(fā)布，并給相關(guān)單位提供服務(wù)、為領(lǐng)導(dǎo)決策提供支撐。

您對(duì)這些解答方案是否仍有疑問(wèn)？歡迎加51CTO開(kāi)發(fā)者QQ交流群 370892523 討論。

下期活動(dòng)預(yù)告：12月26日

關(guān)鍵詞：移動(dòng)  android 物聯(lián)網(wǎng)  前端

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】