【51CTO.com原創(chuàng)稿件】WOT2016大數(shù)據(jù)峰會(huì)將于2016年11月25-26日在北京粵財(cái)JW萬豪酒店召開，屆時(shí)，數(shù)十位大數(shù)據(jù)領(lǐng)域一線專家、數(shù)據(jù)技術(shù)先行者將齊聚現(xiàn)場，在圍繞機(jī)器學(xué)習(xí)、實(shí)時(shí)計(jì)算、系統(tǒng)架構(gòu)、NoSQL技術(shù)實(shí)踐等前沿技術(shù)話題展開深度交流和溝通探討的同時(shí)，分享大數(shù)據(jù)領(lǐng)域最新實(shí)踐和最熱門的行業(yè)應(yīng)用。

51CTO記者對(duì)即將參加大會(huì)演講的向磊進(jìn)行了專訪，讓我們先睹為快，探聽他在構(gòu)建可視化大數(shù)據(jù)查詢平臺(tái)方面的心得。

【講師簡介】

??

向磊，easyhadoop及phpHiveAdmin作者，社區(qū)創(chuàng)始人之一，arm嵌入式開發(fā)愛好者。熟悉Hadoop及其周邊分布式平臺(tái)自動(dòng)化運(yùn)維架構(gòu)設(shè)計(jì)及可視化查詢平臺(tái)開發(fā)架構(gòu)設(shè)計(jì)。

EasyHadoop現(xiàn)狀

隨著大數(shù)據(jù)時(shí)代的到來，Hadoop已經(jīng)成為大數(shù)據(jù)領(lǐng)域最炎手可熱的技術(shù)。Hadoop是大數(shù)據(jù)領(lǐng)域不可或缺的一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。同時(shí)，由于Hadoop是一個(gè)復(fù)雜的分布式處理系統(tǒng)，對(duì)于一般人來說，Hadoop在使用上的難度很大。它不僅需要多方面的知識(shí)積累，在整個(gè)運(yùn)維方面也有很多難點(diǎn)需要攻克，而這還僅僅是Hadoop本身。Hadoop的周邊生態(tài)系統(tǒng)所需要學(xué)習(xí)和積累的東西更多，學(xué)習(xí)入門的曲線非常陡峭，這就從一定程度上限制了Hadoop的推廣和使用。

EasyHadoop，顧名思義，就是讓Hadoop大數(shù)據(jù)分析更簡單。EasyHadoop是一款Hadoop一鍵安裝系統(tǒng),方便大家更容易安裝部署Hadoop軟件。據(jù)EasyHadoop創(chuàng)始人向磊介紹，EasyHadoop其實(shí)最近一直沒有更新，easyhadoop項(xiàng)目之前有一些用戶在使用，比如早期藍(lán)汛，締元信的早期設(shè)備都通過easyhadoop進(jìn)行部署，而phpHiveAdmin的用戶更多一些，例如，酷狗，迅雷，甚至pinterest，他們的工程師舍棄了qubole，轉(zhuǎn)而使用phpHiveAdmin，這讓向磊感到很意外，也很驕傲。但無論如何，這些系統(tǒng)本身更像是一個(gè)早期實(shí)驗(yàn)探索性質(zhì)的產(chǎn)品，目前只是驗(yàn)證了一下這種方式的可行性，盡可能做的方便部署一些，就暫停了，項(xiàng)目本身基于php，也有諸多不便，會(huì)有很多環(huán)境部署上的問題，特別是對(duì)于沒用過php的人來說。向磊也透露，現(xiàn)在正在開發(fā)新的基于python的項(xiàng)目。希望很快可以將其開源。

同時(shí)，向磊表示，現(xiàn)在正在打造細(xì)分行業(yè)的Hadoop/Spark發(fā)行版，會(huì)包含一些具有行業(yè)特性的應(yīng)用和算法，他希望盡快能把開源版本拿出來貢獻(xiàn)給大家。

構(gòu)建自己的大數(shù)據(jù)生態(tài)系統(tǒng)可視化查詢及作業(yè)提交的平臺(tái)的意義

構(gòu)建自己的大數(shù)據(jù)生態(tài)系統(tǒng)可視化查詢及作業(yè)提交的平臺(tái)主要是構(gòu)建一個(gè)適應(yīng)自己內(nèi)部需求的數(shù)據(jù)作業(yè)平臺(tái)，以此為基礎(chǔ)，可以將數(shù)據(jù)分析業(yè)務(wù)的權(quán)限開發(fā)給任何具有提交權(quán)限的人。Hadoop周邊有很多很方便快捷的應(yīng)用，如Hive，Pig，SparkSQL等，如果專門設(shè)立一個(gè)數(shù)據(jù)部門，其他部門的分析需求統(tǒng)一由數(shù)據(jù)部門整理完成，優(yōu)點(diǎn)是集中化管理，接口部門統(tǒng)一，方便管理和追查。但劣勢是數(shù)據(jù)分析部門勢必成為公司的數(shù)據(jù)作業(yè)瓶頸，大量分析挖掘任務(wù)會(huì)堆積在這個(gè)部門。所以，建立一個(gè)可視化查詢及作業(yè)提交的平臺(tái)，可以將大量數(shù)據(jù)分析作業(yè)以眾包的形式分散到各個(gè)部門自己提交查詢，可以大大提高數(shù)據(jù)分析和結(jié)果產(chǎn)出的效率。提高整體公司的運(yùn)作效率。

通過使用RESTful, CLI等接口方式構(gòu)建可視化大數(shù)據(jù)平臺(tái)的技術(shù)難點(diǎn)

Hadoop生態(tài)可視化查詢的主要技術(shù)難點(diǎn)在于驗(yàn)證與授權(quán)的管理和作業(yè)的監(jiān)控。授權(quán)包含兩點(diǎn)：驗(yàn)證和授權(quán)。驗(yàn)證是去校驗(yàn)?zāi)硞€(gè)用戶是不是合法用戶，而授權(quán)是指驗(yàn)證通過的用戶可以訪問哪些應(yīng)用和數(shù)據(jù)。對(duì)于Hadoop系統(tǒng)來說，權(quán)限管理功能是比較弱的，如上一個(gè)問題所說，如果把分析任務(wù)分發(fā)到其他部門自行完成，勢必需要一個(gè)追蹤和管理的審計(jì)系統(tǒng)。一旦出現(xiàn)問題作業(yè)，可以知道是誰提交的，什么時(shí)間，提交了什么，訪問了哪些數(shù)據(jù)，出現(xiàn)了什么問題。

另外一個(gè)難點(diǎn)是如何把CLI方式的控制臺(tái)的實(shí)時(shí)輸出返回到前端網(wǎng)頁上面，RESTful和Thrift方式都無法獲取作業(yè)進(jìn)度的情況，但可以用來提交一些元數(shù)據(jù)查詢。這時(shí)，就需要自己編寫代碼，將作業(yè)通過CLI方式進(jìn)行提交，并跟蹤作業(yè)的進(jìn)度。這是在構(gòu)建可視化平臺(tái)時(shí)相對(duì)比較難的地方。

面對(duì)眾多大數(shù)據(jù)可視化工具，該如何選擇?

大數(shù)據(jù)可視化查詢平臺(tái)工具，主流的有Cloudera推出的HUE，HUE主要問題是針對(duì)CDH版本支持很好，而對(duì)于其他發(fā)行版就需要改代碼來進(jìn)行適配，如果沒用過Django，改起來比較困難。此外，還有一些有指向性的工具，比如專門針對(duì)Hive的Qubole，phpHiveAdmin等，針對(duì)Pig的Lipstick等等。

說到挑選，主要還是看主要業(yè)務(wù)需求在哪里，最重要的是不能光看網(wǎng)上評(píng)測，使用感受等文章，最好親自動(dòng)手安裝部署一下試試，感覺合適才是最重要的。現(xiàn)在虛擬機(jī)裝Hadoop，Spark都很方便。

學(xué)習(xí)Hadoop，動(dòng)手實(shí)踐最重要

對(duì)于初學(xué)者來說，動(dòng)手實(shí)踐是最重要的。理論看得再多，頂多也就是面試的時(shí)候侃侃而談，實(shí)際工作中不一定過得了試用期。向磊的個(gè)人經(jīng)驗(yàn)是：先去動(dòng)手做，中間如果有不會(huì)的再去查理論。與其說是理論聯(lián)系實(shí)際，更應(yīng)該是實(shí)際結(jié)合理論。

關(guān)于技術(shù)方面的學(xué)習(xí)，運(yùn)維從安裝部署開始動(dòng)手，開發(fā)從寫代碼開始動(dòng)手，把理論書籍上面的代碼自己一個(gè)字母一個(gè)字母實(shí)際敲一遍，不要從網(wǎng)上復(fù)制粘貼，也是一個(gè)比較好的學(xué)習(xí)方式。

至于學(xué)習(xí)渠道，向磊強(qiáng)烈推薦先學(xué)好英文。“有問題，問谷歌”。而且要用英文問，會(huì)得到更精準(zhǔn)的答案。另外，網(wǎng)上的在線教育也是個(gè)不錯(cuò)的學(xué)習(xí)方式，比如51cto的在線學(xué)院就很不錯(cuò)。有些老師會(huì)在教學(xué)后安排作業(yè)。出現(xiàn)問題是好事，但首先要嘗試自己解決，自己解決的記憶是最深刻的。在選擇課程的時(shí)候，也需要多方查證，有些自己鼓吹的，名氣大的老師不一定靠譜，這里面也有少數(shù)渾水摸魚，湊熱鬧騙錢的人。現(xiàn)在各家搜索引擎都很強(qiáng)大，查證一個(gè)老師的身份并不難。

51CTO主辦的高端技術(shù)峰會(huì)??【W(wǎng)OT2016“大數(shù)據(jù)技術(shù)峰會(huì)】??將于11月25日-26日在北京粵財(cái)JW萬豪酒店盛大揭幕，40余位業(yè)內(nèi)重量級(jí)嘉賓匯聚，解析大數(shù)據(jù)技術(shù)與行業(yè)應(yīng)用的實(shí)踐結(jié)合。福利大放送，主辦方將邀請更多講師來到“WOT講師專訪間”，深度解析技術(shù)干貨。

WOT2016更多訪談

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】