Hortonworks技術骨干TedYu:我對中國大數據前景非常看好
原創【51CTO.com原創稿件】2017年12月01日-02日,由51CTO主辦的WOTD全球軟件開發技術峰會在深圳中州萬豪酒店隆重舉行。本次峰會以軟件開發為主題,數十位專家級嘉賓將帶來多場精彩的技術內容分享。
12月1日下午, Hortonworks高級技術成員HBase核心貢獻者Ted Yu發表了題為《The New Hbase brings new era》(創新的Hbase***新紀元)的精彩演講,會后51CTO記者采訪了他,請他為大家分享了他的技術經驗談。
Hortonworks的核心成員TedYu接受采訪
2011年,雅虎剝離Hadoop業務,由雅虎主導Hadoop開發的副總裁,帶領二十幾個核心成員成立Hortonworks。作為Hortonworks的核心成員之一,TedYu參加WOT技術峰會已經有七年的時間,一直在美國工作的他,始終堅持用英文準備演講PPT,用他的話說,他始終相信中國技術人員的能力,他所講的內容技術性強,涉及到很多技術詞匯,輸入中文擔心翻譯不準確產生歧義。所以他寫英文再讓大家去查它是什么意思,像是技術詞匯,用在HBase或者其它別的地方一般不會有歧義。
談到Hbase的核心,TedYu表示,HBase是基于谷歌的Hadoop,Hadoop的DataNode公布以后,在谷歌上有很多Bigtable的產品,HBase的核心它原來只是NameNode,在這個核心以上,又有不同的開發人員,搭建了Apache,或者是這些相關的項目。因為這個核心原來是不支持SQL查詢的,有了這些別的項目以后,用戶還可以用SQL進行查詢,方便了很多。
談及HBase的長處和短處的話,我們知道,HBase最早是Hadoop的一個子項目,后來才成為鼎力項目。也就是說如果在客戶的集成里面已經有HBase的話,那么選擇用HBase作為NoSQL的存儲就是非常自然的選擇。 反過來講,比如一個用戶用卡夫卡,卡夫卡根本就不用HBase,所以屬于要用別的存儲系統的話,HBase就可能稍微有點牽強。
TedYu還著重分析了Hbase的劣勢以及解決辦法,他說,如果HBase本身來講,它不支持SQL,但是這樣的話,對于大部分的應用來講就非常不方便,因為比如SQR有很多復雜的查詢,如果要靠用戶用HBase底層的API去完成這些復雜操作的話,是非常耗時間的,而且首先是不易攜帶,因為SQL可以很方便就改了,一下就改掉了。如果用API的話就會影響開發進度。但是好處就是別的項目就彌補了HBase這方面的不足。
隨著國內對Hbase的接受程度越來越高,TedYu感慨良多,他非常看好國內的大數據和人工智能技術發展前景。中國有廣大的人口,有非常多樣化的應用場景,它會產生大量的數據。在這方面我想產生數據的規模已經超出了美國,像雅虎這樣的公司所處理的數據。他認為中國大數據應用有其獨特性,會導致它在相關的方面有相當大的進展。
接下來談及Hortonworks旗下重要產品HDP和HDF免費和開源的話題,TedYu解釋說:“全開源符合中國的國情,大家知道,去IOE化已經提了很多年,我想IOE這三家的話,我沒有詳細關注,但我至少知道IBM的情況是不太好的,因為它除了上一個季度以外,好像很多個季度它的營業額都是下降的,這在大公司里是非常罕見的。這也是說明對于中國這么大的國家,有這么多大數據,而且有的是敏感數據,要自己存儲自己管理,這樣的話需要相當強的透明性,所以我覺得,這兩個是完全開源的,從理念上來講,符合中國政府要求的開放性和透明性。”
采訪***,TedYu告訴我們,開源了以后,國內的開發者和用戶可以對Hortonworks產品有更加深入的了解,這樣一來,在這些項目里面,也會有所回饋,所以這應該是一個雙贏的選擇。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】