無論是電商還是互聯網廣告，直接面對的是用戶，用戶的屬性決定了他會購買哪些商品或者點擊哪些廣告。那么建立用戶標簽系統對于這些企業非常重要。

本屆WOT軟件技術峰會特邀小象科技作為大會特邀合作伙伴，匯集大數據社區技術精英，于7月27日舉辦大數據專場培訓。本次培訓主要討論如何建立用戶標簽系統和如何使用這些標簽系統實現商業價值。

[[116385]]

講師：董西成

ChinaHadoop小象社區核心成員

《Hadoop技術內幕：深入解析MapReduce架構設計與實現原理》和《Hadoop技術內幕：深入解析YARN架構設計與實現原理》書籍作者；資深Hadoop技術實踐者和研究者，曾參與商用Hadoop原型研發，以及分布式日志系統、全網圖片搜索引擎、Hadoop調度器等項目的設計與研發。

1. 從技術來說，您認為大數據在今年還會有什么革新？總體感覺，如何與行業應用結合?

從技術方面，個人認為計算框架方面將有飛速發展，包括內存計算、流式計算和交互式計算等，這主要涉及Spark/Spark SQL和Hive On Tez技術體系，尤其是spark，引起來各大公司興趣，均嘗試使用spark解決之前MapReduce不能夠很好解決的問題?？傮w而言，Spark等系統能夠很好地解決對效率要求較高的問題，典型地是迭代式的機器學習算法，這也是公司嘗試Spark的最初動力。

2. 行業大數據其實早就存在，但對此認知并不一樣，您認為這種差異性表現在哪里？

大數據存儲和分析方面的技術能力存在差異。之前缺乏廉價可用的分布式技術存儲和分析大數據，使得很多公司丟棄了很多數據，或者僅僅是將一部分數據保存下來，未進行分析。如今大數據存儲和處理計算日漸成熟，尤其是開源技術的飛速發展和互聯網公司的帶動，使得行業大數據成為爆發點。

3. 行業大數據的實施，您認為技術難點在哪里？

個人認為難點在技術方案的轉變。目前很多傳統行業仍采用非常過時的技術方案，這些方案難以支撐大數據，鑒于此，很多公司嘗試朝大數據架構轉型，但由于過多的歷史包袱以及缺乏大數據技術的理解和信心，使得整個過程非常緩慢。

4. 請分享一個您參與的傳統企業大數據項目。這個項目大致分幾個階段？

介紹一個銀行的項目，該項目的目的是ATM等終端設備的日志收集和分析，這是銀行的一個試探性項目，可認為是對大數據開源技術的嘗試，由于這一塊跟已有架構重疊較小，因為不能很好地代表一般的大數據項目。這個項目經過了可行性分析，技術驗證（小規模數據測試），項目開發，項目上線和運營等幾個階段。

5. 大數據項目的實施，對已經存在的業務分析架構，會帶來怎樣的影響？

取決于跟已存在業務分析架構的相關關系，如果是互相補充和完善，則巧妙地設計會完善公司的業務分析架構，如果是替代，則會逐步將業務遷移到大數據架構上。

6. 大數據應用工具的大量出現，會取代數據分析人員的位置嗎？

短時間內，數據分析人員仍處于不可或缺的位置。大數據應用工具扔僅僅是數據分析人員完成數據分析的工具，難以將全部分析交給這些工具完成而無需分析人員的干預。

7. 數據是傳統企業最核心的資產。我們在大數據的分布式處理方式下，該如何保證數據的安全性和完整性？

數據安全性和完整性是大數據時代面臨的***挑戰之一，目前國內很大一部分公司扔將大數據保存在自己私有的集群中，不會直接接入互聯網，這樣，可以把安全問題局限在一個局域網內，解決起來容易一些。

8. 在51CTO舉辦的WOT軟件技術峰會上，會有大數據專場培訓。這里面會涉及哪些方面的內容？這些培訓適合哪些技術人員？

這次專場培訓，我主要介紹數據基礎設施，包括數據收集、存儲與計算系統，具體是

（1）數據收集： 使用分布式收集工具Sqoop/Flume對數據進行統一收集

（2）數據存儲：使用分布式存儲系統HDFS/HBase對數據進行集中式存儲

（3）數據分析與計算：包括批處理、交互式和內存計算三種

這次培訓適合想了解大數據技術的初中級技術人員以及想了解大數據應用案例的高級技術人員。