看DTCC2015:阿里、360、京東 NoSQL實(shí)踐
【IT168 評(píng)論】一年一度的數(shù)據(jù)庫(kù)和大數(shù)據(jù)領(lǐng)域技術(shù)盛宴——2015中國(guó)數(shù)據(jù)庫(kù)技術(shù)大會(huì)(簡(jiǎn)稱 DTCC 2015)將于4月16日至4月18日在北京新云南皇冠假日酒店隆重召開(kāi)。***消息,大會(huì)NoSQL專場(chǎng)演講嘉賓已經(jīng)全部確認(rèn)完畢,嘉賓議題已經(jīng)發(fā)布。
“大數(shù)據(jù)技術(shù)交流和價(jià)值發(fā)現(xiàn)”是大會(huì)的核心主題,DTCC 2015大會(huì)規(guī)模將達(dá)到2500人,分3天21個(gè)專場(chǎng),近百場(chǎng)精彩演講,大會(huì)將云集了國(guó)內(nèi)外最***的數(shù)據(jù)專家,共同探討MySQL、NoSQL、Oracle、緩存技術(shù)、閃存技術(shù)、國(guó)產(chǎn)數(shù)據(jù)庫(kù)、Hadoop、數(shù)據(jù)挖掘、推薦系統(tǒng)、機(jī)器學(xué)習(xí)等領(lǐng)域的前瞻性熱點(diǎn)技術(shù)。
日前由IT168編譯并發(fā)布的(2014年12月世界數(shù)據(jù)庫(kù)流行度排行榜)中我們可以看到,排行榜前十名中,NoSQL數(shù)據(jù)庫(kù)已經(jīng)占了三席,分別是MongoDB、Cassandra和Redis。這說(shuō)明NoSQL正在變得越來(lái)越流行。對(duì)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)巨頭而言,單純靠SQL數(shù)據(jù)庫(kù),在面對(duì)超大型Web應(yīng)用上顯然捉襟見(jiàn)肘了。
天貓雙十一對(duì)阿里搜索事業(yè)部來(lái)說(shuō),就是一場(chǎng)高強(qiáng)度的數(shù)字化戰(zhàn)爭(zhēng)。早在2010年,Hadoop/HBase技術(shù)就被引入到里的搜索體系中,用于存儲(chǔ)相關(guān)的網(wǎng)頁(yè)、價(jià)格和圖片信息等。不光如此,連小米、奇虎360也都在使用HBase,HBase究竟有哪些神奇之處?
京東每天的庫(kù)房記錄在十億個(gè)數(shù)量級(jí),商品圖片總共有幾十億張。這些文件基本上都是KB 級(jí)別的,關(guān)系型數(shù)據(jù)庫(kù)不太擅長(zhǎng)處理這些海量小文件。京東最早使用的內(nèi)存鍵值存儲(chǔ)是Redis,而現(xiàn)在轉(zhuǎn)而使用了JimDB,您覺(jué)得為何會(huì)有這么大的轉(zhuǎn)變?JimDB與Redis又能否兼容?
和京東一樣,360也在嘗試自主研發(fā)NoSQL,360為何要自主研發(fā)?如何選擇從開(kāi)源軟件過(guò)渡到自主研發(fā)的時(shí)機(jī)?在設(shè)計(jì)時(shí),360參考中心化和去中心架構(gòu)的特點(diǎn),根據(jù)自身業(yè)務(wù)場(chǎng)景進(jìn)行了融合,從延遲、一致性、集群伸縮方面做了權(quán)衡;面對(duì)新的混合架構(gòu),360遇到了一些***的挑戰(zhàn),又是如何一一解決和優(yōu)化的?
想真正了解京東和阿里的NoSQL數(shù)據(jù)庫(kù)嗎?想了解360自主研發(fā)過(guò)程與挑戰(zhàn)嗎?想了數(shù)據(jù)庫(kù)存儲(chǔ)引擎技術(shù)發(fā)展趨勢(shì)嗎? 2015第六屆中國(guó)數(shù)據(jù)庫(kù)技術(shù)大會(huì)(DTCC)上,來(lái)自京東高級(jí)架構(gòu)師袁航即將為大家發(fā)表主題為《京東內(nèi)存存儲(chǔ)技術(shù)演進(jìn)》的精彩演講,同時(shí),一淘及搜索事業(yè)部離線系統(tǒng)團(tuán)隊(duì)搜索研發(fā)專家雨田將為大家講述《HBase在阿里搜索的應(yīng)用與擴(kuò)展》,360高級(jí)技術(shù)專家王超會(huì)為大家分享《Bada-構(gòu)建主從/去中心混合架構(gòu)的NoSQL》,而華為企業(yè)中間件***架構(gòu)師彭淵也會(huì)給我們分享《高性能原創(chuàng)數(shù)據(jù)庫(kù)引擎Coolhash》。
歡迎大家報(bào)名參會(huì)!大會(huì)官網(wǎng)鏈接:http://dtcc.it168.com/
附NOSQL專場(chǎng)演講嘉賓與主題:
華為企業(yè)中間件***架構(gòu)師 彭淵
演講主題:高性能原創(chuàng)數(shù)據(jù)庫(kù)引擎Coolhash分享
內(nèi)容簡(jiǎn)介:Coolhash是一個(gè)java實(shí)現(xiàn)的k/v數(shù)據(jù)庫(kù)引擎,采用并行計(jì)算引擎設(shè)計(jì),單server能達(dá)到百萬(wàn)吞吐量tps,同時(shí)改進(jìn)了傳統(tǒng)hash算法,能夠支持千萬(wàn)規(guī)模數(shù)據(jù)的秒級(jí)范圍查詢和任意模糊查詢,Coolhash實(shí)現(xiàn)高性能的同時(shí)提供的是持久化存儲(chǔ),可以超出內(nèi)存大小限制,同時(shí)Coolhash的key指針提供1對(duì)1,1對(duì)多,多對(duì)多的關(guān)聯(lián)join查詢的新思路,Coolhash是一個(gè)nosql數(shù)據(jù)庫(kù),但是提供了大部分sql的函數(shù)功能,還包括簡(jiǎn)單的事務(wù)處理(ACID)。CoolHash整體只有200k大小,不到1萬(wàn)行java代碼,沒(méi)有任何依賴,高度產(chǎn)品化和易用性強(qiáng),采用apache2.0開(kāi)源協(xié)議,同時(shí)支持windows和linux(unix-like),非常適合您做新型數(shù)據(jù)引擎技術(shù)的研究參考和應(yīng)用。
本課題會(huì)分享數(shù)據(jù)庫(kù)存儲(chǔ)引擎技術(shù)的業(yè)界發(fā)展趨勢(shì),從裸設(shè)備存儲(chǔ)到SSD結(jié)合內(nèi)存、從緩存到持久化存儲(chǔ)的靠近,從aerospike到Couchbase的分析,Coolhash的樹(shù)型key設(shè)計(jì)思想和架構(gòu),Coolhash跟redis、leveldb的詳細(xì)比較,應(yīng)用場(chǎng)景和技術(shù)探討等。
一淘及搜索事業(yè)部離線系統(tǒng)團(tuán)隊(duì)搜索研發(fā)專家 徐斌(花名雨田)
演講主題:HBase在阿里搜索的應(yīng)用與擴(kuò)展
內(nèi)容簡(jiǎn)介:阿里集團(tuán)搜索系統(tǒng)后臺(tái)的Hadoop/HBase混合集群已經(jīng)達(dá)到1000+的規(guī)模,計(jì)算+存儲(chǔ)一體化的解決方案支撐了淘寶、天貓、B2B、Etao、云搜索等阿里全部搜索業(yè)務(wù)線。本次主題除了介紹HBase在阿里搜索技術(shù)領(lǐng)域的應(yīng)用、優(yōu)化和運(yùn)維經(jīng)驗(yàn)以外,還將介紹我們基于HBase自主研發(fā)的HQueue(消息隊(duì)列)和HTunnel(HBase增量訂閱服務(wù)),以及基于它們的實(shí)時(shí)計(jì)算解決方案。
京東高級(jí)架構(gòu)師袁航
演講主題:深入解讀JIMDB—京東分布式緩存與高速NoSQL服務(wù)
內(nèi)容介紹:主要涉及Jimdb從無(wú)到有, 從1.0得到3.0, 基于規(guī)模驅(qū)動(dòng)和痛點(diǎn)驅(qū)動(dòng)的研發(fā)歷程; 包含:監(jiān)控和報(bào)警, 故障檢測(cè)和自動(dòng)切換, 遷移和擴(kuò)容, 基于內(nèi)存和磁盤(pán)的2級(jí)存儲(chǔ) , 基于ssd的新一代NoSQL數(shù)據(jù)庫(kù)等各方面的內(nèi)容.
360高級(jí)技術(shù)專家 王超
演講主題:Bada-構(gòu)建主從/去中心混合架構(gòu)的NoSQL
內(nèi)容目錄:在分布式NoSQL遍地開(kāi)花的今天,我們?yōu)楹我灾餮邪l(fā)?如何選擇從開(kāi)源軟件過(guò)渡到自主研發(fā)的時(shí)機(jī)?在設(shè)計(jì)時(shí),我們參考中心化和去中心架構(gòu)的特點(diǎn),根據(jù)自身業(yè)務(wù)場(chǎng)景進(jìn)行了融合,從延遲、一致性、集群伸縮方面做了權(quán)衡;面對(duì)新的混合架構(gòu),我們遇到了一些***的挑戰(zhàn),又是如何一一解決和優(yōu)化的?歷經(jīng)三個(gè)月的研發(fā),一年多的線上改進(jìn),成功解決了當(dāng)時(shí)面對(duì)的問(wèn)題且得到了廣泛認(rèn)可,架構(gòu)的優(yōu)劣和可借鑒性由各位思考