Reddit前雇員Jeremy Edberg在RAMP會(huì)議上發(fā)表了主題為“Scaling Reddit from 1 Million to 1 Billion–Pitfalls and Lessons”的精彩演講，分享了知名社交網(wǎng)站Reddit的打造經(jīng)驗(yàn)。Jeremy現(xiàn)為Netflix可靠性架構(gòu)師，更添為 Year One Labs的顧問(wèn);曾任Reddit首席架構(gòu)師，兼技術(shù)、運(yùn)營(yíng)部門負(fù)責(zé)人，更早之前還效力于eBay及Sendmail。

近日HighScalanbility創(chuàng)始人Tod Hoff對(duì)該講話進(jìn)行了總結(jié)，并基于Netflix做了相應(yīng)的對(duì)比，以下為譯文：

首先，一些值得關(guān)注的觀點(diǎn)：

1. 將SSD看做便宜的RAM，而不是磁盤。在Reddit磁盤都更換為SSD之后，服務(wù)器的數(shù)量從12臺(tái)減少到了1臺(tái)，并且有資源結(jié)余。SSD是比磁盤貴4倍，但是你得到了16倍以上的性能，值得投入。

2. 給用戶動(dòng)手空間，看看他們都在做什么，然后將好的東西加入到特性里面。Reddit從用戶的身上學(xué)到了太多東西，網(wǎng)站的平穩(wěn)運(yùn)行有很大一部分歸功于用戶。通過(guò)用戶你可以了解很多未知卻非常有價(jià)值的東西，比如開(kāi)始被比作社區(qū)笑話的Reddit Gold服務(wù);當(dāng)被Reddit做成產(chǎn)品后，深得用戶歡心。

3. 開(kāi)始時(shí)并不需要一個(gè)可擴(kuò)展架構(gòu)。未來(lái)的特性集肯定無(wú)法在開(kāi)始被預(yù)測(cè)，所以有充足的時(shí)間去弄清擴(kuò)展問(wèn)題。隨著網(wǎng)站的發(fā)展，系統(tǒng)將被更清晰的認(rèn)知，擴(kuò)展性問(wèn)題也將迎刃而解。

4. 將未登錄用戶作2等公民對(duì)待。未登錄用戶遠(yuǎn)離緩存，讓Akamai首當(dāng)其沖，性能將得到大幅提升。

這樣的點(diǎn)還有很多，下面就看一下Jeremy Edberg在不斷失敗中提取的寶貴經(jīng)驗(yàn)：

統(tǒng)計(jì)

1. 流量每15個(gè)月翻一倍

2. 如上圖所示，Reddit 8月的統(tǒng)計(jì)為：來(lái)自177個(gè)不同國(guó)家，67,328,706 UV及4,692,494,641PV。這個(gè)講話結(jié)束在10億PV這個(gè)點(diǎn)。

3. 28個(gè)員工

4. 每個(gè)員工大概負(fù)責(zé)2400萬(wàn)UV。

5. 上萬(wàn)個(gè)志愿版主

6. 在2012年，Reddit使用 240個(gè)服務(wù)器支撐每月20億的PV及2TB的PostgreSQL數(shù)據(jù)。所有高流量數(shù)據(jù)都從EBS(Elastic Block Store)轉(zhuǎn)移到Local Ephemeral Disk。

故事的起源

1. Reddit起源于2005年，開(kāi)始的想法是訂餐服務(wù)，并未獲得Y Combinator的青睞。再次來(lái)到Y(jié) Combinator與Paul Graham詳談時(shí)，他們提出了建立整個(gè)互聯(lián)網(wǎng)首頁(yè)的創(chuàng)意。也就是現(xiàn)在的Reddit，當(dāng)然那個(gè)時(shí)候他們還不了解Digg。

2. 網(wǎng)站開(kāi)始托管在一個(gè)數(shù)據(jù)中心，然后逐漸過(guò)渡到EC2。

EC2在2006年首次被采用，主要使用S3存儲(chǔ)和服務(wù)日志

2007年使用S3存儲(chǔ)縮略圖

2008年使用EC2做批處理，使用VPN與數(shù)據(jù)中心連接

2009年使用EC2服務(wù)整個(gè)網(wǎng)站。其花費(fèi)整整1天的時(shí)間將所有數(shù)據(jù)遷移到EC2，Data Gravity一個(gè)很好的示例

EC2

1. EC2決策制定的積極因素

不想租更多的機(jī)柜及購(gòu)買更多的服務(wù)器

數(shù)據(jù)中心規(guī)模擴(kuò)展太快，并且無(wú)法在早期做增長(zhǎng)預(yù)測(cè)

對(duì)一個(gè)4人團(tuán)隊(duì)來(lái)說(shuō)，使用EC2更具成本效益，EC2比舊金山的數(shù)據(jù)中心便宜29%

2. EC2并非一直無(wú)往不利。你需要忍受更高的網(wǎng)絡(luò)延時(shí)及吵鬧的“鄰居”，因此必須早做打算，好處是可以按需擴(kuò)展。

3. EC2上資源限制記錄

所有資源都存在單賬戶限制

Amazon有時(shí)候并未認(rèn)識(shí)到一些來(lái)自他們的限制

追蹤限制，并在需要之前克服

捕獲異常，了解限制的臨界點(diǎn)

架構(gòu)

1. Reddit的架構(gòu)非常簡(jiǎn)單的。用戶連接到一個(gè)與應(yīng)用程序?qū)油ㄐ诺膚eb層，應(yīng)用程序?qū)觿t負(fù)責(zé)與memcache、Cassandra及PostgreSQL通信。PostgreSQL使用了主-從配置，一個(gè)批處理系統(tǒng)通過(guò)Cassandra及PostgreSQL實(shí)現(xiàn)。

2. 相比起來(lái)，Netflix使用了一個(gè)面向服務(wù)的架構(gòu)，組件間通信通過(guò)REST API實(shí)現(xiàn)

優(yōu)勢(shì)：易于擴(kuò)展，因?yàn)閿U(kuò)展往往只是針對(duì)某個(gè)服務(wù)進(jìn)行;易于容量規(guī)劃;更容易確定問(wèn)題所在，因?yàn)樗麄兌纪ㄟ^(guò)REST調(diào)用隔離;作用域變窄;更有效的本地緩存。

劣勢(shì)：需要在不同服務(wù)上工作的多個(gè)開(kāi)發(fā)團(tuán)隊(duì)或開(kāi)發(fā)者，因此需要很多人力;需要防止工作重疊的通用平臺(tái);對(duì)小團(tuán)隊(duì)來(lái)說(shuō)，初始的開(kāi)銷太大了。

3. PostreSQL是個(gè)非常好的數(shù)據(jù)庫(kù)，具備完美及飛速的鍵值存儲(chǔ)。

4. Email是個(gè)不小的挑戰(zhàn)。投遞正確性難以保障。開(kāi)始時(shí)使用自己的郵箱服務(wù)器，現(xiàn)在已經(jīng)轉(zhuǎn)向電子郵件服務(wù)提供商。

5. 隊(duì)列是“救世主”。在做組件間工作傳遞時(shí)，將其放入一個(gè)隊(duì)列，將是一個(gè)非常不錯(cuò)的小緩沖區(qū)。(Reddit使用RabbitMQ支撐隊(duì)列)

6. 混合使用Nginx和HAProxy。許多傳輸是相互的，為了負(fù)載均衡，在Nginx無(wú)法處理時(shí)果斷轉(zhuǎn)向HAProxy。它使用L7負(fù)載均衡，而Nginx仍然用來(lái)終止SSL及服務(wù)靜態(tài)內(nèi)容。

代碼

1. 框架。開(kāi)始時(shí)，使用的是Pylons(Django太慢了)，一個(gè)基于Python的框架。確實(shí)易于起步，然而很快就被迫放棄，因?yàn)樗鼈儾环夏愕挠美ylon被做了太多的修改以至于無(wú)法更新到下一個(gè)版本，這個(gè)問(wèn)題現(xiàn)在已經(jīng)被修復(fù)了，所以還會(huì)再次使用Pyramid(pylon的新名字)。

2. 基于事件還是線程?基于線程更好做容量規(guī)劃，但是線程池的容量需要投入很多的精力。基于事件，可以獲得更多的連接，但是你必須花時(shí)間去做好棘手問(wèn)題凸現(xiàn)的準(zhǔn)備。

3. 開(kāi)源是極好的。Reddit基于開(kāi)源打造，付費(fèi)軟件并不一定是個(gè)很好的決策，特別在起步階段。

數(shù)據(jù)

1. 數(shù)據(jù)是最寶貴的財(cái)產(chǎn)。類似Facebook、Google及Flicr都是建立在數(shù)據(jù)之上。

2. 以數(shù)據(jù)為中心。圍繞數(shù)據(jù)建立應(yīng)用程序，也就是應(yīng)用程序需要繞數(shù)據(jù)運(yùn)作。數(shù)據(jù)建立了一個(gè)重力井，所有的一切都需要向它靠攏，因?yàn)閿?shù)據(jù)是最難移動(dòng)的。數(shù)據(jù)集越大，遷移就越困難。如果將現(xiàn)在的Reddit搬離EC2，將造成非常大的開(kāi)銷，這也是為什么EC2在數(shù)據(jù)傳入時(shí)是免費(fèi)的，讀出時(shí)卻是收費(fèi)的，因?yàn)樗麄兤髨D將你所有數(shù)據(jù)都帶入云中。

3. 關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)。大部分Reddit數(shù)據(jù)都是鍵值型的，儲(chǔ)存于PostgreSQL。基于事務(wù)的需求及易于分析，所有涉及金錢的處理都使用了關(guān)系型數(shù)據(jù)庫(kù)。

4. 鐵打的PostgreSQL。PostgreSQL非常可靠，使用至今未發(fā)現(xiàn)其自身問(wèn)題。如果真的出問(wèn)題了，肯定由其它事件引起，比如使用Python編寫的備份系統(tǒng)。之所以PostgreSQL的使用場(chǎng)景多于Cassandra，因?yàn)镃assandra出現(xiàn)的比較晚。再加上PostgreSQL確實(shí)非常的快，并且原生支持KV。

5. 分片。寫操作被分布到4個(gè)主數(shù)據(jù)庫(kù)： 鏈接、 賬戶、subreddit、評(píng)論、投票及雜項(xiàng)。

每個(gè)都有從節(jié)點(diǎn)。投票使用了1主+1從模式，而評(píng)論則是1主+12從

盡可能的避免從主數(shù)據(jù)庫(kù)中讀取，直接在從節(jié)點(diǎn)上讀取，從而讓主節(jié)點(diǎn)專注于寫操作

客戶端庫(kù)將負(fù)責(zé)從節(jié)點(diǎn)的負(fù)載平衡，在某個(gè)從節(jié)點(diǎn)繁忙時(shí)會(huì)自動(dòng)選取另一個(gè)

編寫了數(shù)據(jù)庫(kù)訪問(wèn)層“thing”

這個(gè)組合使用了很長(zhǎng)一段時(shí)間：結(jié)合分片數(shù)據(jù)庫(kù)、從讀并且監(jiān)視從讀性能以更好的均衡負(fù)載

7. Cassandra

寫入速度快，否定查詢速度快，易擴(kuò)展，沒(méi)有單點(diǎn)故障

在Netflix每個(gè)數(shù)據(jù)都會(huì)被分配到3臺(tái)主機(jī)上，如果1臺(tái)主機(jī)故障，余下的可以繼續(xù)運(yùn)行。

將投票數(shù)據(jù)遷移至Cassandra讓Reddit獲益不淺：Cassandra布隆過(guò)濾器提供了非常快的否定查詢，對(duì)于評(píng)論來(lái)說(shuō)，可以非常快的查詢出沒(méi)投票的評(píng)論，這樣反的答案將非常快的出現(xiàn)。( 更多細(xì)節(jié))

社交

1. 2008年的Reddit是開(kāi)源的

用戶可以查看源代碼，然后確定沒(méi)有投票干預(yù)成分存在

用戶可以添加自己一直想要的特性，Reddit就會(huì)支持它，當(dāng)然這對(duì)不想寫代碼的人毫無(wú)作用

招聘。因?yàn)榇a為許多人知曉，所以就更容易招聘了解代碼的人，這個(gè)理論通常被用于創(chuàng)意推銷

2. 蠕蟲(chóng)事件。有人發(fā)現(xiàn)了如何通過(guò)給頁(yè)面注入javascript來(lái)編寫蠕蟲(chóng)，雖然無(wú)意傳播但是已經(jīng)泄露。而那天，剛好是Reddit一個(gè)創(chuàng)始人的大婚之日，整個(gè)團(tuán)隊(duì)都在一架飛機(jī)上往回趕。然而不想一個(gè)用戶已經(jīng)設(shè)計(jì)好了阻止蠕蟲(chóng)傳播的補(bǔ)丁，并將之開(kāi)源，在最危急的時(shí)候幫助到了社區(qū)。

Reddit如何賺錢

1. Sidebox廣告、自助式廣告、商品、Reddit Gold 服務(wù)、市場(chǎng)。

2. 需要注意的是 Reddit尚未盈利，它同樣帶給我們一個(gè)問(wèn)題——像Reddit這樣的網(wǎng)站是否可以通過(guò)云來(lái)盈利?

3. 同樣需要注意的是Reddit已不再屬于Condé Nast，也就是它獨(dú)立了。

曾犯過(guò)的錯(cuò)誤

1. 未考慮遷移到EC2的延時(shí)。數(shù)據(jù)中心機(jī)器間訪問(wèn)延時(shí)是亞毫秒級(jí)，所以針對(duì)一個(gè)頁(yè)面負(fù)載訪問(wèn)1000次memcache也是可行的。然而在EC2中就不行了，memcache訪問(wèn)時(shí)間延長(zhǎng)10倍至毫秒級(jí)，這就讓老方法并不適用。應(yīng)對(duì)方法是對(duì)memcache進(jìn)行批量訪問(wèn)，這樣一個(gè)請(qǐng)求將返回大量的結(jié)果。

2. 未履行的承諾。Amazon不總是遵循承諾，并一遵循承諾為目標(biāo)。要學(xué)會(huì)與故障周旋，而不是去修復(fù)。

3. 不要怕使用新產(chǎn)品。Cassandra采用時(shí)，還處開(kāi)發(fā)階段，雖現(xiàn)在發(fā)展不錯(cuò)，但仍不乏問(wèn)題。

4. 在發(fā)往客戶端前，是否需要盡可能的簡(jiǎn)化工作。在推送到客戶端之前，服務(wù)器做了很多的頁(yè)面渲染。Facebook在這方面的經(jīng)驗(yàn)非常豐富，你得到一個(gè)擁有許多div及API(用于填充div)的矩形，這也是Reddit想盡快實(shí)現(xiàn)的地方。這樣會(huì)讓應(yīng)用有更好的擴(kuò)展性，同樣幫助到了調(diào)試，因?yàn)楹苋菀状_定是哪個(gè)API產(chǎn)生了問(wèn)題。

5. 沒(méi)有足夠的監(jiān)視，使用的唯一監(jiān)視系統(tǒng)并不適合虛擬化場(chǎng)景。開(kāi)始時(shí)使用的是Ganglia，它提供了非常不錯(cuò)的圖形，但是難以使用并且變化的非常快，特別是在實(shí)例變化不斷的虛擬化環(huán)境中。

6. 沒(méi)有給數(shù)據(jù)設(shè)置生命周期。在Reddit ，評(píng)論并沒(méi)有一個(gè)到期時(shí)間。他們已經(jīng)著手限制老評(píng)論的投票，以及舊主題評(píng)論。這就導(dǎo)致了數(shù)據(jù)的一直增長(zhǎng)，直到數(shù)據(jù)庫(kù)難以支撐熱數(shù)據(jù)的存儲(chǔ)。

7. 沒(méi)有使用一致性哈希。當(dāng)給緩存哈希時(shí)，問(wèn)題就卡在想為緩存增加容量的情景——因?yàn)樗袛?shù)據(jù)都在一個(gè)緩存上，或者你需要哈希太多緩存。在緩存增加后，無(wú)法再平衡。一致性哈希就是問(wèn)題的解決方法之一，他們通過(guò)遷移到Cassandra解決了這個(gè)問(wèn)題。

經(jīng)驗(yàn)教訓(xùn)

1. 擴(kuò)展的關(guān)鍵就在于先用戶發(fā)現(xiàn)瓶頸所在

2. 使用proxy非常有益于擴(kuò)展。用戶可以通過(guò)URL被路由，Reddit擁有一個(gè)可以監(jiān)視每個(gè)發(fā)送給服務(wù)的URL長(zhǎng)度。給流量的速度分級(jí)，基于響應(yīng)速度的平均值去拆分流量是個(gè)巨大的提升。

3. 自動(dòng)化一切。如果可以像對(duì)待代碼一樣去對(duì)待基礎(chǔ)設(shè)施，那么工作將非常輕松，所有基礎(chǔ)設(shè)施最好能自動(dòng)打開(kāi)和關(guān)閉，并且自動(dòng)配置。

4. 開(kāi)始時(shí)并不需要建立一個(gè)可擴(kuò)展架構(gòu)。因?yàn)樵诔跗谀愀静恢雷罱K的特性集，所以你有很多的時(shí)間來(lái)解決擴(kuò)展問(wèn)題。隨著網(wǎng)站的增長(zhǎng)，你將清晰的發(fā)現(xiàn)問(wèn)題所在。

5. 在開(kāi)始時(shí)并不需要使用一個(gè)面向服務(wù)的架構(gòu)。將它做為目標(biāo)，在網(wǎng)站發(fā)展到中等規(guī)模時(shí)可以去實(shí)現(xiàn)，否則只會(huì)帶來(lái)更多的開(kāi)銷。

6. 不必刻意追逐潮流，但是偶爾試下也不錯(cuò)，比如node.js。

7. 限制一切。時(shí)常發(fā)生的事情需要加上限制，并根據(jù)需求抬高或者放低。如果超出限制，需阻止用戶已保證服務(wù)的正常運(yùn)作。

8. 長(zhǎng)遠(yuǎn)的計(jì)劃。設(shè)計(jì)時(shí)總是假設(shè)當(dāng)下做的事情以后會(huì)有更多，應(yīng)用程序服務(wù)器、數(shù)據(jù)庫(kù)、緩存。開(kāi)始時(shí)就假設(shè)不會(huì)只有1個(gè)，那么以后的橫向擴(kuò)展會(huì)容易很多。

9. 將Python使用C來(lái)重新編碼。隨著Reddit不停擴(kuò)展以追求更快的速度，他們使用C來(lái)重新編碼了經(jīng)常用到的功能(之前用的是Python)，特別是過(guò)濾器、Markdown渲染以及memcache調(diào)用。這時(shí)Python作為膠水語(yǔ)言的好處就出來(lái)了，調(diào)用C時(shí)非常簡(jiǎn)單且效率。

10. 盡量保持無(wú)結(jié)構(gòu)化模式，這將讓服務(wù)很容易添加特性——在不更改表格的情況下就可以增加屬性。

11. 數(shù)據(jù)的生命周期。對(duì)舊主題進(jìn)行鎖定，然后建立一個(gè)完整的呈現(xiàn)頁(yè)面并緩存，這樣就可以保證數(shù)據(jù)庫(kù)不會(huì)被舊數(shù)據(jù)淹沒(méi)。同時(shí)，停止舊評(píng)論的投票及舊主題的評(píng)論，用戶一般很少發(fā)現(xiàn)。

12. 將SSD看做便宜的RAM，而不是磁盤。當(dāng)Reddit將磁盤都換成SSD后，服務(wù)器數(shù)量從12臺(tái)減少到了1臺(tái)，并且還有資源結(jié)余。SSD是比磁盤貴4倍，但是得到的卻是16倍性能，值得投入。在Netflix與Reddit，一些最大的Cassandra都使用上了SSD，各方面得到了很大的提升。

13. 每個(gè)工具都有特定的用例。Memcache無(wú)法持久化，但是卻非常快，所以投票數(shù)據(jù)就存儲(chǔ)在那里以保證頁(yè)面的飛速渲染。Cassandra可以持久化并且很快，同時(shí)布隆過(guò)濾器還提供了快速的反查詢，所以當(dāng)數(shù)據(jù)不在緩存中時(shí)用它來(lái)儲(chǔ)存投票的副本非常合適。PostgreSQL是可靠的關(guān)系型數(shù)據(jù)庫(kù)，所以用它來(lái)作為Cassandra的備份儲(chǔ)存投票數(shù)據(jù)，以及用作需要相關(guān)性的批處理操作。

14. 將未登錄用戶視為2等公民。開(kāi)始時(shí)這些用戶占了網(wǎng)絡(luò)流量的80%，至今仍有50%之巨。讓未注冊(cè)用戶遠(yuǎn)離緩存，Akamai首當(dāng)其沖，性能將得到大幅提升。附帶的好處是，如果Reddit宕機(jī)了，未登錄用戶甚至毫無(wú)所知。

15. 將一切都放到隊(duì)列中。投票、評(píng)論、縮略圖創(chuàng)建、預(yù)計(jì)算查詢、垃圾郵件處理及修正，隊(duì)列可以讓你在監(jiān)視長(zhǎng)度時(shí)發(fā)現(xiàn)問(wèn)題所在。附加好處是，隊(duì)列可以讓問(wèn)題對(duì)用戶透明;比如隊(duì)列中的投票請(qǐng)求，如果沒(méi)有立即生效的話不會(huì)有任何人注意到。

16. 將數(shù)據(jù)保存在多個(gè)可用區(qū)域

17. 避免將網(wǎng)站放到一個(gè)單實(shí)例上

18. 頻繁的抓取EBS磁盤快照

19. 不要在實(shí)例上保存秘鑰

20. 通過(guò)Security Group劃分功能

21. 提供一個(gè)API。程序員將在你的平臺(tái)上開(kāi)發(fā)，比如Reddit的iPhone應(yīng)用就是用戶通過(guò)API建立的。

22. 在社區(qū)中保持一定的活躍度。Reddit管理員經(jīng)常在論壇現(xiàn)身并參與互動(dòng)，這點(diǎn)深受其用戶的喜愛(ài)。

23. 讓用戶為你做事。人氣網(wǎng)站總是不乏欺詐、垃圾郵件等問(wèn)題，而在Reddit這項(xiàng)工作由上萬(wàn)個(gè)志愿者完成，他們仔細(xì)的處理了大多數(shù)的垃圾郵件問(wèn)題。這個(gè)工作模式順利的難以置信，同時(shí)這也是Reddit的團(tuán)隊(duì)可以維持很小的原因。

24. 給用戶動(dòng)手空間，看看他們都在做什么，然后將好的東西加入到特性里面。比如賦予用戶給subreddit添加CSS的能力，選擇好的功能，并為每個(gè)用戶都添加。這同樣讓用戶樂(lè)于在Reddit上做些東西，讓他們滿足于這種控制感。

25. 聽(tīng)用戶的話，用戶將告訴你許多想知道但還不知道的事情。比如，在社區(qū)中Reddit Gold服務(wù)以笑話的形式開(kāi)始，但是做成產(chǎn)品后卻深受用戶喜歡。