華為“云監控”助力提升平安城市安全等級
近期平安城市案件分析
2013年3月4日上午7點20分左右,在長春西環城路與隆化路交會處,一輛灰色RAV4車輛被盜,車牌號為吉AMM102,連同車一起丟失的還有一名兩個月大的男嬰。事發后,吉林省交警總隊立即在全省主要交通干 道卡點進行設卡堵截,并經公安機關微博擴散,長春市全城動員,各種途徑自發幫助尋找嬰兒,全面開展大范圍清查搜查。
然而,遺憾的是,直到1天之后,3月5日早8時左右,被盜車輛在吉林公主嶺營城子小學附近的一個民房院子里找到。而車上的嬰兒已經被犯罪嫌疑人殺害。
據了解,截至到2012年5月,吉林省視頻監控”天網”系統僅省會長春市即超過60000個監控點。但是,此次事件中,這個被稱為“天網”的巨大工程在及時發現和堵截被盜車輛上未能起到應有的作用。一個大家都在關注的問題是:全城這么多個監控攝像頭,車輛信息又非常詳實,為什么明明有的攝像機已經拍到了,甚至是拍到駕駛者的人臉照片,但是卻無法及時有效的定位需要的信息?
另一個真實的案例,2013年3月10日,成都電視臺新聞頻道報道了一則新聞,一個婆婆在廣場帶著自己的孫子,婆婆去洗手間的短短幾分鐘時間,孩子失蹤了。事發后,警方緊急響應,通過視頻監控系統找到了涉嫌拐帶孩子的案發錄像。但是,由于幾個關鍵路口監控攝像機錄取的圖像因為種種原因丟失或無法回放,導致跟蹤嫌疑人難度大增,警方不得不抽調大量人力偵破。幸運的是,通過警方的不懈努力最終還是成功解救了失蹤的孩子并抓獲犯罪嫌疑人。在新聞的最后,警方發言人意味深長的表示,覆蓋全城的“平安城市”視頻監控系統,對警方偵破案件提供了強有力的支持,但是,系統的效率還不盡如人意。此次事件警方緊急調集了1500名警力,花費24小時調閱全城視頻監控錄像,甚至是社會監控資源的監控錄像才找到犯罪分子最終落腳的地方。
以上的兩個案例都透露出當前平安城市建設面臨的一個現實的情況,那就是即使現在各類視頻監控系統鋪天蓋地,攝像頭遍布各個角落,犯罪行為理應無所遁形。但是真正遇到需要偵查破案時,大量的視頻背后暴露出隱藏的一個非常明顯的問題:破案效率低下。
這個痛點的其中一個重要原因就是搜索定位的效率低下。正是由于現在系統的檢索效率低下,導致很多案件的偵破,警方都不得不采用“暴力回放”的人海戰術。隨著高清化視頻監控的普及,視頻數據變得越來越龐大,錄像信息從以往幾百MB猛增到幾百TB甚至PB級別。相應的,系統中必須要有一套數據庫管理這些海量視頻,而當前的視頻監控系統中,幾乎都是通過部署數據庫服務器,即使是標準數據云存儲也會要部署元數據服務器。各大方案廠家都會在數據庫服務器中保存視頻數據的索引,如基于圖像幀的索引或者基于時間的索引,無外乎是這兩種方式。
當然,數據庫也多種多樣,有MS SQLSERVER,有ORACLE,有MySQL,PGSQL等等。但無論采用哪種數據庫,采用哪種索引,都會遇到同一個問題。那就是,隨著數據量的增加,搜索查詢性能會越來越慢,數據庫就是這個瓶頸。
我們用國內某平安城市的實際案例舉例。26,000個25幀網絡攝像機存儲1個月時間,如果按照標準的幀索引來計算的話,記錄數量會達到16,848,000,000,000條。數不清楚?這是1萬6848億條記錄。如果放在SQL SERVER這種大型關系型數據庫里面,執行搜索命令定位到其中1條,實驗室里面的數據是耗時1小時50分鐘。當然,經過大量的優化后,定位時間還是保持在30分鐘以上。
這個性能數據帶來的影響是非常可怕的。一個真實的案例,在某大型城市里發生了一起汽車肇事的案件。幸運的是,案件發生后馬上接到了報警。公安在城市治安卡口里面搜索汽車牌照號碼,半個小時過去了,結果還沒有反饋出來。這次事故在公安體系里面都知道。
盡管現在的視頻監控解決方案提供商都宣稱自己能實現秒級搜索,但是這只是在理想情況下的“理論值”,在系統剛剛部署后一段很短的時間里,驗收階段確實可以做到基本上秒級。但一個月后,半年后,隨著數據量的激增,后面的苦就只有客戶自己清楚。
華為視頻監控解決方案提升平安城市安全等級
華為公司在幾年前高清海量視頻開始占領市場的時候,就預感到這個問題將隨著視頻數據量的激增變得越來越尖銳,通過對客戶痛點細致的分析,最后推出了基于視頻監控應用云存儲架構的“分布式并行搜索”特性。
分布式“秒級檢索”
在數據寫入的時候,視頻監控應用云存儲節點保存了一份分布式索引,這是一個基于秒偏移技術的視頻索引專用散列算法。監控系統中每一臺云存儲節點除了作視頻存儲外,同時還是一個視頻檢索節點,當系統下達了一條搜索指令時,這個指令被分布式的下達到各個節點,無論這個節點是在省廳,在市局,還是在派出所,甚至在社會視頻監控系統中。真正的實現了各級監控系統的“如臂使指”。
例如在日常的業務應用中,用戶搜索一條指令“在XX路口一輛紅車的汽車”。當確認鍵被按下時,搜索服務會拿出一個廣播,對著XX路口附近所有的應用云節點設備一聲大喊:“我要找在XX路口的紅色汽車”。這個區域的應用云節點設備聽到后,均埋頭在自己內部空間里面尋找(事先已經被智能分析系統打好標記了)。因為每個節點的內部搜索速度都很快,而且所有聽到廣播的節點都是并發的在找,誰也不打擾誰。于是乎,100毫秒左右,搜索服務器就能獲得所有節點的反饋了。
對于一個大規模的平安城市來說,視頻云存儲的搜索模型不會隨著平安城市的擴容、存儲時間延長等導致數據量的增加而變慢。當然,僅搜索速度快也不能完全解決破案效率的問題。還需要如智能分析、視頻摘要、案件歸檔、串并案分析等多種手段配合才能使客戶使用視頻監控系統的效率得到提升。
破案效率低下除了檢索能力這一直接因素外,還有許多間接原因,其中一個最常見的問題就是視頻錄像的丟失。警方辦案的時候經常遇到一類情況是,清楚知道案發位置,也知道現場有監控攝像頭,但是當調取案發時候錄像時,發現由于硬盤故障導致某一時間段的錄像全部丟失了。在上面提到的拐帶孩子案例中,就是由于現場最直接的幾個攝像機保存錄像的硬盤損壞,導致無法看到案發視頻,警方只能靠推理以及對周邊眾多攝像機拉網式排查才重新定位到嫌疑人,大大增加了案件的偵破難度。如果本案的犯罪嫌疑人是個慣犯,具備一定的反偵查能力的話,很可能出現“大海撈針茫茫不可得”的情況,犯罪分子逍遙法外,一個美滿家庭破裂的悲劇很難避免。
SafeVideo“數據永不丟失”
出現這種情況的主要原因是當前絕大多數視頻監控系統的存儲機制決定的。眾所周知,在海量視頻存儲的“平安城市”監控系統中,需要大量的硬盤作為存儲載體,即使采用RAID5等數據冗余技術,也僅僅能保證RAID組中一塊硬盤損壞的時候數據不丟失。當多塊硬盤出現故障的情況下,目前絕大多數的視頻監控系統對此只能“徒呼奈何”,無能為力。而硬盤本身的特性和視頻監控循環覆蓋的存儲特點決定了硬盤在系統中需要7x24小時不間斷全負荷的運行,使得硬盤成為系統中的一個“易耗品”。多塊硬盤出現故障絕非“偶然”或“小概率事件”。
難道就沒有一種行之有效方式來避免這種情況的發生么?
華為以專業視頻監控解決方案提供商的視角對視頻監控行業進行了長達6年的研究,發現傳統方案中,因為幾塊硬盤的故障損壞就使整個視頻監控系統停止工作,這完全不符合公安對于“平安城市”使用期待。試想一下我們正在家里的家庭影院中觀看一部好萊塢大片,突然間電影畫面花了一下或者卡了一下,我們是把播放器關掉不看了還是繼續觀看呢?相信所有人都會做出同樣的決定,容忍那一段錯誤,繼續觀看。視頻監控也是類似的情況,在一段持續幾分鐘甚至十幾分鐘的犯罪過程中,出現短暫的“花屏”、“沒有圖像”的情形,絕大多數情況下不影響警方對犯罪嫌疑人身份的確認,逃逸方向的定位等關鍵信息獲取。對比傳統方案下,整個時間段所有視頻完全無法查看,其所能帶來的效率提升可謂“天差地別”。
針對這種以保持業務連續性為第一重要級別,數據可以容忍少量錯誤的場景,華為推出了擁有視頻監控業務特性的“應用云存儲”。為了保障上述的業務連續性,華為在存儲設備的底層做出了一些特殊的設計。在傳統存儲設備中,多塊磁盤需要組成RAID磁盤組以增加數據的可靠性。例如RAID5算法可以支持在一塊磁盤故障損壞后數據不丟失,可以通過檢驗數據還原業務數據。通常來說,在一臺16盤位的磁盤陣列中只會建立1個RAID組,那么可用的數據空間為14盤位。按照主流的3TB磁盤來計算,將可以保存70路標清攝像機1個月的視頻圖像。這樣設計的初衷是很好的,問題在于RAID技術是傳統存儲廠商為數據可靠性為首的應用場景設計的,主要是用來保存結構化數據,將其照搬到視頻監控的應用場景下勢必會出現“南橘北枳”的情況。以上述RAID組為例,在存儲時有可能會將文件切片為14片,每塊磁盤上存儲1片(實際可能每盤N片)。此時如果有幾片數據丟失,那么整個文件就無法再恢復了。因為文件的特殊性,有缺失的部分,文件就無法使用了。
下圖我們可以看到一個視頻圖像片段序列。
在傳統的RAID5磁盤陣列上,兩塊以上硬盤損壞后,RAID組內所有圖像全部丟失。
于是華為提出了視頻監控“應用云”的概念,針對這種現象對RAID算法進行了一些定制和改造。其結果表現為同一個RAID組內,無論多少塊硬盤故障,只要還剩余一塊無故障硬盤,那么其上面的視頻仍可提供讀取服務。用戶的體驗是一段正在播放的視頻,突然卡一下,時間向后跳了一下(遇到故障硬盤)。
從上面的幾副圖的對比來看,結論很明顯。目前華為將這種技術稱為SafeVideo技術,在全線視頻監控專用存儲中已經應用。視頻監控的業務不但不會因為多塊硬盤發生故障而導致系統暫停,還最大限度保護了用戶的數據資源。大量的使用者,特別是公安用戶反饋,此技術的誕生極大解決了因為硬盤故障導致視頻丟失進而影響案件偵破的痼疾。
通過以上的介紹,可以試想這樣一個場景:在采用華為“云監控”的系統中,當案件發生后,警方立即從案情描述里面提取關鍵信息,搜索“銀色”車身、“穿紅衣服的人”,“RAV4”車型關鍵信息,車牌號“XXXXX”等信息,并通過“秒級回放”的分布式搜索引擎,迅速對城市各個分局,派出所的監控“云節點”發出搜索請求,各個“云節點”通過智能分析和車牌識別技術快速檢索本地的視頻信息,并在一秒鐘之內檢索到相關的有用視頻數據,篩除了海量無用信息,警方無需再通過部署海量人力逐一排查,只需利用正常警力集中資源重點研究經過搜索系統篩選的信息,既節約警力資源,同時又能高效的偵破案件。最大程度上避免類似吉林悲劇的重演。同時,利用華為“視頻監控應用云”的SafeVideo 技術, 從根本上避免了視頻數據的丟失對案件偵破產生的破壞性影響。
華為云監控通過以上對監控的理解和技術實現,全面提升平安城市安全等級,切實把視頻監控變成能夠實戰的治安利器,真正助力構建“天網恢恢,疏而不漏”的和諧、平安城市。