10條大數(shù)據(jù)沙箱項(xiàng)目注意事項(xiàng)
隨著企業(yè)越來(lái)越關(guān)注大數(shù)據(jù),能夠在一個(gè)安全的“沙箱”測(cè)試環(huán)境中對(duì)數(shù)據(jù)處理和查詢(xún)能力進(jìn)行實(shí)驗(yàn),這對(duì)于企業(yè)IT部門(mén)與最終用戶(hù)來(lái)說(shuō)都是非常重要的。然而,建立一個(gè)安全、合適的大數(shù)據(jù)沙箱測(cè)試環(huán)境,和創(chuàng)建一個(gè)針對(duì)交易型數(shù)據(jù)及報(bào)告的傳統(tǒng)測(cè)試環(huán)境是不同的。下文將列出由Transworld Data總裁Mary Shacklett總結(jié)的10個(gè)實(shí)施沙箱項(xiàng)目的注意事項(xiàng)。
1、數(shù)據(jù)集市還是主數(shù)據(jù)庫(kù)?
數(shù)據(jù)庫(kù)管理員需要從早期就做出決定,決定是讓測(cè)試沙箱使用直接來(lái)自生產(chǎn)用的主數(shù)據(jù)庫(kù)中的數(shù)據(jù),亦或者***解決方案是將這些數(shù)據(jù)復(fù)制或者片段剝離到獨(dú)立的數(shù)據(jù)集市中,僅供測(cè)試使用。完整數(shù)據(jù)庫(kù)的好處是,可以測(cè)試用于生產(chǎn)中實(shí)際使用的數(shù)據(jù),這樣測(cè)試結(jié)果更加精確。缺點(diǎn)是,可能會(huì)和生產(chǎn)本身產(chǎn)生數(shù)據(jù)沖突。有了數(shù)據(jù)集市的戰(zhàn)略,你不用冒著與生產(chǎn)數(shù)據(jù)發(fā)生沖突的風(fēng)險(xiǎn),但是可能需要定期更新數(shù)據(jù),以保持與生產(chǎn)數(shù)據(jù)的同步,更加接近于生產(chǎn)環(huán)境。
2、工作日程
日程安排是大數(shù)據(jù)沙箱活動(dòng)最重要的一件事,這確保了所有沙箱操作都是在***狀態(tài)下運(yùn)行的,可通過(guò)同時(shí)安排一組較小的任務(wù)和一個(gè)更大的任務(wù)同時(shí)運(yùn)行來(lái)實(shí)現(xiàn)。對(duì)于IT來(lái)說(shuō),這個(gè)過(guò)程的關(guān)鍵是坐下來(lái)和各種使用沙箱的用戶(hù)進(jìn)行交流,這樣每個(gè)人都對(duì)日程安排有一個(gè)前期的了解,并清楚其背后的原理以及他們的工作期待運(yùn)行時(shí)間。
3、設(shè)置限制
如果幾個(gè)月的時(shí)間過(guò)去了卻沒(méi)有使用一個(gè)特定的數(shù)據(jù)集市或者沙箱,那么企業(yè)用戶(hù)及IT部門(mén)就應(yīng)該制訂一個(gè)可接受的策略以?xún)艋@些資源,這樣就能重新放到一個(gè)可以針對(duì)其他活動(dòng)重新配置的資源池中。這個(gè)測(cè)試環(huán)境應(yīng)該和生產(chǎn)環(huán)境一樣被有效管理起來(lái),這樣資源只有正處于使用狀態(tài)的時(shí)候才會(huì)被調(diào)用。
4、使用純凈數(shù)據(jù)
大數(shù)據(jù)管道工作的一個(gè)前提,應(yīng)該是準(zhǔn)備好數(shù)據(jù)并凈化數(shù)據(jù),這樣在應(yīng)用數(shù)據(jù)集市解決方案時(shí),才能確保數(shù)據(jù)具備用于測(cè)試的質(zhì)量。在一個(gè)不完整、不準(zhǔn)確、甚至是遭到破壞的測(cè)試環(huán)境中使用數(shù)據(jù)是一個(gè)壞習(xí)慣——因?yàn)閿?shù)據(jù)在放到測(cè)試區(qū)域之前并不安全。要學(xué)會(huì)摒棄這些壞習(xí)慣。
5、監(jiān)控資源
假設(shè)大數(shù)據(jù)資源都集中在數(shù)據(jù)中心內(nèi),IT部門(mén)應(yīng)該設(shè)置資源權(quán)限并監(jiān)控沙箱使用率。一個(gè)需要經(jīng)常密切關(guān)注的問(wèn)題是:隨著加入沙箱活動(dòng)的終端用戶(hù)部門(mén)越來(lái)越多,會(huì)導(dǎo)致出現(xiàn)過(guò)量配置的問(wèn)題。
6、注意項(xiàng)目重疊問(wèn)題
在某些時(shí)候,成立一個(gè)跟蹤整個(gè)公司內(nèi)各種正在進(jìn)行中的沙箱項(xiàng)目的“監(jiān)督委員會(huì)”是很有必要的,這樣可以確保不會(huì)出現(xiàn)重疊或者冗余的項(xiàng)目。
7、嘗試將計(jì)算資源交給IT部門(mén)集中管理
有些企業(yè)做大數(shù)據(jù)項(xiàng)目,先從特定的一些部門(mén)開(kāi)始,然后馬上會(huì)發(fā)現(xiàn)他們對(duì)付不了大數(shù)據(jù),接著又去做他們自己的日常功能工作,管理計(jì)算資源。最終,他們把設(shè)備搬到數(shù)據(jù)中心,讓IT部門(mén)自行管理。這讓他們把精力專(zhuān)注在業(yè)務(wù)上,這也是大數(shù)據(jù)可以帶來(lái)的價(jià)值。
8、組建大數(shù)據(jù)團(tuán)隊(duì)
即使在沙箱的測(cè)試項(xiàng)目中,讓處理大數(shù)據(jù)的專(zhuān)業(yè)團(tuán)隊(duì)來(lái)輔助完成任務(wù)也是很重要的。通常情況下,這個(gè)團(tuán)隊(duì)?wèi)?yīng)當(dāng)由業(yè)務(wù)分析師、數(shù)據(jù)科學(xué)家以及一名具備軟硬件資源優(yōu)化能力、能與數(shù)據(jù)庫(kù)專(zhuān)家協(xié)作的IT專(zhuān)家組成。
9、不要忘記業(yè)務(wù)價(jià)值目標(biāo)
在將創(chuàng)新的想法融入進(jìn)沙箱項(xiàng)目中時(shí),不要完全忘記了最初的業(yè)務(wù)價(jià)值目標(biāo)是什么。
10、明確大數(shù)據(jù)沙箱的定義
很多來(lái)自終端企業(yè)的參與者并不知道“沙箱”意味著什么。與早期的沙箱一樣,大數(shù)據(jù)沙箱的目的是自由發(fā)揮,做與大數(shù)據(jù)相關(guān)的實(shí)驗(yàn)——但這是帶有一定的目的性的。這個(gè)有目的的項(xiàng)目應(yīng)該遵守沙箱實(shí)驗(yàn)的基本規(guī)則,例如什么時(shí)候、在哪兒以及如何使用沙箱,用實(shí)驗(yàn)與測(cè)試給企業(yè)帶來(lái)有意義、有商業(yè)價(jià)值的結(jié)果。