大數(shù)據(jù)帶來了許多新的術(shù)語,但一些術(shù)語往往不太好理解。以下是人們應(yīng)該了解的大數(shù)據(jù)術(shù)語列表：

以下進(jìn)行一個(gè)簡短的回顧，以前曾經(jīng)介紹了算法，分析，描述性分析，預(yù)處理分析，預(yù)測分析，批處理，Cassandra，云計(jì)算，集群計(jì)算，暗數(shù)據(jù)，數(shù)據(jù)湖，數(shù)據(jù)挖掘，數(shù)據(jù)科學(xué)家，分布式文件系統(tǒng)，ETL，Hadoop，內(nèi)存計(jì)算，物聯(lián)網(wǎng)，機(jī)器學(xué)習(xí)，Mapreduce，NoSQL，R，Spark，流處理，結(jié)構(gòu)化。非結(jié)構(gòu)化數(shù)據(jù)等25個(gè)大數(shù)據(jù)的術(shù)語，現(xiàn)在再了解一下50個(gè)大數(shù)據(jù)術(shù)語。

[[207608]]

Apache軟件基金會(huì)(ASF)：提供了許多大數(shù)據(jù)的開源項(xiàng)目，目前有350多個(gè)項(xiàng)目。是專門為支持開源軟件項(xiàng)目而辦的一個(gè)非盈利性組織。在它所支持的Apache項(xiàng)目與子項(xiàng)目中，所發(fā)行的軟件產(chǎn)品都遵循Apache許可證。

Apache Kafka：以著名的捷克作家命名的Apache Kafka用于構(gòu)建實(shí)時(shí)數(shù)據(jù)流管道和流媒體應(yīng)用程序。為什么這么受歡迎?因?yàn)樗軌蛞匀蒎e(cuò)的方式存儲(chǔ)，管理和處理數(shù)據(jù)流，并且十分快速。鑒于社交網(wǎng)絡(luò)環(huán)境處理數(shù)據(jù)流，Kafka目前非常受歡迎。

ApacheMahout：Mahout提供了一個(gè)用于機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的預(yù)制算法庫，也是創(chuàng)建更多算法的環(huán)境。換句話說，是一個(gè)機(jī)器學(xué)習(xí)的天堂環(huán)境。

ApacheOozie：在任何編程環(huán)境中，需要一些工作流程系統(tǒng)來以預(yù)定義的方式和定義的依賴關(guān)系來安排和運(yùn)行工作。Oozie提供的大數(shù)據(jù)工作以Apachepig，MapReduce和Hive等語言編寫。

Apache Drill，Apache Impala，Apache Spark SQL：所有這些都提供了快速和交互式的SQL，如與ApacheHadoop數(shù)據(jù)的交互。如果你已經(jīng)知道SQL，并處理以大數(shù)據(jù)格式(即HBase或HDFS)存儲(chǔ)的數(shù)據(jù)，這些功能將非常有用。

ApacheHive：知道SQL?然后采用Hive握手。Hive便于使用SQL讀取，寫入和管理駐留在分布式存儲(chǔ)中的大型數(shù)據(jù)集。

ApachePig：Pig是在大型分布式數(shù)據(jù)集上創(chuàng)建查詢執(zhí)行例程的平臺(tái)。所使用的腳本語言叫做PigLatin。據(jù)說Pig很容易理解和學(xué)習(xí)。但問題是有多少人能從Pig學(xué)到什么?

Apach eSqoop：用于將數(shù)據(jù)從Hadoop移動(dòng)到非Hadoop數(shù)據(jù)存儲(chǔ)(如數(shù)據(jù)倉庫和關(guān)系數(shù)據(jù)庫)的工具。

Apache Storm：一個(gè)免費(fèi)的開源實(shí)時(shí)分布式計(jì)算系統(tǒng)。它使得使用Hadoop進(jìn)行批處理的瞬時(shí)處理可以更容易地處理非結(jié)構(gòu)化數(shù)據(jù)。

人工智能(AI)：人們可能會(huì)問，為什么在這里會(huì)有人工智能?人工智能不是一個(gè)單獨(dú)的領(lǐng)域，所有這些趨勢技術(shù)都是如此相關(guān)，人工智能開發(fā)智能機(jī)器和軟件的方式，使得硬件和軟件的這種組合能夠感知環(huán)境，在需要時(shí)采取必要的措施，并繼續(xù)學(xué)習(xí)這些操作。

行為分析：有沒有想過谷歌如何為人們需要的產(chǎn)品/服務(wù)提供廣告?行為分析側(cè)重于理解消費(fèi)者和應(yīng)用程序所做的事情，以及如何以及為什么它們以某種方式起作用。它是關(guān)于了解人們的網(wǎng)上沖浪模式，社交媒體互動(dòng)，電子商務(wù)行動(dòng)(購物車等)，并連接這些無關(guān)的數(shù)據(jù)點(diǎn)，并試圖預(yù)測結(jié)果。

Brontobytes：10的27次冪，這是數(shù)字宇宙的大小。在這里，可以了解TB字節(jié)，PB字節(jié)，EB字節(jié)，ZB字節(jié)，YB字節(jié)，以及Brontobyte。人們今后會(huì)更多地了解這些術(shù)語。

商業(yè)智能(BI)：在這里引用調(diào)研機(jī)構(gòu)Gartner對商業(yè)智能的定義。商業(yè)智能(BI)是一個(gè)總括的術(shù)語，其中包括應(yīng)用程序，基礎(chǔ)設(shè)施和工具以及***實(shí)踐，可以訪問和分析信息，以改善和優(yōu)化決策和績效。

生物特征：這就是JamesBondish技術(shù)與分析技術(shù)相結(jié)合，通過一個(gè)或多個(gè)物理特征識(shí)別人，如面部識(shí)別，虹膜識(shí)別，指紋識(shí)別等。

點(diǎn)擊流分析：用于分析用戶在網(wǎng)絡(luò)上瀏覽的在線點(diǎn)擊。曾經(jīng)想過為什么某些Google廣告還會(huì)繼續(xù)關(guān)注你，即使切換網(wǎng)站等?因?yàn)橹滥阍邳c(diǎn)擊什么。

聚類分析：試圖識(shí)別數(shù)據(jù)中的結(jié)構(gòu)的探索性分析。聚類分析也稱為分割分析或分類分析。更具體地說，它試圖確定同一組案例，即觀察者，參與者，回答者。如果分組不是先前已知的，則使用聚類分析來識(shí)別病例組。因?yàn)樗翘剿餍缘模_定了依賴變量和獨(dú)立變量之間的區(qū)別。SPSS提供的不同的聚類分析方法可以處理二進(jìn)制，名義，順序和比例(間隔或比率)數(shù)據(jù)。

比較分析：大數(shù)據(jù)的核心在分析中。顧名思義，比較分析是使用諸如模式分析，過濾和決策樹分析之類的統(tǒng)計(jì)技術(shù)來比較多個(gè)進(jìn)程，數(shù)據(jù)集或其他對象。人們知道它的技術(shù)性很差，但不能完全避開這個(gè)術(shù)語。比較分析可用于醫(yī)療保健，比較大量的醫(yī)療記錄，文件，圖像等更有效和更準(zhǔn)確的醫(yī)療診斷。

連接分析：你一定已經(jīng)看到這些像蜘蛛網(wǎng)一樣的網(wǎng)絡(luò)圖表連接主題等，以識(shí)別某些主題的影響者。連接分析是有助于發(fā)現(xiàn)網(wǎng)絡(luò)中人員，產(chǎn)品和系統(tǒng)之間的這些相互關(guān)聯(lián)的連接和影響，甚至組合來自多個(gè)網(wǎng)絡(luò)的數(shù)據(jù)的分析。

數(shù)據(jù)分析師：數(shù)據(jù)分析師是一個(gè)非常重要和受歡迎的工作職位，除了準(zhǔn)備報(bào)告之外，它還負(fù)責(zé)收集，操縱和分析數(shù)據(jù)。

數(shù)據(jù)清理：這有點(diǎn)不言自明，它涉及從數(shù)據(jù)庫中檢測和糾正或刪除不準(zhǔn)確的數(shù)據(jù)或記錄。還記得“臟數(shù)據(jù)”嗎?那么，使用人工和自動(dòng)化工具和算法的組合，數(shù)據(jù)分析人員可以糾正和豐富數(shù)據(jù)以提高其質(zhì)量。記住，骯臟的數(shù)據(jù)會(huì)導(dǎo)致錯(cuò)誤的分析和錯(cuò)誤的決策。

DaaS：你有SaaS，PaaS和DaaS為代表的數(shù)據(jù)即服務(wù)嗎?通過向客戶提供按需訪問云托管數(shù)據(jù)，DaaS提供商可以幫助快速獲取高質(zhì)量的數(shù)據(jù)。

數(shù)據(jù)虛擬化：這是數(shù)據(jù)管理的一種方法，允許應(yīng)用程序檢索和操作數(shù)據(jù)，而不需要其存儲(chǔ)位置及其格式等的技術(shù)細(xì)節(jié)。例如，社交網(wǎng)絡(luò)將人們的照片存儲(chǔ)在他們的網(wǎng)絡(luò)中。

臟數(shù)據(jù)：現(xiàn)在，大數(shù)據(jù)變得很流行，人們開始在數(shù)據(jù)中添加形容詞，產(chǎn)生新的術(shù)語，如暗數(shù)據(jù)、臟數(shù)據(jù)、小數(shù)據(jù)，現(xiàn)在是智能數(shù)據(jù)。骯臟的數(shù)據(jù)就是不干凈的數(shù)據(jù)，換句話說，是不準(zhǔn)確、重復(fù)的，以及不一致的數(shù)據(jù)。顯然，企業(yè)不希望與臟數(shù)據(jù)關(guān)聯(lián)。

模糊邏輯：人們對100%這樣的事物有多少把握?非常罕見。人類的大腦將數(shù)據(jù)聚合成部分真理，然后再抽象成某種閾值，來決定我們的反應(yīng)。模糊邏輯是一種通過模仿部分真理來模仿人腦的運(yùn)算，而不是像布爾代數(shù)的其余部分那樣的“0”和“1”這樣的絕對真理。模糊邏輯在自然語言處理中得到了廣泛的應(yīng)用，并已發(fā)展成為其他與數(shù)據(jù)相關(guān)的學(xué)科。

游戲化：在一個(gè)典型的游戲中，有人們喜歡的得分要素，與他人競爭，某些游戲規(guī)則等元素。大數(shù)據(jù)中的游戲化是使用這些概念來收集數(shù)據(jù)或分析數(shù)據(jù)或通常激勵(lì)用戶。

圖形數(shù)據(jù)庫：圖形數(shù)據(jù)庫使用的概念，如節(jié)點(diǎn)和邊界代表人員/企業(yè)和他們的相互關(guān)系，從社交媒體挖掘數(shù)據(jù)。曾經(jīng)想過，亞馬遜如何告訴你在購買產(chǎn)品時(shí)，別人買了什么?是的，圖形數(shù)據(jù)庫!

Hadoop用戶體驗(yàn)(Hue)：Hue是一個(gè)開放源代碼界面，使Apache Hadoop變得更加容易。它是一個(gè)基于Web的應(yīng)用程序，并且具有用于HDFS的文件瀏覽器，MapReduce的作業(yè)設(shè)計(jì)器，用于制作協(xié)調(diào)器和工作流程的Oozie應(yīng)用程序，Shell，Impala和HiveUI以及一組HadoopAPI。

HANA：高性能分析應(yīng)用程序，來自SAP的軟件/硬件內(nèi)存中平臺(tái)，專為大量數(shù)據(jù)交易和分析而設(shè)計(jì)。

HBase：一個(gè)分布式，面向列的數(shù)據(jù)庫。它使用HDFS作為其底層存儲(chǔ)，并支持使用MapReduce和事務(wù)交互的批量計(jì)算。

負(fù)載平衡：跨多臺(tái)計(jì)算機(jī)或服務(wù)器分布工作負(fù)載，以實(shí)現(xiàn)系統(tǒng)的***結(jié)果和利用率。

元數(shù)據(jù)：元數(shù)據(jù)是描述其他數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)總結(jié)了有關(guān)數(shù)據(jù)的基本信息，可以使查找和處理特定數(shù)據(jù)實(shí)例更容易。例如，作者，創(chuàng)建日期和日期修改以及文件大小是非常基本的文檔元數(shù)據(jù)。除文檔文件外，元數(shù)據(jù)也用于圖像，視頻，電子表格和網(wǎng)頁。

Mongo DB：一個(gè)跨平臺(tái)的開源數(shù)據(jù)庫，它使用面向文檔的數(shù)據(jù)模型，而不是傳統(tǒng)的基于關(guān)系數(shù)據(jù)庫的表結(jié)構(gòu)。這種類型的數(shù)據(jù)庫結(jié)構(gòu)旨在使結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在某些類型的應(yīng)用程序中更加容易和快速地集成。

Mashup：幸運(yùn)的是，這個(gè)術(shù)語對于我們在日常生活中了解mashup的定義類似。基本上，Mashup是將不同數(shù)據(jù)集合并為單個(gè)應(yīng)用程序的一種方法(示例：將房地產(chǎn)清單與人口統(tǒng)計(jì)數(shù)據(jù)或地理數(shù)據(jù)相結(jié)合)。這是一個(gè)非常好的可視化。

多維數(shù)據(jù)庫：針對數(shù)據(jù)在線分析處理(OLAP)應(yīng)用程序和數(shù)據(jù)倉庫進(jìn)行優(yōu)化的數(shù)據(jù)庫。它只不過是數(shù)據(jù)多個(gè)數(shù)據(jù)源的中央存儲(chǔ)庫。

多值數(shù)據(jù)庫：它們是一種直接了解三維數(shù)據(jù)的NoSQL和多維數(shù)據(jù)庫。它們直接用于直接操作HTML和XML字符串。

自然語言處理：為使計(jì)算機(jī)更精確地理解日常人類語言而設(shè)計(jì)的軟件算法，使人們能夠更自然、更有效地與之交互。

神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)是一個(gè)美麗的生物學(xué)啟發(fā)的編程范例，使計(jì)算機(jī)能夠從觀測數(shù)據(jù)中學(xué)習(xí)。有人稱編程范例很美，本質(zhì)上，人工神經(jīng)網(wǎng)絡(luò)是由現(xiàn)實(shí)生活中大腦的生物學(xué)啟發(fā)的模型。與這種神經(jīng)網(wǎng)絡(luò)密切相關(guān)的是深度學(xué)習(xí)。深入學(xué)習(xí)則是一套功能強(qiáng)大的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)技術(shù)。

模式識(shí)別：當(dāng)一個(gè)算法在大數(shù)據(jù)集或不同的數(shù)據(jù)集中定位遞歸或規(guī)律時(shí)，就會(huì)出現(xiàn)模式識(shí)別。它緊密相連，甚至被認(rèn)為是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的代名詞。這種可見性可以幫助研究人員發(fā)現(xiàn)見解或得出結(jié)論，否則會(huì)被掩蓋。

RFID-射頻識(shí)別：一種使用無線非接觸式射頻電磁場傳輸數(shù)據(jù)的傳感器。隨著物聯(lián)網(wǎng)革命，RFID標(biāo)簽可以嵌入到每一個(gè)可能的“東西”中，以產(chǎn)生需要分析的巨大數(shù)據(jù)量。

SaaS：軟件即服務(wù)，使供應(yīng)商能夠托管應(yīng)用程序并通過互聯(lián)網(wǎng)使其可用。SaaS提供商通過云計(jì)算提供服務(wù)。

半結(jié)構(gòu)化數(shù)據(jù)：半結(jié)構(gòu)化數(shù)據(jù)是指以常規(guī)方式未被捕獲或格式化的數(shù)據(jù)，例如與傳統(tǒng)數(shù)據(jù)庫字段或公共數(shù)據(jù)模型相關(guān)聯(lián)的數(shù)據(jù)。它也不是原始的或完全非結(jié)構(gòu)化的，并且可能包含一些數(shù)據(jù)表，標(biāo)簽或其他結(jié)構(gòu)元素。圖形和表格，XML文檔和電子郵件是半結(jié)構(gòu)化數(shù)據(jù)的示例，它在萬維網(wǎng)上是非常普遍的，通常在面向?qū)ο蟮臄?shù)據(jù)庫中。

情緒分析：情緒分析涉及捕捉和跟蹤消費(fèi)者在各種交互或文件(包括社交媒體，客戶服務(wù)代表呼叫，調(diào)查等)中表達(dá)的意見，情緒或感受。文本分析和自然語言處理是情緒分析過程中的典型活動(dòng)。目標(biāo)是確定或評估對公司，產(chǎn)品，服務(wù)，人員或事件表達(dá)的情緒或態(tài)度。

空間分析：指分析地理數(shù)據(jù)或拓?fù)鋽?shù)據(jù)的空間數(shù)據(jù)，以識(shí)別和理解分布在地理空間中的數(shù)據(jù)內(nèi)的模式和規(guī)律。

流處理：流處理旨在通過“連續(xù)”查詢對實(shí)時(shí)和流數(shù)據(jù)進(jìn)行操作。隨著從社交網(wǎng)絡(luò)不斷流出的數(shù)據(jù)，流處理和流分析的確需要在這些流中不間斷地計(jì)算數(shù)學(xué)或統(tǒng)計(jì)分析，以便實(shí)時(shí)處理大量的數(shù)據(jù)。

智能數(shù)據(jù)：智能數(shù)據(jù)據(jù)稱是在通過算法進(jìn)行的一些過濾之后，其數(shù)據(jù)是有用的和可操作的。

TB字節(jié)：一個(gè)相對較大的數(shù)字?jǐn)?shù)據(jù)單元，一T字節(jié)(TB)等于1000GB字節(jié)。據(jù)估計(jì)，10T字節(jié)可以容納美國國會(huì)圖書館的全部印刷品，而1T字節(jié)可以容納1000份百科全書。

可視化：通過正確的可視化，原始數(shù)據(jù)可以投入使用。當(dāng)然可視化并不意味著普通的圖形或餅圖。它們是指可以包含許多數(shù)據(jù)變量的復(fù)雜圖形，同時(shí)仍然可以理解和可讀

Yabyabytes：約1000ZB，或2500億張的DVD容量。如今的整個(gè)數(shù)字宇宙是1 Yabyabytes，這將每18個(gè)月翻一番。

Zettabytes：大約1000EB字節(jié)或10億TB字節(jié)。