在新的一年里，大數據將給我們帶來什么?這是任何人的猜測，真的，因為過去證明了未來很難預測。對于大數據預測，我們期待行業專家的洞察力。

數據庫提供商Percona的技術布道者Dave Stokes表示，人們對矢量數據庫的興趣將會激增。

“向量數據庫將是許多人討論的熱門新領域，但最終將在幾年后被關系數據庫所吸收。” Stokes預測，“每隔10年左右，就有一種‘新’數據庫技術被宣布為關系數據庫的終結，開發人員跳上了這股潮流，結果卻重新發現，關系模型極其靈活，關系數據庫供應商可以很容易地將新技術適應到他們的產品中?！?/p>

完全不同的數據孤島的存在一直是數據工程師的眼中釘，但Hammerspace的營銷高級副總裁Molly Presley表示，隨著集中式數據編排成為中心舞臺，2024年將帶來一線希望。

“公司將開始從‘存儲和復制’轉向數據協調的世界，” Presley說，“在AI進步的推動下，現在存在強大的工具來分析數據并梳理出可操作的見解，然而，文件存儲基礎架構沒有跟上這些進步的步伐。與試圖通過將文件副本從一個位置移動到另一個位置來管理存儲孤島和分布式環境的解決方案不同，數據協調可幫助公司將來自不同孤島和位置的數據集成到單個命名空間中，并在數據最有價值的時間和位置自動放置數據，從而更容易分析和獲得洞察?！?/p>

我們存儲的大部分數據都是非結構化的。Mino的聯合創始人兼首席執行官Anand Babu “AB” Periasamy表示，隨著它的堆積，這將成為一個真正的挑戰，但2024年將帶來管理這一切的新方法。

“2024年，隨著AI應用的迅速發展，我們將看到真正非結構化的數據(音頻、視頻、會議錄音、演講、演示文稿)的企業爆炸式增長。從AI的角度來看，這是高度‘可學習’的內容，將其收集到AI數據湖中將極大地提升企業整體的智能能力，但也伴隨著獨特的挑戰，”Periasamy說，“要將性能保持在幾十拍字節，存在著明顯的挑戰。傳統的SAN/NAS解決方案通常無法解決這些問題——它們需要現代高性能對象存儲的屬性。這就是為什么大多數AI/ML技術(即OpenAI、Anthropic、Kubeflow)利用對象存儲，以及為什么大多數數據庫正在轉向以對象存儲為中心的原因?！?/p>

根據Forrester的數據，由企業管理的非結構化數據將在2024年翻一番，為AI打開潛在的有利可圖的新選擇。

“全球數據和分析決策者表示，他們公司管理的數據中只有27%是非結構化的，該分析小組表示，“隨著公司為客戶和員工推出更多的對話體驗，GenAI將把這一數字翻一番。企業將爭先恐后地存儲、分析和理解這種非結構化數據的洪流。這一趨勢將體現在數據管道領域，2024年新建的數據管道中，80%將用于攝取、處理和存儲非結構化數據。”

Faction公司負責技術和運營的副總裁Jeff Heller表示，2024年，全球許多企業將實施數據優先架構，以簡化其數據管理戰略。

Heller說：“公司正在經歷一場范式轉變;他們要么選擇一種云，要么選擇架構師來滿足他們的需求。在2024年，公司將需要考慮哪種云最適合他們，以最大限度地利用數據?；诙唐谀繕硕皇情L期增長做出的決定將導致數據鎖定。數據需要準確和可訪問，才能及時做出決策。對于公司來說，管理數據正變得越來越復雜。對有效的數據管理策略的需求是至關重要的。企業將轉向提供從所有云的首選位置訪問單個數據集的解決方案，從而確保數據準確性和提高效率。”

數據管道商店Matillion的首席產品官Ciaran Dyes表示，AI革命正在觸及生活的方方面面，包括大數據管理。

“在過去的十年里，數據工程師的角色已經從根本上擴大了，” Dynes說，“未來12個月將是科技公司讓數據工程師的生活變得更簡單的一年。工具將投放市場，集成到現有平臺中，以支持將生成性AI添加到現有數據管道中，并能夠在內部部署這些模型，以便用戶可以與這些模型實時交互，就像他們已經對ChatGPT所做的那樣。不管市場上有哪些工具，明年也會出現對數據工程師的巨大需求，他們需要重新培訓數據工程師，以掌握即時工程，如何微調這些模型，如何大幅提高他們的生產率。明年，數據工程師的生活將變得更加有趣?！?/p>

你有多看重數據工程師?Snowflake公司的產品管理總監Jeff Hollan表示，在2024年，你會更加重視它們。

Hollan說：“有很多傳言說，AI革命將取代數據工程師的角色。事實并非如此，事實上，他們的數據專業知識將比以往任何時候都更加關鍵——只是以新的和不同的方式。為了跟上不斷發展的格局，數據工程師將需要了解GenAI如何增加價值。由數據工程師構建和管理的數據管道可能是第一個連接大型語言模型的地方，供公司釋放價值。數據工程師將是懂得如何使用模型并將其插入數據管道以自動提取價值的人。他們還將負責監督和理解AI工作。”

當數據由云中的第三方管理時，你可能會覺得數據失去了控制。Ngrok的首席技術官Peter Shafton預測，2024年將是你開始收回對數據的控制權的一年。

Shafton說：“2024年的數據管理將顯著轉向更易獲得和更好的控制。盡管過去十年見證了人們對基于云的數據解決方案的熱潮，但鐘擺正在朝著更自我管理的方向搖擺，這種轉變背后的原因有兩個：隱私和成本效益。數據泄露的持續威脅以及對更嚴格訪問控制的需求，使企業對僅依賴外部云平臺持謹慎態度。此外，云數據存儲和處理成本的不可預測性促使公司尋求更可預測、更具成本效益的解決方案。可訪問且用戶友好的數據管理工具的激增也推動了這一趨勢，這些工具通常源于由優步、Netflix和Airbnb等科技巨頭首創的開源解決方案。”

近幾年來，“數據智能”這個術語一直在增長，指的是公司對其數據實施的各種數據管理工具。Nasuni的首席創新官Jim Liddle表示，未來12個月將是這一概念成敗的關鍵。

Liddle說：“數量驚人的公司存儲了大量數據，只是因為他們不知道里面有什么，也不知道自己是否需要這些數據。數據準確和最新嗎?它是否得到了適當的分類，是否可以進行搜索?它合規嗎?它是否包含個人身份信息(PII)、受保護的健康信息(PHI)或其他敏感信息?它是按需提供還是存檔?在未來一年里，所有公司都將被迫接受AI的數據質量、治理、訪問和存儲要求，然后才能推進數字轉型或改進計劃，以獲得所需的競爭優勢。”

Coalesce首席執行官兼聯合創始人Armon Petrossian表示，如果不能保持數據的質量和完整性，你就可以和你的2024年GenAI計劃吻別了。

他說：“在2024年，隨著數據從一種有價值的資產演變為蓬勃發展的企業的命脈，技術格局將發生革命性轉變。忽視數據質量、完整性和譜系的公司將面臨挑戰，不僅要做出明智的決策，還要實現生成性AI、LLM和ML應用程序和用例的全部潛力。隨著這一年的到來，我預測，忽視打造強大的數據基礎和戰略的公司將發現，在快速發展的科技行業中維持下去將面臨越來越大的挑戰。那些未能適應和優先考慮數據基本面的公司將很難超越競爭對手，甚至可能冒著在這個競爭激烈的環境中生存的風險。”

數據沿襲構成了一個持久的挑戰。Altair云計算總工程師Yeshwant Mummaneni預測，2024年，區塊鏈將會伸出援手。

Mummaneni說，“隨著AI/ML模型在關鍵決策中發揮關鍵作用，無論是在人類的監督下還是以完全自主的方式，模型的起源/血統變得至關重要。區塊鏈利用密碼學提供記錄、數字身份、簽名和驗證的不變性的基礎技術，將成為企業AI提供防篡改模型來源的關鍵方面?！?/p>

2024年，另一個大數據趨勢將像寒冷冬夜的冰晶一樣增長：合成數據。SAS的高級分析產品經理Spiros Potamitis如是說。

Potamitis說：“隨著公司面臨更嚴格的監管，跨境共享敏感數據變得更具挑戰性，合成數據將獲得很大的吸引力。合成數據可以高精度捕獲原始數據源的統計屬性，從而克服監管障礙，為公司解鎖創新。”

ALTR首席執行官James Beecham表示，雖然你的大數據存儲庫感覺是正確的，但2024年將是數據治理“左移”的一年。

Beecham說：“公司將在數據之旅的早期實施數據治理和安全措施，位于云數據倉庫的左側，這不僅將保護敏感信息，還將提高收集數據的整體質量。隨著有關數據隱私和安全的法規越來越多，早期將數據治理和安全放在首位的公司將更好地準備好遵守這些法規。2024年，預計將看到大量公司優先考慮Shift Left數據治理和安全-使它們能夠啟動云數據倉庫和Lake House上可用的強大數據訪問治理和數據安全能力，并在數據離開源系統時將其擴展回數據?！?/p>

Denodo首席執行官Angel Vi?a表示，2023年，數據網格在某種程度上讓位于其他科技趨勢(我們正在關注你，GenAI)，但在2024年，數據網格的好處將變得過于明顯，不容忽視。

Vi?a說：“2024年將是數據網絡興起的關鍵一年，數據網絡擁抱了數據固有的分布式本質?！痹跀祿W中，IT的角色轉變為為數據域提供工作基礎，即在整個企業中創建和分發數據產品。轉折點將是認識到數據產品應該得到與任何其他提供…的產品同等的重要性。.在這個以數據為中心的時代，僅僅以吸引人的方式打包數據是不夠的，公司需要增強整個最終用戶體驗?！?/p>