2023年五大趨勢預測 | 大數據分析、人工智能和雲產業展望

語言: CN / TW / HK

隨着我們邁入2023年,大數據分析、人工智能和雲產業將迎來蓬勃的創新和發展階段

以下是我們預測的,將對行業格局產生重大影響的五大趨勢

世界在劇變,我們需要儘快尋找行業中的方向,迅速重回軌道

2023年,全球經濟層面的不確定性將持續存在。

在雲上部署數據密集型負載的企業需重新評估其雲戰略,更加關注成本優化,根據現有或新項目的ROI(投資回報率)和TCO(總擁有成本)來進一步審視企業的雲開銷。

在新的一年裏,實現成本優化的一個重要途徑就是降低企業雲成本中佔比較大的數據出口成本(egress cost)。

越來越多的企業會優化其架構,以避免遭到超出預期的數據出口成本的衝擊。例如,企業可以考慮通過Alluxio緩存來降低經網絡傳輸的數據流量。

此外,越來越多的企業在尋求實現“多雲部署自由”, 從而能夠不受限制地使用任何雲廠商的服務。確保應用的可移植性將是實現這一“自由”的前提條件,這讓企業能夠根據自己的具體要求和預算選擇最佳的方案。

包括OpenAI 的對話模型ChatGPT 、DALL-E 2的圖像生成模型以及谷歌LaMDA聊天機器人等大模型在2022年都已展現出巨大的潛力。

預計這類模型將在 2023 年解鎖更多用例和應用程序。

同時,這些模型的普及將有望推動人工智能專業化基礎設施和解決方案的發展。

訓練具有數十億個參數的大模型需要特殊的基礎設施和解決方案來處理計算需求。因此,能夠支持這種規模和複雜性模型的人工智能基礎設施將會不斷髮展

此外,隨着大模型不斷升級優化,研發人員將需要找到更多新的方法,用來把更多的大模型和實際的應用場景結合起來。因此,我們預計隨着人工智能基礎設施的發展,新的工具和平台將出現,使研發人員能夠更容易地開發和應用大模型。

數據共享既包括企業內部的數據共享,也包括企業間的數據共享。

儘管數據共享目前尚未普及,處於早期階段,但是,以數據共享為核心的生態體系,包括為數據消費者和數據提供者的基礎設施、交易能力和服務,都將在 2023 年得到長足的發展。

跨區域的數據價值實現將驅動企業內部數據的共享,進一步消除數據孤島。隨着越來越多的企業尋求將數據資產貨幣化,外部數據共享的應用場景和成功案例也在顯著增多。例如,面向學術界和研究領域,企業正在探索利用數據共享平台來共享研究數據,從而加速科研進度。

這一趨勢將對數據基礎設施產生重大影響,企業需要通過調整和升級系統來支持跨地區、企業、雲以及平台的數據共享。由於企業需確保以合規和安全的方式管理和訪問其數據,因此也將更加關注數據治理和數據安全

在現代數據技術棧中,數據倉庫和數據湖的融合趨勢越發明顯。

其背後的驅動力在於數據日趨複雜化和多樣化,企業需要靈活和可擴展的系統來支持大範圍的數據科學和分析用例。因此,數據倉庫和數據湖的融合度也越來越高。

Apache Iceberg、Hudi 和 Delta Lake 等開放表格格式的興起在這一趨勢中發揮了重要作用。通過使用表格式定義層,可以在單個系統中有效地存儲和管理大量結構化和非結構化數據,使得企業能夠以更低的成本更快地提取數據價值。

到 2023 年,隨着這些解決方案的迅速採用,更多的企業將使用開放表格格式存儲數據。

長期以來,Kubernetes 中的存算分離對數據本地性造成了挑戰。儘管在Kubernetes 中進行數據密集型應用的部署和彈性擴展已經十分容易,但在訪問雲原生數據源中的數據(例如 AWS S3 或遠程數據倉庫)時卻更加困難。

我們預測,在2023 年,數據本地性的難題將得到解決。

對於Kubernetes調度器來説,能夠獨立於數據位置進行決策的能力變得越來越重要。這種能力對於Kubernetes接口來説將愈發關鍵,它將幫助應用程序和調度器更加高效,諸如Alluxio等組件目前正在計劃提供相關支持。

因此,新的一年將會出現更多彌合計算和存儲的解決方案,幫助企業更好地管理和優化其在 Kubernetes 中的數據存儲和處理。

2023年對於大數據、人工智能和雲產業而言將是激動人心的一年。

大量的突破和創新將主導這些領域的未來走向,許多技術範式將不斷融合,形成一個以數據為中心的生態系統。

至於各項技術將如何演進並影響我們的生活,讓我們拭目以待。

範斌 Alluxio創始成員兼開源社區副總裁
加入Alluxio前, 在Google從事下一代大規模分佈式存儲系統的研究與開發. 範斌博士畢業於卡內基梅隆大學計算機系, 博士期間在分佈式系統算法和系統實現等方向發表多篇包括SIGCOMM, SOSP, NSDI等頂級國際會議論文以及多篇專利。

想要了解更多關於Alluxio的乾貨文章、熱門活動、專家分享,可點擊進入【Alluxio智庫】