NiFi –混合雲環境中的資料移動賦能者

語言: CN / TW / HK

Cloudera為客戶提供了一套在本地和雲中執行的一致解決方案,以確保無論其部署在何處,客戶都可以成功應對其所有用例。在這種混合雲策略中,Cloudera DataFlow在Cloudera Data Platform私有云基礎(本地)和公共雲(AWS、Azure和Google Cloud)產品中都提供了Apache NiFi。這種全面而靈活的解決方案為我們的客戶提供了一種非常安全、高效且簡便的方法,可以在他們在許多其他位置的不同環境之間來回遍歷資料。

儘管開發人員可以在雲中部署許多應用程式,但並非所有資料工作負載都屬於雲。雲提供商完全瞭解這一資料挑戰,因為它們都提供了越來越多的解決方案來在本地執行工作負載以與其技術一起使用。其中的一些挑戰可能是缺乏全面的安全性、資料處理加速時計劃外的價格上漲,或者根本無法滿足更具挑戰性的SLA截止日期。因此,公共雲並不總是很適合每個業務需求。

混合雲戰略的重要性

作為Google的前僱員,我見證了Anthos的誕生,Anthos是他們為提供混合雲戰略而推出的Google Cloud產品。這項宣佈是巨大的:能夠在其他雲提供商的基礎架構上以及使用Google Kubernetes Engine在本地執行Google技術。我喜歡這個主意。每個人都希望能夠在雲中或資料中心中的任何地方一致地執行相同的程式碼。

Cloudera隨Cloudera Data Platform提供的功能就是能夠跨多個環境部署工作負載。但是資料呢?您如何在所有用例中以一致的方式輕鬆地在環境之間移動資料?此外,企業在使用雲提供商的託管服務時如何確保沒有供應商鎖定?當您使用兩個或多個雲提供商時,相關的複雜性又如何呢?

藉助Cloudera Public Cloud和Cloudera Private Cloud,您將獲得一個一致的平臺,該平臺具有覆蓋本地部署基礎架構和任何雲提供商的管理、安全和治理層。您可以在任何地方執行相同的工作負載而無需進行任何更改,並且可以真正受益於雲帶來的具有計算資源彈性的承諾。我們瞭解到,我們的客戶通常是為兩個或多個雲提供商付費。這說得通。客戶希望從每個雲提供商那裡獲得最好的技術,並且他們還希望在價格談判中發揮槓桿作用。這就是Cloudera在任何雲提供商上提供相同公共雲平臺的原因。

隨時隨地獲取所需資料

現在我們都知道,成功開展業務就是擁有正確的資料。對於任何企業,對於任何用例,它都始於資料。我的資料在哪裡?我的資料是什麼?我為什麼需要它?如何獲取資料以及如何從中獲取見解?移動資料以進行分析和處理似乎是用例中最簡單的部分,但事實並非如此!獲取資料並正確處理資料是一個非常具有挑戰性的問題。這就是Cloudera提供由Apache NiFi支援的Cloudera Flow Management的原因。該資料流解決方案是最好的、最簡單的技術,可在需要處理資料的任何地方獲取資料。而且,當您採用真正的混合雲架構時,您需要輕鬆地在環境之間來回移動資料,同時確保適當級別的安全性、彈性、可審計性和治理。

Apache NiFi提供了一種簡單而安全的方法,可以在NiFi群集之間高效地雙向交換資料,同時確保使用Apache Ranger在整個環境中實現一致的策略,並使用Apache Atlas提供資料血緣和治理。兩種軟體都是Cloudera資料平臺內SDX(Cloudera共享資料體驗)的一部分。NiFi提供高可用性和適當的負載平衡,同時還支援資料壓縮,以確保您的進出口成本始終受到控制。NiFi還可以用於從各種來源收集資料,尤其是可以使用Cloudera Edge Management和MiNiFi代理(您可以在邊緣和規模上進行部署)收集資料。此外,NiFi還提供了廣泛的處理器來與雲提供商的原生託管服務進行互動這條路。

我們的一位汽車客戶正在使用Apache NiFi站點到站點協議在其工廠和雲之間移動資料,以利用Cloudera Data Warehouse的彈性和Cloudera機器學習的經驗。它確保僅在需要時才使用正確的計算資源,並且可以根據需要將結果移回到本地部署中。此功能是成本優化的完美示例,您只需使用所需的功能即可。

另一個用例是,當您有許多流資料來源並且不想將所有內容傳送到您的公共雲提供商時。因為您的業務遍及全球,所以您不想讓您的來源通過Internet傳送資料。您需要一個閘道器來進行所有資料傳輸,並且希望控制入口和出口成本。再一次,您可以將Cloudera Flow Management用作在環境之間來回移動資料的閘道器。它提供了一種移動資料的可靠方法,使事情變得簡單,並且您具有一致的安全性,資料沿襲和資料治理。

由Apache NiFi支援的Cloudera Flow Management是在真正的混合雲環境中解決批量和流傳輸用例的資料移動挑戰的最佳技術。NiFi應該是您移動任何資料的閘道器。與我們聯絡以立即啟動並執行!

作者:Pierre Villard

原文連結:https://blog.cloudera.com/apache-nifi-the-data-movement-enabler-in-a-hybrid-cloud-environment/




本文分享自微信公眾號 - 大資料雜貨鋪(bigdataGrocery)。
如有侵權,請聯絡 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。