助力企業高效數智化,亞馬遜雲科技縱深“雲、數、智三位一體”服務

語言: CN / TW / HK

當下“打破資料孤島”與“深入挖掘資料價值”的理念被更廣泛認知,資料與智慧的融合被視作企業發展的新引擎。一個顯見的問題是,在資料科技與人工智慧關注不同要素,沿兩條不同的技術路線越走越遠背景下,融合如何充分實現。

作為全球領先的雲服務解決方案供應商,以及雲上數智融合的推動者,亞馬遜雲科技日前就“企業在雲中打造統一資料基礎底座,實現大資料和機器學習的雙劍合璧”的相關內容分享了自身的理念與成果,並對提供數智化技術的“智慧湖倉”架構的新變化進行了說明。

(圖:亞馬遜雲科技大中華區產品部總經理陳曉建)

企業“數智融合”過三關

亞馬遜雲科技大中華區產品部總經理陳曉建分享了亞馬遜雲科技在多年服務中歸納的企業數智融合共性問題,主要有三點,且相互關聯:

一是,大資料和機器學習“分而治之”。一方面,既表現在技術路線的差異上,又表現在負責團隊的各自獨立上;另一方面,也存在專業資料在不同業務部門間缺少流轉的情況,這也給機器學習中資料採集和解構的過程帶來了額外的負擔。

二是。資料處理能力整體不足。現實情況中,負責機器學習的團隊更關注演算法,缺少對海量規模資料處理的能力,這對演算法的後續優化與後續應用的有效性都有影響。

三是,資料分析人員參與度低。陳曉建介紹稱,現實情況很可能是,一個演算法在研發和測試階段表現非常好,但一到使用環節就暴露很多問題,因為測試環節只是真實環境的簡單模擬,真實環境複雜度會高很多。

以上問題的存在,也是亞馬遜雲科技認為“企業在雲中要打造統一的資料基礎底座,實現大資料和機器學習的雙劍合璧”的原因。

亞馬遜的“雲上數智融合”

就陳曉建的描述,一個好的、合理的大資料和機器學習融合架構要具備三點關鍵的能力特徵,這也是亞馬遜雲科技努力實現的:

其一,能夠建立統一融合的資料底座。其中包括資料質量、許可權、開發、視覺化,通過大資料與AI機器學習之間高效、充分的雙向互動與迴圈,實現資料融合。重點在於,實現統一的資料共享,避免重複工作、增加複雜度、浪費成本;建立統一的資料採集、儲存、質量權衡標準、許可權控制,推進資料流動;統一開發和流程編排。

其二,能夠為機器學習提供生產級的資料處理能力。重點是能夠通過開放的引擎,對異構的、多元的資料進行處理;具備彈性,能夠根據業務的負載進行靈活的底層資源收縮;優化資料質量,為機器學習提供高質量的資料來源。

其三,能夠通過智慧資料分析,統一技術和業務價值。通過為使用者提供更智慧的資料分析服務,讓業務人員可以完成智慧分析、模型效果驗證以及自主式創新,進一步是吸納研發與業務之間的協同。

“智慧湖倉”的能力迭代

根據亞馬遜雲科技大中華區產品部技術專家團隊總監王曉野的描述,亞馬遜雲科技認為,企業在現代化資料程序中,需要的不是單一的產品,而是需要靈活開放的架構,通過可擴充套件、安全可靠的資料服務,專門構建帶來高效分析能力的資料分析引擎以及AI工具,從而提供極致效能。

至於近一年來的具體升級,則是在關聯前述關鍵能力的前提下展開:

亞馬遜雲科技統一的資料治理底座不僅能提升大資料和機器學習的高效融合,還能減少大資料和機器學習重複構建的工作,並且顯著降低成本。

其中,Amazon Lake Formation推出諸多新功能,實現了資料網格跨部門的資料資產共享,以及基於單元格的最細粒度的許可權控制機制;Amazon SageMaker Studio可一站式地完成資料開發、模型開發及相關的生產任務,該服務基於多種專門構建的服務為大資料和機器學習提供統一的開發平臺。

亞馬遜雲科技提供多種靈活可擴充套件、專門構建的大資料服務,幫助客戶進行復雜的資料加工及處理,應對資料規模的動態變化,優化資料質量。

其中,Amazon Athena能夠對支援多種開源框架的大資料平臺,包括多種資料來源,對這些資料來源進行聯邦查詢,快速完成機器學習建模的資料加工。資料來源中以Amazon Redshift、Amazon Managed Streaming for Apache Kafka (Amazon MSK)和 Amazon EMR 為代表的無伺服器分析能力,可以讓客戶無需配置、擴充套件或管理底層基礎設施,即可輕鬆地處理任何規模的資料,為機器學習專案提供兼具效能和成本效益的特徵資料準備。

亞馬遜雲科技還不斷提供更加智慧的資料分析服務,賦能業務人員進行智慧分析、模型效果驗證以及自主式創新。

例如,在日常分析工具中整合機器學習模型預測能力,其中深度整合機器學習Amazon SageMaker模型預測能力的Amazon QuickSight 、在分析結果中新增基於模型預測的Amazon Athena ML,可幫助使用者使用熟悉的技術,甚至通過自然語言來使用機器學習;還提供如Amazon Redshift ML、可視資料準備工具Amazon Glue DataBrew、零程式碼化的機器學習模型工具 Amazon SageMaker Canvas等服務,讓業務人員探索機器學習建模。

目前來看,在企業轉型縱深推進、數智融合加速進行的過程中,“建立統一的資料基礎底座”是可行路徑,統一底座在“雲”中落實,能夠極大限度地保障融合的有效性,亞馬遜雲科技的“雲、數、智三位一體”服務組合將為相關企業提供更多有效助力。(釘科技原創,轉載請務必註明出處“釘科技網”)