Oracle資料庫解決方案集錦
前言
大家好,在進入正題之前,首先想說一下為什麼會有這篇文章。經常有使用者或者銷售來問我,我們Oracle有沒有數字化轉型的方案?有沒有資料底座,湖倉一體的方案?有沒有大資料,資料治理的方案?諸如此類。其實我想說的是,資料是現代化企業的核心資產,只要企業以資料為驅動,Oracle就能夠直接或間接的提供幫助;無論這些熱詞如何酷炫,或許未來還會不斷的產生新的時髦的概念,只要他們和資料發生聯絡,Oracle就可以對構建這些方案助一臂之力。
Oracle資料庫經過40多年的發展,已經發展了豐富多樣和成熟的能力。Oracle也沒有故步自封,一直在根據行業的發展趨勢和基於使用者的業務需求來探索和發展新的能力,如融合化,自治化等。 Oracle資料庫的核心能力就體現在接下來要 介紹的 解決方案當中,而這些方案也是支援前述使用者關係的數字化轉型,資料底座等方案的重要基礎。這些方案涉及到資料的方方面面,包括資料管理,資料分析,資料安全,資料保護,資料整合等。
Oracle資料庫解決方案集錦
1
Oracle業務連續性保護解決方案
熟悉Oracle的朋友,一定對MAA不會陌生。MAA表示 Oracle 最高可用性體系結構,是建設使用者業務連續性的藍圖和最佳實踐。MAA可以最大程度提高系統可用性,並在系統可用性、服務質量和資料保護方面達到最嚴苛的服務級別協議 (SLA) 要求。 MAA涉及的領域非常廣泛,但最核心的3個方面包括備份,高可用(HA)和災難恢復(DR)。
備份是業務連續性 保護的 起點和底線 , 業務也許可以停,但 資料一定不能丟。Oracle 零資料丟失恢復一體機(簡稱為ZDLRA或RA)是一款整合式資料保護解決方案,有助於消除整個企業中所有 Oracle 資料庫的資料丟失風險。利用實時Redo傳輸技術,所有資料更改都會立刻記錄到恢復一體機中,一旦發生故障或勒索軟體攻擊時,資料庫可以恢復到故障發生時刻的前一秒內。恢復一體機提供基於驗證的自動化的永遠增備方法,這消除了對耗時的全量備份的需求,並可將資料庫伺服器和管理資源釋放出來用於生產負載。此外,恢復自動化、備份不可更改和高可用性架構可幫助企業滿足政府對於保護和快速恢復關鍵資料的要求。
備份的下一階段是高可用。資料庫高可用在硬體層面通過冗餘部件實現,在軟體層面則是通過RAC,即真正應用叢集。Oracle RAC允許客戶在多個伺服器上執行單個 Oracle 資料庫,以最大限度地提高可用性並在訪問共享儲存時實現水平可擴充套件性。連線到 Oracle RAC 例項的使用者會話可以在中斷期間進行故障轉移並安全地重放更改,而無需對終端使用者應用程式進行任何更改,從而隱藏了中斷的影響並提升了使用者體驗。
為防止整個站點失效,還可以進一步實施災難恢復或災備方案。Oracle資料庫標準的災備元件為ADG,即活動資料衛士。ADG支援豐富的Redo傳輸模式(同步,非同步,Far Sync),資料保護模式(最大效能,最大可用和最大保護),備庫模式(物理備庫,快照備庫和邏輯備庫)和拓撲結構(一對一,一對多,級聯),可實現深度的Oracle資料庫保護。同時,ADG管理運維簡單,可實現一鍵式資料庫切換和回切。由於備庫可讀,因此可以將查詢,分析,備份等負載在備庫執行,減輕生產端資料庫的負擔,提升災備的投資回報率。關於ADG的詳細介紹,可參考之前的文章:“ 防大於治,做好資料保護的最後一公里 ” 。
Oracle GoldenGate(OGG)本質上屬於資料整合產品,當 與其他 Oracle MAA 技術結合使用時,OGG 消除了日常資料庫維護和升級、作業系統補丁、應用程序升級和平臺遷移期間的停機時間。所有操作都受到故障恢復功能的保護,消除了丟失資料的風險。OGG 可以部署在雙活或多活配置中,以實現資料庫可擴充套件性或分散式同步。OGG的多活特性和ADG配合,可以構成Oracle資料庫最高級別的業務連續性保障方案。
如果說軟體是思想,硬體則是身體,兩者不可偏廢。Exadata作為承載Oracle資料庫的首選平臺,本身也結合了MAA最佳實踐,並且提供私有云,專有云和公有云多種部署方式。關於Exadata的介紹,可參見之前文章" Oracle Exadata 決策者指南 "、" Oracle Exadata X8M:終結 DIY 資料庫系統 "和" 那些只在Exadata上支援的資料庫特性 "。
2
Oracle資料庫整合解決方案
在經歷了儲存整合、伺服器整合、桌面整合後,企業逐漸將重點轉向資料層面的整合。 Oracle相應 推出了資料庫整合解決方案,即DBaaS(資料庫即服務)。
組織之所以被 DBaaS 所吸引,是因為它可以簡化 IT 基礎架構,從而可以方便地從同一個硬體和軟體基礎架構為許多使用者和多個部門提供資料庫功能,同時還能使手工供應流程實現自動化。在傳統環境中供應新資料庫可能需要數天甚至數週時間。而 DBaaS 可以使這個時間縮短為寥寥數分鐘。更簡單的 IT 基礎架構可確保更大的業務敏捷性和更低的風險及成本。DBaaS 最吸引人的另一個方面是,整合能帶來更小的硬體空間佔用,這會降低成本。此外,許多使用者和部門在為自己的資料庫服務付費的同時共享基礎架構,這會降低這些服務的單價。
Oracle DBaaS解決方案的三個技術核心元件為資料庫軟體層面的多租戶選件(Multitenant),資料庫硬體層面的Exadata,以及資料庫運維管理層面的Oracle企業管理器( Enterprise Manag er )。
Oracle Multitenant 可將 Oracle 資料庫“轉變”為容器資料庫 (CDB),一個 CDB 可整合多個可插拔資料庫 (PDB),從而提高資源利用率、優化管理和增強整體安全性。 Multitenant的多合一管理可以簡化運維,PDB的克隆,快照和增量可重新整理功能可快速提供 生產資料庫最新副本,支援多樣化的開發和測試需求。
Oracle 企業管理器是Oracle資料庫首選運維管理解決方案,專為監控和管理本地部署和雲環境中的Oracle 資料庫和整合系統而設計。 O racle 企業管理器針對資料庫的主要功能包括:
- 資料庫效能管理,幫助 DBA 快速發現和修復效能問題。
- 資料庫運營自動化,包括大規模自動化運營、自動化供應和克隆、配置管理、安全性和合規性實施等。
- 針對Oracle資料庫和Exadata的企業級監控和一體化管理。
Oracle Exadata是理想的資料庫整合平臺。由於 Exadata 資料庫雲平臺可提供超強效能、大儲存容量和獨有的壓縮功能,因此,原本需要超大型傳統硬體系統的負載現在可以在小得多的 Exadata 系統上執行。在選型方面,與傳統系統相比,Exadata 系統規模通常要小 2-4 倍。
資料庫整合 除了以上三大技術支柱 外,ZDLRA可實現資料庫備份的整合,Oracle的融合資料庫特性可實現非結構化資料,JSON,Spatial和Graph等多資料型別的整合。Database In-Memory資料庫選件可實現極限分析工作負載的整合。
總之,對於資料庫整合場景,無論是多租戶,多工作負載,還是多資料型別,Oracle都可以提供全面的支援。
3
Oracle資料庫管理解決方案
沒有儀表盤的汽車很難駕駛,同樣,沒有Oracle Enterprise Manager的資料庫也很難管理。 Oracle En terprise Manage r(簡稱EM)是Oracle資料庫運維管理的首選工具,可以集中統一的管理Oracle,MySQL,TimesTen等資料庫,Exadata和ZDLRA工程化系統,Oracle中介軟體和Oracle應用。通過外掛,EM還可以管理Microsoft SQL Server,IBM DB2,Sybase ASE資料庫。通過聯結器,EM可以與BMC Remedy,CA Service Desk,HP Operations/Service Manager,IBM Tivoli,Microsoft Systems Center,PagerDuty和ServiceNow等管理框架整合。
對於資料庫的管理,如上圖所示,EM提供了5個管理包(Management Pack)。其中診斷包和調優包通常是使用者最基礎的選擇,也是DBA的最佳搭檔。AWR,ASH和ADDM等常用工具均包含在診斷包中。調優包中則包括了各式各樣的調優顧問和自動調優工具,如SQL Access Advisor、SQL Tuning Advisor和Automatic SQL Tuning。資料脫敏與子集包可提取所有或部分生產資料,脫敏後交付給開發和測試環境,自動化的過程和豐富的脫敏選項大幅降低了DBA的運維負擔,同時保證了資料隱私和安全合規性。資料庫生命週期管理包是一個全面的解決方案,可幫助資料庫、系統和應用程式管理員自動執行管理 Oracle 資料庫生命週期所需的流程。此外,資料庫生命週期管理包還提供了用於行業和法規遵從性標準報告和管理的合規框架。Oracle資料庫雲管理包可用來建立資料庫雲或DBaaS服務。
4
Oracle資料安全解決方案
Oracle關於架構的三字經,除了之前介紹的MAA,還有一個MSA,就是最高安全架構。Oracle最高安全架構提供加密、金鑰管理、資料脫敏、特權使用者訪問控制、活動監視和審計等功能,可幫助您降低資料洩露風險並簡化合規性流程。
Oracle資料安全秉承兩大原則,即深度防禦和最小許可權原則。深度防禦也稱為縱深防禦或多層防禦,類似於洋蔥,外層攻破了還有內層的保護。從應用整體來看,從外到內包括網路,硬體,作業系統,應用軟體,資料庫;從Oracle資料庫角度看,則包括風險 評估 、防止未經授權的資料洩露、檢測和報告資料庫活動以及通過資料驅動的安全性在資料庫中實施資料訪問控制。
Oracle資料庫安全性的優勢包括:
利用機器學習防範威脅:自動化保障資料庫安全,包括應用關鍵補丁,從而節省時間,最大限度避免人為錯誤。
- 整合的解決方案,提供更高效能:Oracle 透明資料加密(TDE)和 Oracle Database Vault 直接在資料庫核心中執行,更快捷,更易於維護。
- 降低使用者、資料和配置風險:Oracle Data Safe雲服務或DBSAT(資料庫安全評估工具)通過安全性評估、活動審計、敏感資料發現以及資料遮蔽為您降低風險。
- 自動化且始終啟用的內建安全性:Oracle 自治資料庫提供多項功能,例如始終加密、自動打補丁以及預配置職責分離,從而增強了安全性並降低了人為錯誤的風險。
在上述優勢中,特別強調兩點。一是Oracle可以為使用者或協助使用者利用DBSAT對資料庫進行評估,詳情可參見之前文章“ 資料庫安全小助手DBSAT ”。二是,Oracle透明資料加密可在資料庫層面直接啟用表空間或列級加密,無需改變應用。從開銷考慮,列加密要大於表空間加密。
Oracle MSA架構中,有幾個產品也支援非Oracle資料庫,他們是:
- Enterprise Manager中的資料脫敏和子集包
- Oracle AVDF( 審計 保險 箱和資料庫防火牆 )
- Oracle Key Vault (祕鑰保險箱),建議配合TDE使用
最後,Oracle資料庫19c版本於2020年4月10日高分通過公安部“資訊保安技術網路安全等級保護基本要求”(即等保2.0)第四級要求中資料庫系統的安全防護要求能力測評,建議您在新系統中採用19c或儘快將資料庫遷移至19c。
5
Oracle 記憶體計算解決方案
提到記憶體,大家都會想到和效能相關。但考慮到Oracle記憶體計算技術的多樣性,最終還是決定單獨來寫,而沒有放入後續的高效能和可擴充套件性解決方案。
Oracle記憶體計算家族的第一個成員是TimesTen。TimesTen最初來自於惠普實驗室的記憶體駐留資料庫專案Smallbase。1996年,TimesTen從惠普分拆並在加州成立獨立公司。1998年,TimesTen釋出業界第一個商用的記憶體關係型資料庫。2005年6月,TimesTen被Oracle正式收購。
TimesTen有兩種用法,一種是作為Oracle資料庫的讀寫快取。讀快取用於加速熱點資料的訪問,寫快取適用於物聯網應用的高速資料攝入。這種快取方式除了提升資料存取效能外,還可以 減輕後端資料庫壓力,並提升整體的高可用性。另一種是作為獨立資料庫使用,支援傳統和分散式兩種模式。
除了效能,TimesTen的主要特點,第一個是關係型。畢竟對於資料庫而言,支援SQL和ACID都是非常重要的特性。第二個是和Oracle資料庫和Oracle GoldenGate的緊密整合。在作為Oracle資料庫快取時,TimesTen只需配置而無需程式設計。TimesTen也高度相容Oracle的資料型別,SQL和PL/SQL語法。第三個則是分散式,對效能有極致需求的應用可以考慮使用。關於TimesTen的更多介紹,請參考之前文章“ Oracle - 記憶體計算的王者 ”和“ Oracle TimesTen 關係型記憶體資料庫18.1新版本詳解 ”。
Oracle記憶體計算家族的第二個成員是 Oracle Database In-Memory,簡稱DBIM。有人說,DBIM的推出是為了應對SAP HANA,對此我無法確定。但不可否認,兩者的應用場景高度重疊,技術實現上也有諸多類似之處。
和TimesTen不同,DBIM是Oracle資料庫的一個選件。其用途只針對有分析型負載的應用,如純用於分析的資料倉庫和資料集市,或ERP,CRM,財務,人力資源等混合負載應用。由於DBIM是資料庫核心的一部分,因此其可以就地加速分析,這 對於實時分析或運營分析的場景是非常重要的。 Oracle Database In-Memory對於應用的加速是透明的,無需修改應用,可以減少或消除對分析型索引的依賴,由此也可以提升OLTP負載的效能。
在技術實現上,DBIM 提供了一種獨特的雙格式架構,可以同時使用傳統的行格式和新的記憶體中列格式在記憶體中表示表。Oracle SQL 優化器自動將分析查詢路由到列格式,將 OLTP 查詢路由到行格式,從而透明地提供兩全其美的效能優勢。Oracle 資料庫自動維護行格式和列格式之間的事務一致性,就像維護表和索引之間的一致性那樣。新的列格式是純記憶體中格式,不會在磁碟上持久保留,因此不存在額外的儲存成本或儲存同步問題。關於DBIM的介紹,可參見之前文章“加速度:走進Oracle Database In-Memory”和“海信Oracle Database In-Memory案例分享”。
其實Oracle記憶體計算家族還有另一重要成員 Oracle Coherence ,技術上屬於記憶體網格。本解決方案主要談記憶體資料庫,因此這裡就不涉及了。
6
Oracle 高效能和可擴充套件性解決方案
Oracle的高效能保證來自於軟體,硬體,管理多個層面。
在軟體方面,Oracle資料庫有RAC,Partitioning、高階壓縮和Database In-Memory共4個選件。
Oracle RAC是一個共享快取的叢集資料庫架構,它突破了傳統的無共享和共享磁碟架構的限制,從而能夠提供無與倫比的資料庫效能、可伸縮性和可靠性,而且無需對現有的 Oracle 資料庫應用程式進行修改。所以你會看到RAC是一個比較全面的資料庫選件,對效能,高可用和可擴充套件性都有貢獻。
說到壓縮,大家通常想到的都是節省空間,包括資料庫本身,以及相應的備份,開發測試環境,網路傳輸等。除了節省成本,Oracle高階壓縮還可以提升查詢的效能,這是由於壓縮導致記憶體中可以快取更多的資料,從而減少了物理I/O請求。
和Oracle RAC一樣,Oracle Partitioning也是一個綜合型的選件,可以提升資料庫的效能,可用性和可管理性。技術上, Oracle Partitioning可以將表和索引細分為更小、更易於管理的單元,這樣 資料庫管理員便可採用一種“分而治之”的方法來管理資料。
如果需要 極速實時分析, 可以使用 Database In-Memory來 應對,這在上一個方案中已有 介紹。
再來談一下Oracle資料庫的可擴充套件性。有些人認為Oracle資料庫是單體架構,擴充套件起來可能會有問題。有時也會碰到使用者,擔心未來業務增長太快,所以一開始就要求分散式架構,要求分庫分表。實際上, Oracle也支援原生分片(Sharding)技術,只是Oracle不主張在沒有對應用負載有清晰的瞭解和估算的情況下,一開始就談分散式和分庫分表。
大家可能只看到了分散式無限擴充套件性的一面,往往忽視了分散式在開發,運維,變更和整合等方面的複雜性,以及為保證一致性、高可用性和跨片查詢的高技術門檻。 所以,我個人的觀點是非必要不分佈。而且,就我所瞭解的業務系統中,很多都是用 單 體Oracle來支援,並沒有用到分散式架構 。
對於分庫分表, Oracl e Partitionin g 強大的能力和豐富的分割槽型別使得分庫分表在絕大多數情況下沒有必要。 Oracle資料庫沒有單錶行數的限制, Oracle的使用者中,單表數十億條記錄的情形並不少見。 不必分庫分表實際上簡化了架構,簡化了整合,簡化了開發和運維。
Oracle用於可擴充套件性的第一個技術是RAC,可以將更多的計算資源聚合在一起,並通過服務實現負載分佈和負載均衡。第二個可擴充套件技術是資料複製。當源資料庫負載不堪重負時,可 以 利用Oracle GoldenGate和Active Data Guard生成一個或多個數據副本,然後轉移部分負載在這些資料副本上進行處理。最後,如果有必要可以使用應用定製的分庫分表或Oracle原生的Sharding技術。
為了保障Oracle資料庫的效能,硬體的支援也非常重要。需要保證有足夠的記憶體,高效能的CPU,高I/O能力的儲存系統。Exadata可以為Oracle資料庫提供堅實的效能保障。
效能管理方面,Oracle提供EM診斷包和調優包。EM可以檢視非常全面和細緻的資料庫指標,為資料庫效能診斷和調優提供可信的依據,強力輔助應用開發端完善應用架構,優化應用程式碼。這種看似非常基礎的能力,實際上並不容易做到,需要長期的積澱,需要在大量使用者應用基礎上經驗和教訓的總結歸納。在Oracle資料庫中執行的應用程式碼,就如同放置於顯微鏡下,纖毫畢現,可以清楚的知道其來龍去脈。又如同CT掃描,可以清楚知道其健康狀況,從而快速準確的定位和解決問題。
前面提到,很多使用者可能對自己的應用負載沒有清晰的認識,此時可以藉助Oracle真正應用測試(Real Application Testing,簡稱RAT)資料庫選件,使用者不必費時費力編寫負載模擬程式碼來對應用進行測試。RAT包括2個元件,即Database Replay和SQL Performance Analyzer(SPA)。Database Replay可以抓取生產資料庫的工作負載並在測試資料庫中存放,SPA則通過識別每個 SQL 語句的效能差異來自動化評估系統變化(資料庫升級,索引變更,引數調整等)對整個 SQL 工作負載的總體影響的過程。Oracle真正應用測試使新系統規劃更準確,系統遷移更有信心,同時簡化了DBA的工作任務。
總之,通過Oracle全面深入的效能管理工具和效能測試工具,您可以消除當前的效能問題,準確預估未來負載對可擴充套件性的要求;通過Oracle的效能元件,可以使用簡潔的單體架構承載大型應用負載,避免分散式架構,分庫分表在開發,運維,擴充套件,整合,安全管理,高可用等方面帶來的複雜性。最後,如果必要,也利用資料庫複製和應用定製或原生的分片技術來實現Oracle資料庫的可擴充套件性。
7
Oracle商務智慧與資料倉庫解決方案
Oracle商務智慧與資料倉庫解決方案,或稱為BIDW解決方案,從資料流動的方向,包括資料整合,資料儲存與處理,資料分析和展現幾個階段。
BIDW方案中,資料來源支援結構化的關係型資料庫,也支援半結構化和非結構化的JSON,文字,圖形影象等。 整合方式包括屬於CDC(變化資料捕獲)支援實時整合的Oracle GoldenGate以及屬於ELT的Oracle Data Integrator。 Oracle GoldenGate的特點包括實時非侵入式資料整合,以及對於異構的支援,包括不同的資料庫產品,相同資料庫不同的版本,不同的硬體平臺,不同的作業系統。 Oracle Data Integrator也稱為ODI,ODI的特點是支援豐富的轉換轉換,以及提供豐富的知識模組,從而簡化整合任務,免除或減少使用者端程式碼開發。 另外需要強調的一點是,ODI和OGG都支援大資料體系,特別是OGG與Kafka的整合,在使用者處得到了廣泛採用。
資料的儲存和處理自然是使用Oracle資料庫。Oracle資料庫企業版還提供兩個重要的選件來簡化和加速資料分析。Oracle Partitioning可以將表和索引細分為更小、更易於管理的單元,提高資料庫的可管理性、效能和可用性。
為加速分析,Oracle資料庫可使用索引,物化檢視,立方體等手段,而Oracle Database In-Memory可以減少和避免對這些手段的使用,從而簡化了分析架構,並且應用無需修改。關於 Database In-Memory的 介紹可參見前面的方案5:Oracle記憶體計算解決方案 。
Oracle Exadata 是一款經過高度優化的Oracle 資料庫硬體平臺。Exadata 為資料倉庫應用提供了傑出的 I/O 和 SQL 處理效能,利用高度並行的架構實現動態儲存網格以用於 Oracle資料庫部署。Exadata 是用於儲存和訪問 Oracle 資料庫的軟體和硬體的組合。它提供資料庫感知的儲存服務,例如,能夠將資料庫處理從資料庫伺服器分流到儲存,同時保持對 SQL 處理和資料庫應用透明。Exadata 儲存大幅提升了效能,具有無限的 I/O 可擴充套件性,同時易於使用和管理。
對於分析和展現,Oracle的解決方案是Oracle 分析平臺。Oracle 分析平臺提供兩種部署選項,即支援雲部署的 Oracle 分析雲 (OAC) 和支援本地部署的 Oracle 分析伺服器 (OAS)。企業在混合部署中可同時採用這兩種選項。Oracle 分析平臺可連線到許多企業資料來源,包括第三方資料來源。互聯資料來源可以是雲端、本地部署或自助資料集。同時,您也可以開發和交付經治理的企業級語義模型,以獲得一致的業務關鍵資料檢視。
8
Oracle大資料融合解決方案
Oracle和大資料的關係,可以從資料庫內外兩個層面來看。從內部來說, Oracle資料庫本身就是融合資料庫,可以支援非結構化或半結構化型別資料的處理,如文字,圖形影象,JSON等。從外部來看,開源大資料體系已相對成熟,Oracle也沒必要重新搞一遍。因此Oracle除了自己有一個NoSQL資料庫外,其餘就將重點放在了和大資料體系的融合上面。在此基礎上,可以衍生出湖倉一體,資料平臺,資料中臺,資料底座之類的解決方案。
第一個大資料融合技術是Oracle Big Data SQL。Oracle Big Data SQL 讓您可以利用 Oracle SQL 的全部功能無縫訪問和整合跨 Oracle 資料庫、Hadoop、Kafka、物件儲存和NoSQL 儲存的資料。它將 Oracle 資料庫安全性擴充套件到所有資料。其獨特的智慧掃描利用叢集來解析、智慧過濾和聚合其所在位置的資料。通過分散式處理和最小化資料移動,Smart Scan 最大限度地提高了查詢效能。這裡有幾點需要強調一下,一是跨多個數據源統一查詢的能力,二是使用了資料庫開發者早已熟悉的SQL語言,現有基於 SQL 的應用程式可以無縫整合新資料。這些都簡化了開發任務,並降低了開發的難度。技術實現上,Oracle Big Data SQL通過訪問驅動將外部大資料來源對映為外部表,從而可以充分利用Oracle資料庫強大的SQL功能;同時可以 在一個統一系統中,使用標準 Oracle 資料庫角色和許可權管理對跨平臺資料的訪問,從而簡化安全性設定。
大資料融合的第二項技術是 Orac le GoldenGate for Big Data和。 Orac le GoldenGate for Big Data 將事務資料實時流式傳輸到大資料和雲系統,而不會影響源系統的效能。它可以實時將資料交付到流行的大資料目標,包括Apache Hadoop、Apache HBase、Apache Hive、Confluent Kafka、NoSQL資料庫、Elasticsearch、JDBC、公有云(Oracle OCI,AWS,Azure,GCP)和資料倉庫,以促進企業改進洞察力和及時行動。Oracle Data Integrator for Big Data 是一種基於開放輕量級 ELT 架構的透明異構大資料整合技術。他還可以為多種語言生成程式碼以允許各種工作負載,這包括 HiveQL、Pig Latin、Spark RDD 和 Spark DataFrames。
以上兩項資料整合技術,可以極大 縮短大資料專案的價值實現時間,同時 簡化和縮短了大資料整合專案的開發實施過程。
Oracle Big Data Connectors 是一個軟體套件,它將 Apache Hadoop 中的處理與 Oracle 資料庫中的操作整合在一起。它支援使用 Hadoop 處理和分析大量資料,並將其與資料庫資料一起使用,以獲得新的和關鍵的業務洞察力。 該套件中的工具包括 Oracle SQL Connector for HDFS、Oracle Loader for Hadoop、Oracle XQuery for Hadoop、Oracle R Advanced Analytics for Hadoop 和 Oracle Datasource for Apache Hadoop。以上元件部分已在圖中說明,此外,Oracle XQuery for Hadoop 可以將 XQuery 語言表達的轉換翻譯為一系列 MapReduce 作業,然後在 Hadoop 叢集上並行執行。輸入可以位於HDFS或Oracle NoSQL,輸出可以寫到 HDF S、Oracle NoSQL、Apache Solr 或 Oracle 資料庫。Oracle R Advanced Analytics for Hadoop 提供了一個通用計算框架,您可以在其中使用 R 語言將自定義邏輯編寫為mapper或reducer。R 包集合中提供了作為 MapReduce 作業執行的預測分析技術。 而程式碼則使用 Hadoop 叢集上的計算和儲存資源以分散式並行方式執行。Oracle R Advanced Analytics for Hadoop 包括了連線Apache Hive 表、Apache Hadoop 計算基礎架構、本地 R 環境和 Oracle 資料庫表的介面。
9
Oracle公有云解決方案
Oracle的公有云,簡稱為OCI,即 Oracle 雲基礎設施。OCI是首款從零開始打造的公有云,旨在成為更適合每種應用的雲。OCI提供了遷移、構建和執行 IT 所需的全部服務,包括從現有企業負載到新的雲原生應用和資料平臺的服務。目前,OCI在全球已建立32個商業雲區域,其中在美國,加拿大,英國,法國,阿聯酋,巴西,澳大利亞,印度,日本和韓國均具有至少2個雲區域。
OCI雖然起步相對較晚,但一直在堅定不移 地 貫徹雲戰略並穩步前進,並展現出強勁的增長勢頭。 在 2021 年 Gartner 整合基礎設施即服務 (IaaS) 和平臺即服務 (PaaS) 解決方案記分卡中,OCI 的總體得分為 78 % ,位列AWS,Azure和阿里雲之後。同時,OCI也是進步最快的雲,其在 2020 年的得分為 62%。另外, Oracle 在必需 標準方面的得分從 74% 提高到 90%,其中計算、儲存、網路和軟體基礎架構(例如資料庫即服務和函式)的得分為 100%。
越來越多的使用者選擇將其工作負載遷移到OCI,其主要原因包括:
-
輕鬆遷移關鍵企業應用
-
所有服務開發人員都需要構建雲原生應用
-
通過自治服務輕鬆管理安全性、效能和可擴充套件性
-
全面支援混合雲策略
-
預設啟用內建的安全功能,且無需額外付費
-
卓越的價效比
2022年7月20日,Oracle和微軟聯合宣佈了適用於 Microsoft Azure 的 Oracle 資料庫服務(ODSA: Oracle Database Service for Azure ) ,從而可以更好 地 支援使用者的多雲戰略。 Azure 客戶可以輕鬆地為他們的 Azure 應用程式配置和管理在 OCI 上執行的 Oracle 資料庫,享受 Oracle 資料庫服務的所有好處,同時使用類似於 Azure 的門戶來配置資料庫——並使用 Azure 來處理其他一切。 與其他 Azure 資源一樣,該資料庫在 Azure 門戶中可用。
結語
通過這9個解決方案 ,相信您已經對Oracle的核心資料能力有了 基本的瞭解。實際上,這些解決方案是通過Oracle資料庫企業版及選件,資料庫管理包,工程化資料基礎設施,資料整合和資料分析等產品組合而成。特別是 Oracle資料庫企業版選件和 資料庫管理包中包含了豐富的選項,在之前的文章" 王寶器漫遊O記資料商店 "中已經做過詳細介紹。
這些解決方案並非固定不變,您也可以根據自己的理解或實際專案的需要對這些元件進行調整,形成更適合和貼切的解決方案。如果您有不同的看法或好的建議,也請通過留言告知我們,謝謝!
編輯: 小炒肉
- 技術分享 | orchestrator--運維--配置叢集自動切換&測試
- AIOPS的莫拉維克悖論
- 詳談 MySQL 8.0 原子 DDL 原理
- 為什麼不建議用 from xxx import *
- 最近解決的兩個拖延數年的問題
- Oracle資料庫解決方案集錦
- 新一代雲原生資料庫暢想
- MySQL8.0賬戶system_user許可權,你瞭解嗎?
- Data Fabric,下一個風口?
- 帶著孩子做開學準備清單
- 十多年前的入職第一天
- 技術分享 | MySQL 編寫指令碼時避免煩人的警告
- GoldenGate案例一則:抽取程序無法捕獲資料
- 技術分享 | MySQL 設定管理員密碼無法生效一例
- PG資料庫的鎖咋弄得這麼複雜呢
- 金融業分散式資料庫選型及HTAP場景實踐
- 我們的企業為什麼寫不好文件
- 新資料庫時代,DBA 發展之路該如何選擇
- MySQL:修改系統時鐘會導致資料庫hang住嗎?
- 從程式設計師的盡頭是業務說起