PieCloudDB Database 雲上商業智慧的最佳實踐
「商業智慧(Business Intelligence,BI)」這個概念最早是 Gartner 在上個世紀九十年代提出的,它認為從功能上來說,商業智慧是一種解決方案,其關鍵是處理企業來自多個來源的各種資料,提取有用的資料並清理,然後經過抽取(Extraction)、轉換(Transformation)和載入(Load),即 ETL 過程,合併到一個企業級的資料倉庫裡,按照一定的建模方式組織資料,再利用合適的商業智慧工具來形成各種視覺化的分析報表,將資料轉化為洞察(Insight),為管理者的決策提供支援。
對於企業而言,打造一套完善的商業智慧解決方案,可以讓業務需求更貼合真實資料,讓商業決策更加理性和“智慧”。決策者接收到的直接結果大多數是資料視覺化後的分析報表,「資料視覺化(Data Visualization)」作為商業智慧的一個重要特徵,可以通過互動式資料儀表板、圖表、圖形和對映的方式來呈現企業故事,使展示結果更易於理解和共享,為決策者提供更多的洞察,這都是傳統的報告和分發工具所無法企及的。雖然前端視覺化分析最為直觀,但它僅僅是商業智慧的一個環節,底層資料庫的建設才是基石。PieCloudDB Database 作為一款雲原生資料庫產品,搭建了底層業務系統資料來源和視覺化分析報表之間的橋樑,在整個商業智慧解決方案中起到了承上啟下的核心作用。
PieCloudDB Database 相容 PostgreSQL 協議,支援 ODBC、JDBC 等標準資料庫介面。對 SQL 的全面支援使得 PieCloudDB Database 可以無縫整合業內常見的 ETL 和 BI 工具;而對多種過程語言(Procedural Language)的支援為使用者基於資料庫的二次開發提供了便利。的本文將藉助一個商業智慧場景,介紹如何使用 Python 程式語言和 BI 工具 Tableau 連線 PieCloudDB Database ,從而形成以下完整的商業智慧解決方案:
- 確定資料來源
- 資料採集
- 資料入庫
- 資料清洗
- 探索性資料分析
- 資料建模
- 資料洞察
商業智慧場景介紹
隨著今年初對新冠疫情防控政策的重大調整,旅遊行業逐漸開始回溫,在這種趨勢下,如何提升景點品質、提高商業競爭力成為了擺在景區規劃人員面前的問題。在這種場景下,基於我們的解決方案結構,可以對某旅遊網站的中文評論進行內容分析,充分發揮文字資料的作用,從而為旅遊行業的規劃升級提供決策幫助。本文會側重介紹解決方案中所涉及的 PieCloudDB Database 外部連線方式,後續的文章則會重點介紹該場景下的資料分析過程。
使用 Python 訪問 PieCloudDB Database
PieCloudDB Database 完全相容 PostgreSQL 的客戶端協議,所以我們可以使用 PostgreSQL 驅動訪問 PieCloudDB Database。同時 psycopg 是一種用於執行 SQL 語句的 Python API,可以為 PostgreSQL 資料庫訪問介面,所以我們可以利用 psycopg 模組連線 PieCloudDB Database。大家可以參考以下步驟進行操作:
# 安裝 psycopg 模組
pip install psycopg2
# 匯入 psycopg 模組
import psycopg2
# 連線到 PieCloudDB Database
conn = psycopg2.connect(database='openpie', user='username', password='token', host='127.0.0.1', port='5432')
# 引數資訊:
# database – 資料庫名
# user – 資料庫使用者名稱
# password – 資料庫接入 token 即密碼
# host – 資料庫IP地址
# port – 埠號
# 建立指標物件
cur = conn.cursor()
# 執行 SQL 語句
cursor.execute(sql)
# 提交執行結果
conn.commit()
# 關閉指標和資料庫連線
cursor.close()
conn.close()
使用 Tableau 連線 PieCloudDB Database
市場上常見的 BI 工具有很多,從軟體成熟度和市場接受度考量,我們使用 Tableau 進行探索性資料分析。經過測試,我們可以從 Tableau Desktop 使用 PostgreSQL 驅動訪問 PieCloudDB Database。大家可以參考以下步驟進行操作:
· 選擇連線方式
選擇左側“連線”窗格 > 到伺服器 > 更多... > PostgreSQL
由於 Tableau 的要求,在連線操作之前,使用者需要從 http://jdbc.postgresql.org/download/ 下載和安裝 PostgreSQL 所需的驅動程式,然後將相關的 .jar 檔案複製到以下資料夾中(可能需要手動建立該資料夾):~/Library/Tableau/Drivers ,詳細步驟請參考 Tableau 官網。
· 填寫連線資訊
根據提示,填寫需要連線的資料庫IP地址、埠號、資料庫名、使用者名稱和密碼即可。
在整個商業智慧解決方案中,我們會藉助 Python 豐富的資料科學工具進行資料採集、資料清洗和資料建模,並通過 Tableau 強大的視覺化分析功能進行探索性資料分析、形成動態化看板。如果大家對中文文字分析這個主題感興趣,想了解詳細的資料建模過程和完整的商業智慧場景流程,請持續關注我們的後續技術博文。
- 資料科學在文字分析中的應用 :中英文 NLP(上)
- 『堅如磐石的 PieCloudDB』:透明加密模組的設計與實現
- 後疫情時代,資料科學賦能旅遊行業服務質量提升
- OpenPie 和 ChatGPT 聊聊雲上資料計算的那些事兒
- 正式上市丨拓數派發布eMPP存算分離軟硬體一體機
- 『Postgres.Live 技術沙龍回顧』揭祕 PieCloudDB Database eMPP 架構設計
- PieCloudDB Database 雲上商業智慧的最佳實踐
- 資料科學在量化金融中的應用:指數預測(下)
- 資料科學在量化金融中的應用:指數預測(上)
- 【DTCC 2022】雲原生資料庫PieCloudDB全新eMPP架構是如何煉成的
- 資料科學,為企業創造更大的資料價值
- 擁抱開放|OpenPie引領PostgreSQL中國程式碼貢獻力