再見 Excel,你好 Python Spreadsheets!⛵
highlight: a11y-dark
攜手創作,共同成長!這是我參與「掘金日新計劃 · 8 月更文挑戰」的第9天,點擊查看活動詳情
- 💡 作者:韓信子@ShowMeAI
- 📘 數據分析 ◉ 技能提升系列:http://www.showmeai.tech/tutorials/33
- 📘 數據分析實戰系列:http://www.showmeai.tech/tutorials/40
- 📘 本文地址:http://www.showmeai.tech/article-detail/294
- 📢 聲明:版權所有,轉載請聯繫平台與作者並註明出處
- 📢 收藏ShowMeAI查看更多精彩內容
Excel是大家最常用的數據分析工具之一,藉助它可以便捷地完成數據清理、統計計算、數據分析(數據透視圖)和圖表呈現等。
但是!大家有沒有用 Excel 處理過大一些的數據(比如幾十上百萬行的數據表),Excel 就會變得非常慢,甚至直接崩潰。
辛辛苦苦做一半的工作很有可能要重做!那就不只是 Excel 崩潰了,我們也得一邊崩潰一邊加班趕 deadline。
在本篇文中,ShowMeAI 將給大家介紹到 Python 中非常好用的交互式表格工具,它們的功能性和使用便捷度和 Excel 相當,同時有很好的內存優化,非常適合處理大文件表格。
工具1:Mito
Mito 是 Python 中的電子表格,它同時擁有 Excel 電子表格的簡單易用性和 Python 的強大功能。我們可以像使用 Excel 一樣使用 Mito,並且在我們執行每個操作之後,Mito 將自動生成與每個操作對應的 Python 代碼。
使用 Mito 工具庫,我們首先需要安裝 Python 和 Jupyter Notebook 或 Jupyter Lab, 然後我們通過終端或命令行運行以下命令來安裝 Mito。
python -m pip install mitoinstaller
python -m mitoinstaller install
下面我們來演示一下,如何在 Mito 中完成我們在 Excel 中的操作,如讀取文件、創建列、數據透視表、可視化等。
💡 Mito:文件讀取
Excel 默認對文件行數有限制。在內存足夠時,Excel 可以打開數百萬行的文件,但是隻顯示前 1048576 行。感興趣的話可以測試下這個數據~同樣在內存充足的情況下,Mito 打開文件的大小沒有限制。來看具體操作!
讀入表格文件
在讀取 CSV 文件之前,先導入工具庫,創建一個 Mito 電子表格對象,代碼如下:
import mitosheet
mitosheet.sheet()
接下來的讀取操作就可以用鼠標完成了, 下圖的演示中,使用到的數據集是學校成績數據集,大家可以在ShowMeAI的百度網盤地址下載 。 下載文件後,單擊『+』或『導入』按鈕進行閲讀,如下圖所示:
🏆 實戰數據集下載(百度網盤):公眾號『ShowMeAI研究中心』回覆『實戰』,或者點擊 這裏 獲取本文 [7] 使用 Mito 和 Bamboolib 進行超大量數據的處理(Python) 『Spreadsheets 數據集』
⭐ ShowMeAI官方GitHub:http://github.com/ShowMeAI-Hub
自動生成代碼
除了導入之外,還會自動生成下面的代碼。(這本是需要熟悉 Pandas 工具庫的同學通過編碼完成的。但現在我們簡單操作之後,就可以自動生成了!)
import pandas as pd
StudentsPerformance_csv = pd.read_csv(r'StudentsPerformance.csv')
💡 Mito:基本表格操作
在 Excel 中,我們會創建一個『宏』來記錄一組可以隨時執行的操作。對應到 Mito中,我們可以做同樣的事情,藉助於 Python 生態與各種開源庫,我們可以完成更多自動化的操作,比如處理完表格之後通過電子郵件發送報吿,使用微信發送文件,導入數據到數據庫中等。
下面我們用 Mito 執行一些操作,就好像我們在使用 Excel 一樣。
創建新列&重命名列
如果要創建新列,只需單擊『添加列』按鈕。默認情況下,『Add Col』按鈕將創建一個名為『new-column』的列,我們將通過雙擊列名將其重命名為『average』。
自動代碼生成
這一步結束後,Mito 又生成了與我們在電子表格上執行的操作相對應的 Python 代碼!
```
Added column new-column-uca5 to StudentsPerformance_csv
StudentsPerformance_csv.insert(8, 'new-column-uca5', 0)
Renamed new-column-uca5 to average in StudentsPerformance_csv
StudentsPerformance_csv.rename(columns={'new-column-uca5': 'average'}, inplace=True) ```
💡 Mito:統計分析
我們經常要對數據做統計分析,如果要對一行做統計計算,我們只需將公式寫在一個單元格中。
求平均統計
假設我們要計算數學、閲讀和寫作的平均分數。 我們只需要在『average』列的任何單元格中填入公式 (math score+reading score+writing score)/3
,如下圖所示:
自動代碼生成
同樣 Mito 生成了pandas的統計代碼:
```
Set new-column-uca5 in StudentsPerformance_csv to =(math score+reading score+writing score)/3
StudentsPerformance_csv['average'] = (StudentsPerformance_csv['math score']+StudentsPerformance_csv['reading score']+StudentsPerformance_csv['writing score'])/3 ```
💡 Mito:數據透視表
在Mito中創建數據透視表同樣非常簡單,單擊『數據透視』按鈕, 然後選擇行、列和值。
創建數據透視表
下圖演示了我們創建一個數據透視表,在『種族/民族』列中顯示 A、B、C、D 和 E 組的數學和閲讀分數的平均值。
自動生成代碼
同樣在Mito操作過後,我們生成了如下的 Python 代碼。
```
Imported StudentsPerformance.csv
import pandas as pd StudentsPerformance_csv = pd.read_csv(r'StudentsPerformance.csv')
Pivoted StudentsPerformance_csv into df2
unused_columns = StudentsPerformance_csv.columns.difference(set(['race/ethnicity']).union(set([])).union(set({'math score', 'reading score'}))) tmp_df = StudentsPerformance_csv.drop(unused_columns, axis=1) pivot_table = tmp_df.pivot_table( index=['race/ethnicity'], values=['math score', 'reading score'], aggfunc={'math score': ['mean'], 'reading score': ['mean']} ) pivot_table.columns = [flatten_column_header(col) for col in pivot_table.columns.values] df2 = pivot_table.reset_index() ```
💡 Mito:可視化&繪圖
使用 Mito 可以輕鬆創建餅圖和條形圖等基本圖例用於可視化, 我們只需要點擊『圖表』並選擇圖表類型。
條形圖示例
讓我們為之前創建的數據透視表創建一個條形圖,在 X 軸上顯示『種族/民族』,在 Y 軸上顯示『數學分數平均值』。
很炫酷有沒有!而且 a、b、c 和 d 中生成的代碼行相當於 Excel 宏, 每次我們運行代碼時,我們都會執行所有記錄下來的操作。
工具2:Bamboolib
當我們在Excel工作簿中進行內存密集型計算時,它非常容易卡頓感和崩潰,但這些計算在 Python 中是非常簡單可以完成的,我們可以結合另一個名為bamboolib 的 Python 庫完成一系列數據操作。
大家可以通過命令 pip install --upgrade bamboolib --user
安裝 bamboolib。
安裝完成之後,我們運行以下命令來讀取 CSV 或 Excel 文件。
import bamboolib as bam
bam
📢 Bamboolib:大文件讀取
在這裏,我們使用包含超過 100 萬行的 CSV 大文件sales-data-1M來講解操作和計算實現,大家可以在ShowMeAI的百度網盤地址下載。
🏆 實戰數據集下載(百度網盤):公眾號『ShowMeAI研究中心』回覆『實戰』,或者點擊 這裏 獲取本文 [7] 使用 Mito 和 Bamboolib 進行超大量數據的處理(Python) 『Spreadsheets 數據集』
⭐ ShowMeAI官方GitHub:http://github.com/ShowMeAI-Hub
和 Mito 工具庫一樣,Bamboolib 也為我們生成代碼如下
後續內容中我們只演示步驟,但會隱藏生成的代碼,大家可以實際操作來查看生成的代碼
import pandas as pd
df = pd.read_csv('./data/sales-data.csv', sep=',', decimal='.', nrows=100000)
df
📢 Bamboolib:新建列&統計計算
如果我們要創建一個新列,我們可以在搜索欄上搜索『列命名』操作,然後鍵入列公式。下圖演示我們使用公式創建一個『價格』列 (revenue/quantity)
.
📢 Bamboolib:數據透視表
下面我們在搜索欄中輸入『數據透視表』。 然後我們在數據行中按產品對數據進行分組,並使用『sum』作為聚合函數,整個操作如下圖所示:
📢 Bamboolib:可視化&繪圖
接下來,我們創建一個餅圖。 我們點擊『Create Plot』按鈕,選擇圖形類型,然後選擇我們想要顯示的值。
📢 Bamboolib:信息/屬性抽取
下面我們從『日期』列中提取屬性,我們希望提取出月份,要完成這個操作,我們會將『日期』列的數據類型更改為 date
(現在類型為 str
),然後再提取屬性。操作動圖演示如下:
參考資料
- 🏆 實戰數據集下載(百度網盤):公眾號『ShowMeAI研究中心』回覆『實戰』,或者點擊 這裏 獲取本文 [7] 使用 Mito 和 Bamboolib 進行超大量數據的處理(Python) 『Spreadsheets 數據集』
- ⭐ ShowMeAI官方GitHub:http://github.com/ShowMeAI-Hub
- 📘 Mito 官方文檔 http://docs.trymito.io/
- 📘 Mito Github http://github.com/mito-ds/monorepo
- 📘 Mito 使用示例 http://github.com/mito-ds/mito-demo
- 📘 Bamboolib官方文檔 http://bamboolib.8080labs.com/
- 📘 Bamboolib Github http://github.com/tkrabel/bamboolib
- 全自動化機器學習建模!效果吊打初級煉丹師!⛵
- 客户流失?來看看大廠如何基於spark 機器學習構建千萬數據規模上的用户留存模型 ⛵
- 羨慕 Excel 的高級選擇與文本框顏色呈現?Pandas 也可以擁有!! ⛵
- 從頭訓練一個神經網絡!教它學會莫奈風格作畫!
- 再見 Excel,你好 Python Spreadsheets!⛵
- 簡單好用的個人圖書管理系統;開源啦!北大NLP新手教程;『Rust命令行編程指南』隨書代碼;源代碼結構可視化工具 | ShowMeAI資訊日報
- 求職指南!給數據開發的SQL面試準備路徑!
- 星巴克推出Web3平台;天啦嚕,AI繪畫能007了;『決策算法』電子書;合成人臉數據集;面向數據的版本控制;前沿論文 | ShowMeAI資訊日報
- 『華強買瓜』奇襲好萊塢!Jupyter也能創建可交互儀表板啦!超全面的英語論文寫作套路;神經輻射場NeRF工具包;前沿論文 | ShowMeAI資訊日報
- TensorFlow?PyTorch?Paddle?AI工具庫生態之爭:ONNX一統天下 ⛵
- 掌握這9個單行代碼技巧!你也能寫出『高端』Python代碼 ⛵
- Meta元宇宙副總裁離職...『Go語言聖經』發佈!德雲社失業警吿!AI要説相聲了;一鍵就能AI繪圖的網站;前沿論文 | ShowMeAI資訊日報
- 過分!蝦皮被曝大範圍毀約;深度學習技巧全輯;MongoDB開源替代 4.7K★;劍指Offer解題代碼;大數據算法筆記彙總;前沿論文 |ShowMeAI資訊日報
- 面試現場!月薪3w 的這些數據挖掘SQL面試題你都掌握了嗎? ⛵
- 20 行代碼!帶你快速構建基礎文本搜索引擎 ⛵
- 科技部等6部門發文,推動AI場景創新;『精益副業』教程序員優雅做副業;『可擴展系統』設計全教程;人物動作數據集;前沿論文 | ShowMeAI資訊日報
- 2022年AI專家成長路線圖 21K★;前端工程師算法紅寶書;經典推薦算法的代碼全實現;觸覺機器人的強化學習套件;前沿論文 | ShowMeAI資訊日報
- 看看你離世界一流大廠有多遠?3道Google最新SQL面試題 ⛵
- 創建HTML動態數據報吿;論文投稿技巧大全(中文版);『高效Pandas指南』隨書代碼;oneDNN深度神經網絡庫;前沿論文 | ShowMeAI資訊日報
- 新加坡國立大學『3D計算機視覺』課程;Python爬蟲知識庫;基於SKLearn時序預測模塊;從零構建AI推理引擎;前沿論文 | ShowMeAI資訊日報