您的聲音我們關心 | 網易數帆有數產品Q1季報

語言: CN / TW / HK

結合客戶反饋持續優化,您的聲音我們關心!

最近一段時間,我們對客戶反饋的一些問題和痛點做了持續性的優化,然後整理了一份產品體驗季報。以下為資料開發及管理平臺2022年產品體驗季報第一期內容,跟隨有數君一起來看看吧!

效能優化:網頁載入更快,操作更流暢

網頁載入平均速度 提升96.5%

資料地圖 網頁載入平均速度提升79.5% 

資料資產中心 網頁載入平均速度提升157.6%

操作卡頓降低4.9%

資料質量中心 操作卡頓降低55.9%

資料服務 操作卡頓降低42.3%

任務運維中心 操作卡頓降低27.5%

升級統一訪問域名:子產品無縫跳轉

使用者從統一域名地址進入,子產品切換時響應更迅速。

(升級前)

升級後

各子產品功能升級與體驗優化

重點優化項

任務運維中心: 新增任務血緣DAG圖和任務血緣統計資訊,視覺化展示任務之間的引用關係,幫助使用者快速追溯上游血緣情況和下游影響範圍,提升任務治理效率。

離線開發: 考慮到客戶反饋每次配置依賴都需要對應的任務負責人逐個授權,耗時耗力。結合客戶實際需求和使用場景的分析,離線開發子產品引入“依賴授權開放”模式,專案組內跨專案配置時無需再進行依賴授權操作,減少配置成本。

實時計算: 優化任務上線流程,區分開發版本和線上版本,保障線上任務安全。

模型設計中心: 新增擴充套件屬性模組,支援管理表及欄位級別擴充套件屬性,滿足電信、金融等行業客戶需求,便於客戶更好地線上管理業務元資料和管理元資料。

資料服務: 統一向導或SQL模式下建立API時的資料來源型別,客戶可使用的資料來源類型範圍進一步擴大,顯著提升客戶開發API的效率。

以下內容為各子產品體驗優化項:

1.資料研發

1.1 資料傳輸

0 1

使用者痛點:資料過濾條件使用無索引的欄位時,在切分過程中可能會掃描全表,查詢比較慢。

產品體驗優化說明:增加splitWithoutCondition引數,可指定在切分階段不使用過濾條件,通過主鍵進行切分,降低切分過程的掃描條數,減少慢查詢。

0 2

使用者痛點: Hive2Doris大資料傳輸時,希望能夠提升傳輸速率

產品體驗優化說明:資料去向為Doris時,支援“broker load”匯入方式,當資料量為幾十到百GB級別時仍能保持較高的傳輸效率。

(優化後示意圖)

0 3

使用者痛點: 資料傳輸需要使用併發讀取功能以提升傳輸速率,且表字段多為字元型欄位。但業務資料傳輸產品僅支援使用數值型欄位作為切分鍵 

產品體驗優化說明: 併發讀取支援使用字元型欄位作為切分鍵

(優化後示意圖)

1.2 離線開發

0 4

使用者痛點: 專案組內不同專案的任務存在依賴關係。

產品體驗優化說明: “依賴授權”支援專案組內全公開。針對同一個專案組內,將專案內的線上排程任務全部依賴授權給其它專案,無需對每個任務單獨設定並指定專案。適用專案組內所有專案的線上任務是可以互相依賴的場景。

(優化後示意圖)

1.3 實時計算

0 5

使用者痛點: 實時任務未區分開發模式和線上模式,線上任務可以輕易被修改重啟。

產品體驗優化說明:

將實時開發與實時運維模組分離,任務上線流程從儲存→啟動優化為儲存→提交→釋出→啟動。

(優化前示意圖)

(優化後示意圖)

0 6

使用者痛點: 實時任務無法同時開啟多個任務頁面,同一頁面展示的資訊較少。

產品體驗優化說明: 開發頁面支援開啟多個任務頁面;開發和運維頁面視覺升級。

(優化前示意圖-開發頁面)

(優化前示意圖-運維頁面)

(優化後示意圖 -開發頁面

(優化後示意圖-運維頁面)

0 7

使用者痛點: 實時專案的管理僅區分管理員和普通使用者,粒度太粗,需要更精細的角色和許可權管控。同時實時的角色管理與平臺的角色管理割裂。

產品體驗優化說明: 將實時的角色管理與平臺的角色管理統一,並內建實時管理員、實時開發、實時運維的角色。

(優化後示意圖)

1.4 任務運維中心

0 8

使用者痛點: 沒有直觀地視覺化方式展示任務間的上下游血緣關係;沒有每個任務的血緣統計資訊,無法直觀的知道哪些任務是下游引用多的核心任務。

產品體驗優化說明: 新增任務血緣DAG圖,可檢視任務的上下游血緣,任務間的依賴詳情;新增每個任務的血緣統計資訊,包括全部上下游數、層數、直接上下游數。

(優化後示意圖)

0 9

使用者痛點: 以前對多個任務某段時間進行補資料時,只能按照日期一天天補資料,執行效率比較低,且不可選擇執行佇列。

產品體驗優化說明: 新增補資料配置項,可以在不開啟自依賴時多天同時併發執行,提升執行效率,且可以選擇執行佇列。

(優化後示意圖)

2.資料治理

2.1 安全中心

10

使用者痛點: 許可權申請時需要選擇專案組和專案資訊,容易和右上角專案資訊造成混淆,且申請頁面互動體驗較差。

產品體驗優化說明: 取消申請物件專案組和專案資訊選擇,只能為本專案下的賬號申請許可權;將賬號型別劃分為當前賬號、他人賬號、專案賬號三種; 互動視覺優化: 優化佈局和互動,將待新增和待申請以穿梭框的形式選擇

(優化後示意圖)

1 1

使用者痛點: 視圖表需要支援申請和授權。

產品體驗優化說明: 支援檢視許可權授予和申請,建立、刪除檢視時,自動為建立人授予和回收hive許可權。

(優化後示意圖)

2.2 資料質量中心

1 2

使用者痛點: 質量大屏具有較多的圖表,但是圖表樣式單一,無法直觀獲取資訊。

產品體驗優化說明: 支援環形圖圖表樣式、優化視覺展示。

(優化後示意圖)

1 3

使用者痛點: 對於MySQL此種不自帶分割槽的資料來源型別,希望提供自定義分割槽設定。

產品體驗優化說明: 支援自行選擇需要配置分割槽的欄位,並選擇時間引數。

(優化後示意圖)

1 4

使用者痛點: 自定義SQL規則的sql解析能力較差,且沒有失敗報錯提示。

產品體驗優化說明: 自定義sql解析優化並增加解析失敗提示。

(優化後示意圖)

1 5

使用者痛點: 執行例項的日誌不能直接檢視yarn日誌不方便排查問題。

產品體驗優化說明: 執行例項的執行日誌頁面增加application的跳轉連結,跳轉至yarn日誌。

(優化後示意圖)

1 6

使用者痛點: 資產大盤和儲存分析等涉及較多圖表,但展示樣式不一,橫縱軸指標各異,圖表含義沒有說明,增加理解成本。

產品體驗優化說明: 統一圖表展示樣式,增加圖表hover提示,明確圖表數值含義。

(優化後示意圖)

2.3 資料資產中心

1 7

使用者痛點: 儲存分析中,列表內容比較多,庫表和任務資訊又是相對比較重要的部分,列表滑動後,容易掩蓋核心欄位。

產品體驗優化說明: 列表固定核心欄位,左右滑動不影響定位。

(優化後示意圖)

1 8

使用者痛點: 成本分析中,列表的篩選條件眾多,設定多種篩選條件後,預設為初始狀態需點選每個篩選項,使用不靈活。

產品體驗優化說明: 涉及到頁面列表篩選處,均增加重置功能,可一鍵還原篩選項。

(優化後示意圖)

2.4 模型設計中心

19

使用者痛點: 模型設計中心缺少業務元資料及管理元資料描述,使用者的很多管理資訊無法進行線上管理

產品體驗優化說明: 新增擴充套件屬性模組,支援管理表及欄位級別擴充套件屬性。

(優化後示意圖)

20

使用者痛點: 模型設計中心僅支援Hive型別的模型設計

產品體驗優化說明: 新增支援MySQL、Vertica、Greenplum資料來源的型別。

(優化後示意圖)

2.5 資料地圖

20

使用者痛點: 使用者查看錶時,不能直觀地知曉是否有表許可權,操作按鈕也比較分散,使用體驗不佳

產品體驗優化說明: 將檢視資料許可權放在醒目的位置,並且將其他操作項統一集中展示,方便使用者快速找到相應的功能操作項。

(優化前示意圖)

(優化後示意圖)

21

使用者痛點: 使用者查看錶時,不能直觀地查看錶的加工指令碼和處理邏輯,需要經過多步操作去離線開發檢視程式碼,很不方便且受許可權限制

產品體驗優化說明: 增加產出指令碼資訊,方便使用者直接查看錶的加工邏輯。

(優化後示意圖)

22

使用者痛點: 以前搜尋多表時,需要在詳情頁和查詢頁來回切換比較麻煩

產品體驗優化說明: 在詳情頁新增全域性搜尋功能,提升搜尋多表的效率和體驗。

(優化後示意圖)

3.資料服務及應用

3.1 資料服務

23

使用者痛點: SQL和嚮導模式下建立API,資料來源不對齊,有的在SQL下存在,但嚮導模式下不支援,使用上增加困惑

產品體驗優化說明: 建立API時,在SQL和嚮導模式下統一對齊資料來源型別。

(優化後示意圖)

24

使用者痛點: 在嚮導模式HBase資料來源型別建立API場景中,系統預設拉取第一個rowkey的列資料填充到返回引數列表中,但第一個rowkey往往資料不完整

產品體驗優化說明: 支援HBase資料來源自定義rowkey列資料填充到返回引數列表。

(優化後示意圖)

25

使用者痛點: API集市,申請API使用時,呼叫截止時間和頻次系統預設永久,不可自定義設定,但在實際業務場景中,有些API是需要自定義呼叫截止時間和頻次的

產品體驗優化說明: 呼叫截止時間和頻次支援自定義,且在截止時間的24h系統會發送API即將到期的郵件通知,防止時間截止呼叫失敗。

(優化後示意圖)

分享,點贊,在看,安排一下?