飛槳框架v2.4 API新升級!全面支持稀疏計算、圖學習、語音處理等任務

語言: CN / TW / HK

大家好,今日帶來的是有關於飛槳框架v2.4 AP升級的內容~快來看看是不是你所期待的新內容吧!也歡迎大家分享自己的看法哦。

2022年11月,飛槳框架2.4版本發佈。相比飛槳框架2.3版本,飛槳框架v2.4增加了167個功能性API,新增稀疏計算(paddle.sparse)、圖學習(paddle.geometric)和語音處理(paddle.audio)等更多領域API,同時也進一步完善了loss計算、張量計算、分佈式和視覺變換等類別的API。下面我們將為大家詳細介紹每一類新增API及其應用場景示例,方便大家快速瞭解和上手使用哦~

全面支持主流模型稀疏化訓練及推理

當前越來越多的場景有稀疏計算的需求,例如3D點雲圖像處理和NLP中的稀疏Attention等。神經網絡的稀疏化可以提高網絡的性能,減少計算量及內存/顯存的佔用,已成為深度學習的研究熱門之一。飛槳v2.4新增瞭如下稀疏類API,支持主流稀疏模型的訓練和推理,並支持多種稀疏Tensor格式及稀疏Tensor與稠密Tensor的混合計算,同時其名稱和使用方式與常規稠密Tensor的API保持一致,方便記憶且容易上手。
稀疏基礎計算API:

  • 一元計算paddle.sparse.sin/sinh/tan/tanh/expm1/log1p/pow/square/sqrt/abs/cast/neg...

  • 二元計算paddle.sparse.add/substract/multiply/divide...

  • 矩陣和向量計算paddle.sparse.matmul/masked_matmul/addmm/mv...

  • 數據變形paddle.sparse.transpose/reshape...

稀疏組網API:

  • 網絡層: paddle.sparse.nn.Conv3D/SubmConv3D/MaxPool3D/BatchNorm...

  • 激活層: paddle.sparse.nn.ReLU/ReLU6/LeakyReLU/Softmax...

覆蓋稀疏計算主流應用場景

3D點雲目標檢測

CenterPoint是一種物體檢測器,以點雲作為輸入,將三維物體在Bird-View下的中心點作為關鍵點,基於關鍵點檢測的方式迴歸物體的尺寸、方向和速度。

飛槳框架v2.4完整提供了這類模型需要的稀疏SubmanifoldConv3D/Conv3D、稀疏BatchNorm和稀疏ReLU等API。模型的訓練評估、動轉靜及推理的各項功能均已完全實現,歡迎試用。實測比業界同類競品提速4%,訓練精度提升0.2%。

  • CenterPoint模型介紹

https://github.com/PaddlePaddle/Paddle3D/tree/release/1.0/docs/models/centerpoint

Sparse Transformer

稀疏Transformer與經典的稠密Transformer相比,能支持更長的輸入序列,得到更好的網絡性能。

稀疏Attention的核心計算邏輯為:

飛槳框架v2.4提供稀疏矩陣乘、稀疏softmax等運算,可完整支持SparseTransformer的運算。在高稀疏度場景下,相比使用DenseTensor提速105.75%,相比同類產品稀疏計算提速4.01%~58.55%,極致節省顯存並提升性能。

支持多種稀疏Tensor格式及稀疏Tensor與稠密Tensor的混合計算

飛槳API支持最常使用的稀疏數據COO和CSR格式。COO為稀疏數據座標格式,CSR為壓縮行信息格式。不同格式的稀疏數據使用場景不同,其中SparseConv3D更適合處理COO格式的數據,SparseTransformer中有較多取整行的操作,更適合處理CSR格式的數據,能更好降低計算複雜度。雖然這些API有不同的格式傾向,但是飛槳稀疏API在設計時,每個都儘可能支持多種稀疏格式,這樣在不同模型場景下處理不同的數據格式時都可以使用相同的API,不用修改代碼,更靈活且更能極致提升性能。

以ReLU激活函數為例,其支持處理不同的稀疏Tensor:

# 稀疏COO Tensor
coo = paddle.sparse.sparse_coo_tensor(
        indices = [[0, 1, 2], 
                   [1, 2, 0]],
        values  = [1., 2., 3.],
        shape   = [3, 3])
out = paddle.sparse.nn.functional.relu(coo)

# 稀疏CSR Tensor
csr = paddle.sparse.sparse_csr_tensor(
        crows  = [0, 1, 2, 3],
        cols   = [1, 2, 0],
        values = [1., 2., 3.],
        shape  = [3, 3])
out = paddle.sparse.nn.functional.relu(csr)

除了支持不同的稀疏格式外,對於二元計算及矩陣向量計算等API,還支持多種稀疏格式和常規的稠密格式(Dense Tessor)的混合計算,網絡可以部分使用傳統組網,部分使用稀疏,更方便已有模型的優化:

# COO與Dense矩陣乘,返回稠密Tensor
coo = paddle.sparse.sparse_coo_tensor(
        indices = [[0, 1, 2], 
                   [1, 2, 0]],
        values  = [1., 2., 3.],
        shape   = [3, 3])
dense = paddle.rand([3, 2])
out = paddle.sparse.matmul(coo, dense)

# CSR與Dense矩陣乘,返回稠密Tensor
csr = paddle.sparse.sparse_csr_tensor(
        crows  = [0, 1, 2, 3],
        cols   = [1, 2, 0],
        values = [1., 2., 3.],
        shape  = [3, 3])
dense = paddle.rand([3, 2])
out = paddle.sparse.matmul(csr, dense)

# Dense與Dense矩陣乘,返回稀疏Tensor
x = paddle.rand([3, 5])
y = paddle.rand([5, 4])
mask = paddle.sparse.sparse_csr_tensor(
        crows = [0, 2, 3, 5],
        cols  = [1, 3, 2, 0, 1],
        values= [1., 2., 3., 4., 5.],
        shape = [3, 4])
out = paddle.sparse.masked_matmul(x, y, mask)

名稱和使用方式與常規稠密Tensor的API保持一致,方便記憶且容易上手

一般模型中使用的API都是處理稠密數據(Dense Tensor)的API。飛槳SparseAPI在設計之初就考慮儘可能降低理解成本,與常規處理稠密數據(Dense Tensor)的API保持風格一致,方便用户快速上手。
以模型中一段ResNet稀疏網絡的代碼為例:

import paddle
from paddle import sparse
from paddle.sparse import nn

class SparseBasicBlock(paddle.nn.Layer):
    def __init__(
            self,
            in_channels,
            out_channels,
            stride=1,
            downsample=None,
    ):
        super(SparseBasicBlock, self).__init__()
        self.conv1 = nn.SubmConv3D(
                        in_channels,
                        out_channels,
                        kernel_size=3,
                        stride=stride,
                        padding=1)
        self.bn1 = nn.BatchNorm(out_channels, epsilon=1e-3, momentum=0.01)
        self.relu = nn.ReLU()
        self.conv2 = nn.SubmConv3D(
                        out_channels,
                        out_channels,
                        kernel_size=3,
                        stride=stride,
                        padding=1)
        self.bn2 = nn.BatchNorm(out_channels, epsilon=1e-3, momentum=0.01)
        self.downsample = downsample

    def forward(self, x):
        identity = x

        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)

        out = self.conv2(out)
        out = self.bn2(out)

        if self.downsample is not None:
            identity = self.downsample(x)

        out = sparse.add(out, identity)
        out = self.relu(out)

        return out

可以看到,ResNet稀疏網絡的代碼和常規ResNet網絡代碼幾乎沒有差別,只需要通過paddle.sparse.*替代paddle.*即可,源於飛槳Sparse系列API在整體使用上與Dense系列API高度一致。如果能夠增加import路徑替換,甚至原網絡代碼都無需改動。例如通過frompaddle.sparseimportnn,則可保持與原來的nn.*寫法完全一致,更易於上手。

新增圖學習類API,支持高效圖學習計算

近幾年,圖學習相關研究發展迅速,在自然語言處理、計算機視覺、推薦系統、生物化學等領域具有較為廣泛的應用和發展。圖學習逐漸成為機器學習領域的關鍵技術,本次飛槳框架v2.4新增paddle.geometric圖學習類API,提供更好的圖學習建模和高效圖學習計算體驗。

高效圖消息傳遞

現有的大多數圖學習框架在進行圖模型設計時,通常採用圖消息傳遞機制的經典範式。飛槳框架v2.4新增圖學習消息傳遞API,支持高效圖消息傳遞。其中,新增的send_u_recv、send_ue_recv、send_uv共計3個API,通過實現原子級別的消息發送與接收,大大減少了宂餘的中間顯存變量佔用,從而帶來顯著的顯存收益。在稠密圖場景下,GCN、GAT等經典圖神經網絡模型可節省50%+的顯存,並可進一步提升訓練速度約20%。各個send_recv系列API支持sum、mean、max、min共計4個消息聚合方式,在節點特徵與邊特徵交互時則支持add、sub、mul、div共計4種計算方式。使用方式示例如下:

import paddle

x = paddle.to_tensor([[0, 2, 3], [1, 4, 5], [2, 6, 7]], dtype="float32")
y = paddle.to_tensor([1, 1, 1, 1], dtype="float32")
indexes = paddle.to_tensor([[0, 1], [1, 2], [2, 1], [0, 0]], dtype="int32")
src_index, dst_index = indexes[:, 0], indexes[:, 1]
out = paddle.geometric.send_ue_recv(x, y, src_index, dst_index, message_op="add", reduce_op="sum")

高性能圖採樣

圖採樣步驟對於圖採樣模型特別是在大圖場景下是非常有必要的,但同時也是圖模型訓練的性能瓶頸。本次新增了高性能圖採樣API,支持高併發圖採樣,加快圖採樣模型採樣和訓練效率,經典圖模型Graphsage的採樣速度可提升32~142倍,訓練速度可提升12~57倍。除了支持純GPU採樣和CPU採樣之外,還可以支持藉助UVA(Unified Virtual Addressing,統一虛擬尋址)技術,將圖結構放置在內存中進行GPU採樣,該實現方式在大圖場景下非常有效。簡單示例如下:

import paddle
from paddle.fluid import core

row = np.array([3, 7, 0, 9, 1, 4, 2, 9, 3, 9, 1, 9, 7])
colptr = np.array([0, 2, 4, 5, 6, 7, 9, 11, 11, 13, 13])
row = core.eager.to_uva_tensor(row)
colptr = core.eager.to_uva_tensor(colptr)
nodes = paddle.to_tensor([0, 8, 1, 2])
sample_size = 2
# 鄰居採樣API的輸入要求圖結構信息為CSC格式
neighbors, neighbor_count = paddle.geometric.sample_neighbors(row, colptr, nodes, sample_size=sample_size)
# 生成重編號後的邊
reindex_src, reindex_dst, out_nodes = paddle.geometric.reindex_graph(nodes, neighbors, neighbor_count)

新增語音領域類API

近幾年,智能語音領域快速迅速,深度學習領域產生了很多語音訓練處理基礎能力的需求。本次飛槳框架v2.4新增paddle.audio類API提供了語音基礎處理能力,提升了語音建模和學習便捷性。

高效的特徵提取模塊

特徵提取模塊是深度學習語音領域最基礎的模塊,特別在大規模數據訓練和推理過程中,其速度為一個性能瓶頸。本次新增MFCC、Spectrogram、LogMelSpectrogram等特徵提取API,支持GPU計算,相比CPU實現處理性能提升15倍以上,可大幅提升語音模型訓練GPU利用率,達到快速訓練和推理的效果。使用示例如下:

import paddle
from paddle.audio.features import LogMelSpectrogram

#設置音頻相關參數
sample_rate = 16000
wav_duration = 0.5
num_channels = 1
num_frames = sample_rate * wav_duration
wav_data = paddle.linspace(-1.0, 1.0, num_frames) * 0.1
waveform = wav_data.tile([num_channels, 1])

#設置特徵提起器相關參數
feature_extractor = LogMelSpectrogram(sr=sample_rate, n_fft=512, window = 'hann', power = 1.0)
feats = feature_extractor(waveform)

音頻處理基礎模塊

深度學習語音領域,除了傳統的經典模型外,還有很多語音前端處理的實驗需要進行,定製化語音特徵的需求應運而生。本次新增窗函數、離散餘弦變換等特徵提取基礎API,方便用户自定義語音特徵提取,方便完成定製化需求。使用示例如下:

import paddle

#cosine窗函數示例
n_fft = 512
cosine_window = paddle.audio.functional.get_window('cosine', n_fft)

#高斯窗函數
std = 7
gaussian_window = paddle.audio.functional.get_window(('gaussian',std), n_fft)

#離散餘弦變換示例
n_mfcc = 23
n_mels = 257
dct = paddle.audio.functional.create_dct(n_mfcc, n_mels)

語音IO模塊

對各種語音數據進行讀取是音頻處理的基礎。現實場景中語音的編碼格式各式各樣,所以需要IO模塊靈活地支持多種格式。飛槳框架v2.4新增語音IO模塊,提供2種音頻I/Obackend,支持6種編解碼,便捷地實現語音數據的加載。使用示例如下:

import os
import paddle

#設置相關參數,生成示例音頻
sample_rate = 16000
wav_duration = 0.5
num_channels = 1
num_frames = sample_rate * wav_duration
wav_data = paddle.linspace(-1.0, 1.0, num_frames) * 0.1
waveform = wav_data.tile([num_channels, 1])
base_dir = os.getcwd()
filepath = os.path.join(base_dir, "test.wav")

#保存和提取音頻信息
paddle.audio.save(filepath, waveform, sample_rate)
wav_info = paddle.audio.info(filepath)
#wav_info中會有sample_rate, num_frames, num_channels等信息

語音分類數據集

在訓練深度學習語音模型的時候,方便地下載處理數據集會為模型訓練帶來便捷。飛槳框架v2.4新增TESS、ESC50語音分類數據集。用户不必進行復雜的預處理,可以方便地啟動訓練流程,便捷地完成訓練。用户也可以依照此代碼,方便定製自己的數據集。使用示例如下:

import paddle

mode = 'dev'
esc50_dataset = paddle.audio.datasets.ESC50(mode=mode,
                                        feat_type='raw')
for idx in range(5):
    audio, label = esc50_dataset[idx]
    # do something with audio, label
    print(audio.shape, label)
    # [audio_data_length] , label_id

esc50_dataset = paddle.audio.datasets.ESC50(mode=mode,
                                        feat_type='mfcc',
                                        n_mfcc=40)
for idx in range(5):
    audio, label = esc50_dataset[idx]
    # do something with mfcc feature, label
    print(audio.shape, label)
    # [feature_dim, length] , label_id

其它新增的API

除了以上描述的幾類新增API,飛槳框架v2.4還對已有的一些API類別進行了擴充。

loss計算API

為了更方便地支持各種組網的loss計算需求,飛槳框架v2.4擴充了多個loss計算的API,包括:

  • paddle.nn.functional.cosine_embedding_loss根據label類型,計算2個輸入之間的CosineEmbedding損失。

  • paddle.nn.functional.soft_margin_loss計算輸入和label間的二分類softmargin損失。

  • paddle.nn.functional.multi_label_soft_margin_loss計算輸入和label間的多分類最大熵損失。

  • paddle.nn.functional.triplet_margin_loss和**paddle.nn.functional.triplet_margin_with_distance_loss**計算輸入與正樣本和負樣本之間的相對相似性,後者可自定義距離計算函數。

張量計算API

飛槳框架2.3之前的版本實現了很多基礎的張量計算API,飛槳框架2.4版本基於這些基礎API,通過組合的方式擴充了張量計算API,方便用户直接使用,包括:

  • 新增**paddle.sgn**取複數的單位值和實數的符號。

  • 新增**paddle.count_nonzero**沿給定的軸統計輸入張量中非零元素的個數。

  • 新增**paddle.take**將輸入張量視為一維,返回指定索引上的元素集合。

  • 新增**paddle.bucketize**根據給定的一維桶劃分,得到輸入張量對應的桶索引。

  • 新增**paddle.triu_indicespaddle.tril_indices**分別取二維張量(矩陣)中上/下三角矩陣元素的行列座標。

  • 新增**paddle.heaviside**計算赫維賽德階躍函數。

  • 新增**paddle.nanmedianpaddle.nanquantile**忽略張量中的nan值,分別計算出中位數和分位數值。

分佈式API

新增10個分佈式通信API,如paddle.distributed.communication.stream.all_gather等,支持在主計算流上做通信,降低了在流切換、事件等待時的性能開銷,能夠使分佈式GPT3模型訓練提速11.35%。

視覺變換API

基於飛槳基礎API,擴充了paddle.vision.transforms中視覺變換API,包括:

  • paddle.vision.transforms.affine和**paddle.vision.transforms.RandomAffine**對圖像進行仿射變換,後者使用隨機產生的仿射變換矩陣參數。

  • paddle.vision.transforms.erase和**paddle.vision.transforms.RandomErasing**使用給定的值擦除輸入圖像中的像素,前者是選定區域,後者是隨機區域。

  • paddle.vision.transforms.perspective和**paddle.vision.transforms.RandomPerspective**對圖像進行透視變換,前者是選定區域,後者是隨機區域,兩者都可以選擇插值方法。

除了上面的介紹外,飛槳框架v2.4還擴充了一些組網類(如paddle.nn.ChannelShuffle)、輔助類(如paddle.iinfo)等API,詳細列表可點擊下方鏈接參考Release Note。

  • Release Note地址

https://github.com/PaddlePaddle/Paddle/releases

結語

飛槳框架的建設除了來自百度的工程師外,還有一批熱愛飛槳、熱愛開源的開發者,他們正在用自己的方式參與飛槳框架的建設,與飛槳共同成長。在飛槳框架v2.4中,有約三分之一的新增API由社區開發者貢獻,飛槳的繁榮離不開廣大開發者的使用與支持。

飛槳框架v2.4逐步形成了成熟的API開發範式,框架的開發難度持續降低。配合官方提供的標準開發環境,飛槳社區開發者可以更加順暢地完成飛槳API開發與貢獻。具體體現在:

  • 簡化API開發步驟飛槳框架v2.4完成了基礎框架算子體系重構,構造高可複用的PHI算子庫(Paddle HIgh reusability operator library),支持基於已有的算子內核以及Kernel Primitives API組合實現新的算子,支持插件式接入新硬件或者新加速庫。PHI算子庫的成熟,提升了飛槳API的開發效率,並形成了通用的API開發流程,使得開發者可以更加簡潔流暢地參與飛槳API的開發與貢獻。

  • 發佈標準API貢獻指南飛槳框架v2.4形成了標準的API貢獻指南,包括貢獻流程與操作指南、API設計文檔模板、API代碼模板、API文檔寫作規範,為飛槳社區開發者提供清晰的文檔指引與輔助,使得開發者可以快速上手。

  • 提供標準開發環境飛槳AIStudio平台推出標準開發環境,為開發者提供飛槳鏡像環境、在線IDE與專屬GPU算力,登錄即可開發調試,免去環境配置與算力限制,隨時隨地參與飛槳框架的開發與貢獻。

飛槳框架v2.4提供了更加豐富的API體系,不僅更好地支持深度學習稀疏計算、圖學習、語音領域的快速迭代和創新,而且不斷擴展對3D點雲、Sparse Transformer等場景應用的支持,同時也不斷優化飛槳API的使用體驗,更好地支持業界論文中模型的實現,加速創新,讓基於深度學習的應用開發更簡單!