《NLP情感分析》(六)——多類型情感分析

語言: CN / TW / HK

5:多類型情感分析

在之前的所有學習中,我們的數據集對於情感的分析只有兩個分類:正面或負面。當我們只有兩個類時,我們的輸出可以是單個標量,範圍在 0 和 1 之間,表示示例屬於哪個類。當我們有 2 個以上的例子時,我們的輸出必須是一個 $C$ 維向量,其中 $C$ 是類的數量。

在本次學習中,我們將對具有 6 個類的數據集執行分類。請注意,該數據集實際上並不是情感分析數據集,而是問題數據集,任務是對問題所屬的類別進行分類。但是,本次學習中涵蓋的所有內容都適用於任何包含屬於 $C$ 類之一的輸入序列的示例的數據集。

下面,我們設置字段並加載數據集,與之前不同的是:

第一,我們不需要在 LABEL 字段中設置 dtype。在處理多類問題時,PyTorch 期望標籤被數字化為LongTensor

第二,這次我們使用的是TREC數據集而不是IMDB數據集。 fine_grained 參數允許我們使用細粒度標籤(其中有50個類)或不使用(在這種情況下它們將是6個類)。

```python import torch from torchtext.legacy import data from torchtext.legacy import datasets import random

SEED = 1234

torch.manual_seed(SEED) torch.backends.cudnn.deterministic = True

TEXT = data.Field(tokenize = 'spacy',tokenizer_language = 'en_core_web_sm')

LABEL = data.LabelField()

train_data, test_data = datasets.TREC.splits(TEXT, LABEL, fine_grained=False)

train_data, valid_data = train_data.split(random_state = random.seed(SEED)) ```

image.png

下面我們看一個訓練集的示例

python vars(train_data[-1])

{'text': ['What', 'is', 'a', 'Cartesian', 'Diver', '?'], 'label': 'DESC'}

接下來,我們將構建詞彙表。 由於這個數據集很小(只有約 3800 個訓練樣本),它的詞彙量也非常小(約 7500 個不同單詞,即one-hot向量為7500維),這意味着我們不需要像以前一樣在詞彙表上設置“max_size”。

```python MAX_VOCAB_SIZE = 25_000

TEXT.build_vocab(train_data, max_size = MAX_VOCAB_SIZE, vectors = "glove.6B.100d", unk_init = torch.Tensor.normal_)

LABEL.build_vocab(train_data) ```

接下來,我們可以檢查標籤。

6 個標籤(對於非細粒度情況)對應於數據集中的 6 類問題: - HUM:關於人類的問題 - ENTY:關於實體的問題的 - DESC:關於要求提供描述的問題 - NUM:關於答案為數字的問題 - LOC:關於答案是位置的問題 - ABBR:關於詢問縮寫的問題

python print(LABEL.vocab.stoi)

defaultdict(None, {'HUM': 0, 'ENTY': 1, 'DESC': 2, 'NUM': 3, 'LOC': 4, 'ABBR': 5})

與往常一樣,我們設置了迭代器。

```python BATCH_SIZE = 64

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

train_iterator, valid_iterator, test_iterator = data.BucketIterator.splits( (train_data, valid_data, test_data), batch_size = BATCH_SIZE, device = device) ```

我們將使用上一個notebook中的CNN模型,但是教程中涵蓋的任何模型都適用於該數據集。 唯一的區別是現在 output_dim 是 $C$維而不是 $2$維。

```python import torch.nn as nn import torch.nn.functional as F

class CNN(nn.Module): def init(self, vocab_size, embedding_dim, n_filters, filter_sizes, output_dim, dropout, pad_idx):

    super().__init__()

    self.embedding = nn.Embedding(vocab_size, embedding_dim)

    self.convs = nn.ModuleList([
                                nn.Conv2d(in_channels = 1, 
                                          out_channels = n_filters, 
                                          kernel_size = (fs, embedding_dim)) 
                                for fs in filter_sizes
                                ])

    self.fc = nn.Linear(len(filter_sizes) * n_filters, output_dim)

    self.dropout = nn.Dropout(dropout)

def forward(self, text):

    #text = [sent len, batch size]

    text = text.permute(1, 0)

    #text = [batch size, sent len]

    embedded = self.embedding(text)

    #embedded = [batch size, sent len, emb dim]

    embedded = embedded.unsqueeze(1)

    #embedded = [batch size, 1, sent len, emb dim]

    conved = [F.relu(conv(embedded)).squeeze(3) for conv in self.convs]

    #conv_n = [batch size, n_filters, sent len - filter_sizes[n]]

    pooled = [F.max_pool1d(conv, conv.shape[2]).squeeze(2) for conv in conved]

    #pooled_n = [batch size, n_filters]

    cat = self.dropout(torch.cat(pooled, dim = 1))

    #cat = [batch size, n_filters * len(filter_sizes)]

    return self.fc(cat)

```

我們定義我們的模型,確保將輸出維度: OUTPUT_DIM 設置為 $C$。 我們可以通過使用 LABEL 詞彙的大小輕鬆獲得 $C$,就像我們使用 TEXT 詞彙的長度來獲取輸入詞彙的大小一樣。

此數據集中的示例比 IMDb 數據集中的示例小很多,因此我們將使用較小的filter大小。

```python INPUT_DIM = len(TEXT.vocab) EMBEDDING_DIM = 100 N_FILTERS = 100 FILTER_SIZES = [2,3,4] OUTPUT_DIM = len(LABEL.vocab) DROPOUT = 0.5 PAD_IDX = TEXT.vocab.stoi[TEXT.pad_token]

model = CNN(INPUT_DIM, EMBEDDING_DIM, N_FILTERS, FILTER_SIZES, OUTPUT_DIM, DROPOUT, PAD_IDX) ```

檢查參數的數量,我們可以看到較小的filter大小意味着我們的參數是 IMDb 數據集上 CNN 模型的三分之一。

```python def count_parameters(model): return sum(p.numel() for p in model.parameters() if p.requires_grad)

print(f'The model has {count_parameters(model):,} trainable parameters') ```

The model has 841,806 trainable parameters

之後,我們將加載我們的預訓練embedding。

```python pretrained_embeddings = TEXT.vocab.vectors

model.embedding.weight.data.copy_(pretrained_embeddings) ```

tensor([[-0.1117, -0.4966,  0.1631,  ...,  1.2647, -0.2753, -0.1325],
        [-0.8555, -0.7208,  1.3755,  ...,  0.0825, -1.1314,  0.3997],
        [ 0.1638,  0.6046,  1.0789,  ..., -0.3140,  0.1844,  0.3624],
        ...,
        [-0.3110, -0.3398,  1.0308,  ...,  0.5317,  0.2836, -0.0640],
        [ 0.0091,  0.2810,  0.7356,  ..., -0.7508,  0.8967, -0.7631],
        [ 0.5831, -0.2514,  0.4156,  ..., -0.2735, -0.8659, -1.4063]])

然後將用0來初始化未知的權重和padding參數。

```python UNK_IDX = TEXT.vocab.stoi[TEXT.unk_token]

model.embedding.weight.data[UNK_IDX] = torch.zeros(EMBEDDING_DIM) model.embedding.weight.data[PAD_IDX] = torch.zeros(EMBEDDING_DIM) ```

與之前notebook的另一個不同之處是我們的損失函數。 BCEWithLogitsLoss 一般用來做二分類,而 CrossEntropyLoss用來做多分類,CrossEntropyLoss 對我們的模型輸出執行 softmax 函數,損失由該函數和標籤之間的 *交叉熵 * 給出。

一般來説: - 當我們的示例僅屬於 $C$ 類之一時,使用 CrossEntropyLoss - 當我們的示例僅屬於 2 個類(0 和 1)時使用 BCEWithLogitsLoss,並且也用於我們的示例屬於 0 和 $C$ 之間的類(也稱為多標籤分類)的情況。

```python import torch.optim as optim

optimizer = optim.Adam(model.parameters())

criterion = nn.CrossEntropyLoss()

model = model.to(device) criterion = criterion.to(device) ```

之前,我們有一個函數可以計算二進制標籤情況下的準確度,我們説如果值超過 0.5,那麼我們會假設它是正的。 在我們有超過 2 個類的情況下,我們的模型輸出一個 $C$ 維向量,其中每個元素的值是示例屬於該類的置信度。

例如,在我們的標籤中,我們有:'HUM' = 0、'ENTY' = 1、'DESC' = 2、'NUM' = 3、'LOC' = 4 和 'ABBR' = 5。如果我們的輸出 模型是這樣的:[5.1, 0.3, 0.1, 2.1, 0.2, 0.6] 這意味着該模型確信該示例屬於第 0 類:這是一個關於人類的問題,並且略微相信該示例屬於該第3類:關於數字的問題。

我們通過執行 argmax 來獲取批次中每個元素的預測最大值的索引,然後計算它與實際標籤相等的次數來計算準確度。 然後我們對整個批次進行平均。

python def categorical_accuracy(preds, y): """ Returns accuracy per batch, i.e. if you get 8/10 right, this returns 0.8, NOT 8 """ top_pred = preds.argmax(1, keepdim = True) correct = top_pred.eq(y.view_as(top_pred)).sum() acc = correct.float() / y.shape[0] return acc

訓練循環與之前類似,CrossEntropyLoss期望輸入數據為 [batch size, n classes] ,標籤為 [batch size]

標籤默認需要是一個 LongTensor類型的數據,因為我們沒有像以前那樣將 dtype 設置為 FloatTensor

```python def train(model, iterator, optimizer, criterion):

epoch_loss = 0
epoch_acc = 0

model.train()

for batch in iterator:

    optimizer.zero_grad()

    predictions = model(batch.text)

    loss = criterion(predictions, batch.label)

    acc = categorical_accuracy(predictions, batch.label)

    loss.backward()

    optimizer.step()

    epoch_loss += loss.item()
    epoch_acc += acc.item()

return epoch_loss / len(iterator), epoch_acc / len(iterator)

```

像之前一樣對循環進行評估

```python def evaluate(model, iterator, criterion):

epoch_loss = 0
epoch_acc = 0

model.eval()

with torch.no_grad():

    for batch in iterator:

        predictions = model(batch.text)

        loss = criterion(predictions, batch.label)

        acc = categorical_accuracy(predictions, batch.label)

        epoch_loss += loss.item()
        epoch_acc += acc.item()

return epoch_loss / len(iterator), epoch_acc / len(iterator)

```

```python import time

def epoch_time(start_time, end_time): elapsed_time = end_time - start_time elapsed_mins = int(elapsed_time / 60) elapsed_secs = int(elapsed_time - (elapsed_mins * 60)) return elapsed_mins, elapsed_secs ```

接下來,訓練模型

```python N_EPOCHS = 5

best_valid_loss = float('inf')

for epoch in range(N_EPOCHS):

start_time = time.time()

train_loss, train_acc = train(model, train_iterator, optimizer, criterion)
valid_loss, valid_acc = evaluate(model, valid_iterator, criterion)

end_time = time.time()

epoch_mins, epoch_secs = epoch_time(start_time, end_time)

if valid_loss < best_valid_loss:
    best_valid_loss = valid_loss
    torch.save(model.state_dict(), 'tut5-model.pt')

print(f'Epoch: {epoch+1:02} | Epoch Time: {epoch_mins}m {epoch_secs}s')
print(f'\tTrain Loss: {train_loss:.3f} | Train Acc: {train_acc*100:.2f}%')
print(f'\t Val. Loss: {valid_loss:.3f} |  Val. Acc: {valid_acc*100:.2f}%')

```

image.png

最後,在測試集上運行我們的模型

```python model.load_state_dict(torch.load('tut5-model.pt'))

test_loss, test_acc = evaluate(model, test_iterator, criterion)

print(f'Test Loss: {test_loss:.3f} | Test Acc: {test_acc*100:.2f}%') ```

image.png

類似於我們創建一個函數來預測任何給定句子的情緒,我們現在可以創建一個函數來預測給定問題的類別。

這裏唯一的區別是,我們沒有使用 sigmoid 函數將輸入壓縮在 0 和 1 之間,而是使用 argmax 來獲得最高的預測類索引。 然後我們使用這個索引和標籤 vocab 來獲得可讀的標籤string。

```python import spacy nlp = spacy.load('en_core_web_sm')

def predict_class(model, sentence, min_len = 4): model.eval() tokenized = [tok.text for tok in nlp.tokenizer(sentence)] if len(tokenized) < min_len: tokenized += [''] * (min_len - len(tokenized)) indexed = [TEXT.vocab.stoi[t] for t in tokenized] tensor = torch.LongTensor(indexed).to(device) tensor = tensor.unsqueeze(1) preds = model(tensor) max_preds = preds.argmax(dim = 1) return max_preds.item() ```

現在,讓我們在幾個不同的問題上嘗試一下……

python pred_class = predict_class(model, "Who is Keyser Söze?") print(f'Predicted class is: {pred_class} = {LABEL.vocab.itos[pred_class]}')

Predicted class is: 0 = HUM

python pred_class = predict_class(model, "How many minutes are in six hundred and eighteen hours?") print(f'Predicted class is: {pred_class} = {LABEL.vocab.itos[pred_class]}')

Predicted class is: 3 = NUM

python pred_class = predict_class(model, "What continent is Bulgaria in?") print(f'Predicted class is: {pred_class} = {LABEL.vocab.itos[pred_class]}')

Predicted class is: 4 = LOC

python pred_class = predict_class(model, "What does WYSIWYG stand for?") print(f'Predicted class is: {pred_class} = {LABEL.vocab.itos[pred_class]}')

Predicted class is: 5 = ABBR