《NLP情感分析》(一)——環境配置
使用的軟體和版本為:Pytorch1.8,torchtext0.9 和Python3.7
環境配置
①要安裝Pytorch,請參閱Pytorch網站上的安裝說明。
②要安裝torchtext,請執行以下操作:
bas
pip install torchtext
③若安裝速度較慢,可改為以下命令:
bas
pip install -i http://pypi.tuna.tsinghua.edu.cn/simple torchtext
④此外,我們還將使用spaCy來標記資料。要安裝spaCy,可以按照spaCy官網的指令來安裝
- spaCy是一個python開源模組,用於處理自然語言的大量文字。比如,一段文字的關鍵是什麼?在段落中上下文的意思是什麼?誰對誰做了什麼?那些公司和產品名稱特指什麼?一個單詞和其他其他單詞相似程度如何?作為人類,理解自然語言比較容易,但如果讓計算機去理解文字的意思,這都是不可迴避的問題。
- spaCy就是幫助你使用計算器程式去處理和理解海量文字的工具。在目前來說,號稱是速度最快、更加適合實際應用的工業級產品。spaCy可以幫助你構建資訊提取、自然語言理解以及深度學習的預處理
bas
conda install -c conda-forge spacy
conda install -c conda-forge cupy
python -m spacy download zh_core_web_sm
python -m spacy download en_core_web_sm
可能遇到以下問題:
安裝遇到伺服器連線一直失敗安裝不上的解決方法。
anaconda已經提供了spacy model的下載。
conda install -c conda-forge spacy-model-en_core_web_lg
或者執行
conda install -c conda-forge/label/cf202003 spacy-model-en_core_web_lg
其中en_core_web_lg可以替換為en_core_web_sm、en_core_web_md均可。
⑤對於transformers庫,可以通過以下方式安裝(更改為清華源):
bas
pip install -i http://pypi.tuna.tsinghua.edu.cn/simple transformers
這些教程是使用的transformers版本為4.3。