《NLP情感分析》(一)——环境配置
使用的软件和版本为:Pytorch1.8,torchtext0.9 和Python3.7
环境配置
①要安装Pytorch,请参阅Pytorch网站上的安装说明。
②要安装torchtext,请执行以下操作:
bas
pip install torchtext
③若安装速度较慢,可改为以下命令:
bas
pip install -i http://pypi.tuna.tsinghua.edu.cn/simple torchtext
④此外,我们还将使用spaCy来标记数据。要安装spaCy,可以按照spaCy官网的指令来安装
- spaCy是一个python开源模块,用于处理自然语言的大量文本。比如,一段文字的关键是什么?在段落中上下文的意思是什么?谁对谁做了什么?那些公司和产品名称特指什么?一个单词和其他其他单词相似程度如何?作为人类,理解自然语言比较容易,但如果让计算机去理解文本的意思,这都是不可回避的问题。
- spaCy就是帮助你使用计算器程序去处理和理解海量文本的工具。在目前来说,号称是速度最快、更加适合实际应用的工业级产品。spaCy可以帮助你构建信息提取、自然语言理解以及深度学习的预处理
bas
conda install -c conda-forge spacy
conda install -c conda-forge cupy
python -m spacy download zh_core_web_sm
python -m spacy download en_core_web_sm
可能遇到以下问题:
安装遇到服务器连接一直失败安装不上的解决方法。
anaconda已经提供了spacy model的下载。
conda install -c conda-forge spacy-model-en_core_web_lg
或者运行
conda install -c conda-forge/label/cf202003 spacy-model-en_core_web_lg
其中en_core_web_lg可以替换为en_core_web_sm、en_core_web_md均可。
⑤对于transformers库,可以通过以下方式安装(更改为清华源):
bas
pip install -i http://pypi.tuna.tsinghua.edu.cn/simple transformers
这些教程是使用的transformers版本为4.3。