（一）NLP基础知识

1、NLTK

一种流行的自然语言处理库、自带语料库、具有分类，分词等很多功能，国外使用者居多，类似中文的jieba处理库

2、文本处理流程



3、分词

英文用NLTK，中文用jieba等，比较难处理时候，可能得借助正则表达式。

4、复杂的词形

处理数据的时候可能需要变化词形，分2中情况：
1）Inflection变化:不影响词性
walk⇒⇒walking⇒⇒walked
2） derivation 引申：影响词性
nation(n.)⇒⇒national(adj.)⇒⇒nationalize(v.)

5、词形归一化

1）Stemming词干提取：把不影响词性的后缀去掉
walking⇒⇒walk
walked⇒⇒walk
(依旧是动词)
2）Lemmatization词形归一：把各类型的词变形，归一
went归一=go
are归一=be



3)Lemma出现的问题（借助词性标注完成）

Went v.go的过去式 n.英文名：温特


6、去除停用词

中文有：的、地…
英文有:the 、this…

总结：文本预处理流水线

• « 上一篇：区块链技术基础（笔记）
• » 下一篇：Qt学习笔记-使用QScreen对屏幕进行截图（可全屏，可部分）