（二）简单的NLP实例

1、情感分析

1）数据：
s1=’this is a good book’
s2=’this is a awesome book’
s3=’this is a bad book’
s4=’this is a terrible book’
2）把数据处理成向量：（不关心单词出现的顺序）
统计上面文档出现过的所有单词有’this、is 、a 、good 、awesome、 bad、 terrible、 book’共8个；
句子例如：s1=[1 1 1 1 0 0 0 1]表示awesome、 bad、 terrible没出现，其他单词都出现，句子长度为所有单词总数8。
3）分别给句子s1、s2、s3、s4贴上lable作为训练集，然后用ML方法训练

2、文本相似度

we you he work happy are
1 0 3 0 1 1
1 0 2 0 1 1
0 1 0 1 0 0
表格中，第一行表示句子”he he he,we are happy”,其他类似，不关心单词出现的顺序，即用元素评率表示文本特征，则文本的相似度计算如下：

similarity=cos(θ)=A⋅B∥A∥∥B∥similarity=cos(θ)=A⋅B‖A‖‖B‖


3、文本分类

1）TF-IDF概念

TF: 即Term Frequency, 用来衡量⼀个term在⽂档中出现得有多频繁
TF(t) = (t出现在⽂档中的次数) / (⽂档中的term总数)

IDF: Inverse Document Frequency, 衡量⼀个term有多重要。
IDF(t) = log_e(⽂档总数 / 含有t的⽂档总数).

TF-IDF = TF * IDF

2）TF-IDF实例

⼀个⽂档有100个单词，其中单词baby出现了3次；且一共有10M的⽂档， baby出现在其中的1000个⽂档中。
那么，

TF(baby)=(3/100)=0.03TF(baby)=(3/100)=0.03



IDF(baby)=log(10,000,000/1,000)=4IDF(baby)=log(10,000,000/1,000)=4



TF−IDF(baby)=TF(baby)∗IDF(baby)=0.03∗4=0.12TF−IDF(baby)=TF(baby)∗IDF(baby)=0.03
∗4=0.12


3)NLTK实现TF-IDF

• « 上一篇：vue---axios实现数据交互与跨域问题
• » 下一篇：生产制造追溯系统-再说条码打印