Python爬虫---汽车之家字体反爬 - 好文

<>目标网站：汽车之家

<>目标网址：
https://club.autohome.com.cn/bbs/thread/2d8a42404ba24266/77486027-1.html#pvareaid=2199101

<>缘由：

今天原来的同事让我看一个网站：“汽车之家”，起初看了看感觉应该没有反爬措施吧，但是实际在操作中，发现原来是字体进行了反爬加密。
查看源码：

不禁惊讶，难道是UTF-8编码的文字吗？于是找一个在线转换的网址：https://utf8.supfree.net/，结果发现…

通过转换还是发现，获取到的竟然还是假的字体。不信邪的我重新把文章给粘贴到NotePad++上结果发现：

原来这些字体是粘贴不上去的。好吧，只能考虑字体设置了反爬。看到源码中
<span style='font-family: myfont;'></span> 那么便通过myfont
看是否能发现点东西不？结果还真有所发现

这不是..ttf字体吗？难道是使用这种字体加密的吗？那么先下载下来这种字体看是否猜测正确，下载过字体后这边推荐一款查看..ttf字体的一个工具：Font
Creator(自行下载…)下载打开查看

上边每个字显示其字形和其字形编码，那么不禁想了想，这两种字体是怎么转换的呢？翻看好多大佬博客找到一款专门解析font的python包，fonttools。自行安装
pip install fonttools 参考链接：https://darknode.in/font/font-tools-guide/
# 那么便开始通过字体库进行解析 world = TTFont('./world.ttf') # 读取响应的映射关系 uni_list =
world['cmap'].tables[0].ttFont.getGlyphOrder() # 'cmap' 表示汉字对应的映射为unicode编码
print(uni_list) # 按顺序拿到各个字符的unicode编码 # 打印结果： ['.notdef', 'uniEDE8', 'uniED35',
'uniED87', 'uniECD3', 'uniED25', 'uniEC72', 'uniEDB2', 'uniEE04', 'uniED51',
'uniEC9D', 'uniECEF', 'uniEC3C', 'uniEC8D', 'uniEDCE', 'uniED1B', 'uniED6C',
'uniECB9', 'uniEDFA', 'uniEC57', 'uniED98', 'uniEDEA', 'uniED36', 'uniEC83',
'uniECD5', 'uniEC21', 'uniED62', 'uniEDB4', 'uniED00', 'uniED52', 'uniEC9F',
'uniEDDF', 'uniEC3D', 'uniED7E', 'uniECCA', 'uniED1C', 'uniEC69', 'uniECBB',
'uniEDFB'] # .notdef 并不是汉字的映射，而是表示字体家族名称。
将映射列表转换成unicode的类型，因为自己文中获取的是字符串unicode类型的，当然你也可以转化为utf-8,不过你获取的文章内容也要转化为utf-8
unicode_list= [eval(r"u'\u" + uni[3:] + "'") for uni in uni_list[1:]]
关于映射这点，其实是有点疑问的utf-8和unicode之间有什么关系？建议参考知乎详解：
https://www.zhihu.com/question/23374078
好了，上边已经把所有的东西准备好了，写一下代码吧。
# coding:utf-8 import re import requests from scrapy import Selector from
fontTools.ttLib import TTFont class QiCheZhiJiaSpider: def
article_content(self): url =
'https://club.autohome.com.cn/bbs/thread/2d8a42404ba24266/77486027-1.html#pvareaid=2199101'
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36' }
try: response = requests.get(url=url, headers=headers).text response_info =
Selector(text=response) except BaseException as e: print(e) else: content =
response_info.xpath('//div[@class="tz-paragraph"]//text()').extract() #
获取列表的形式内容。 # print(content) content_str = ''.join(content) # 紧接着获取字体的链接
world_href = re.findall(r",url\('(//.*\.ttf)'\).*", response, re.M or re.S)[0]
world_href = 'https:' + world_href world_content = requests.get(url=world_href,
headers=headers).content # 对获取到的字体进行下载.......... with open('./world.ttf', 'wb')
as f: f.write(world_content) # 那么便开始通过字体库进行解析 world = TTFont('./world.ttf') #
读取响应的映射关系 uni_list = world['cmap'].tables[0].ttFont.getGlyphOrder()
unicode_list = [eval(r"u'\u" + uni[3:] + "'") for uni in uni_list[1:]]
world_list = ["右", "远", "高", "呢", "了", "短", "得", "矮", "多", "二", "大", "一", "不",
"近", "是", "着", "五", "三", "九", "六", "少", "好", "上", "七", "和", "很", "十", "四", "左",
"下", "八", "小", "坏", "低", "长", "更", "的", "地"] # # 录入字体文件中的字符。必须要以国际标准的unicode编码
for i in range(len(unicode_list )): content_str =
content_str.replace(unicode_list [i], world_list[i]) print(content_str) if
__name__ == '__main__': qi_che_zhi_jia = QiCheZhiJiaSpider()
qi_che_zhi_jia.article_content()
结果展示：

不足之处欢迎指出，大家一起进步。
参考大佬博客：
https://zhuanlan.zhihu.com/p/32087297
https://blog.csdn.net/zwq912318834/article/details/80268149
疑问之处：那么每一个网页都要手动把world_list给写好吗？这不是我们想要的自动化效果呀，有没有更好的办法呢？欢迎提出。

热门工具换一换