Python爬虫爬取腾讯视频动漫专区的动漫及其描述 - 好文

Python爬虫爬取腾讯视频动漫专区的动漫及其描述

<>闲来无事爬点动漫资讯看看

下面这个是腾讯视频动漫板块的超链接
[https://v.qq.com/channel/cartoon?listpage=1&channel=cartoon&iarea=1
<https://v.qq.com/channel/cartoon?listpage=1&channel=cartoon&iarea=1>]

上面的红框中第一个是动漫的标题，第二个是动漫的咨询简单描述

<>如何用Python爬取上述信息

首先要用浏览器的开发者工具查到相应的信息实在那几个html文件中

上面的红框中就是对应的标签，但我们用正则表达式取标签的时候应该尽量取它的上一层标签（因为如果单单取名字标签，很难把对应的描述最后对应起来）

<>之后就开始代码的编写了
# -*- coding: utf-8 -*- # @Time : 2019/3/25 17:26 # @Author : # @Email : #
@File : .py # @Software: PyCharm import urllib.request import re from lxml
import etree def cartoonCrawler(url): headers = { "User-Agnet": "Mozilla/5.0
(Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/57.0.2987.98 Safari/537.36 LBBROWSER" } req =
urllib.request.Request(url, headers = headers) response =
urllib.request.urlopen(req) HTML = response.read().decode("utf-8") # re.S匹配换行符
cartoon1 = re.compile(r'<div class="figure_detail
figure_detail_two_row">(.+?)</div>',re.S).findall(HTML) # print(cartoon1)
dictCartoon = {} for i in cartoon1: # 将字符串转化为文本形式 i=etree.HTML(i) #
关于xpath的详见https://blog.csdn.net/it_arookie/article/details/82825448 name =
i.xpath("//a[@class='figure_title figure_title_two_row bold']/@title") title =
i.xpath("//div[@class='figure_desc']/@title") # 将匹配的不同标签的字典用字典的形式来组合成键值对
dictCartoon[name[0]]=title[0] return dictCartoon url =
"https://v.qq.com/channel/cartoon?listpage=1&channel=cartoon&iarea=1" info =
cartoonCrawler(url) print(info) for k,v in info.items(): print("标题：",k," 描述："+v)
<>结果，最后还可以通过动态请求继续获取的请求，这个下次再说
{'斗罗大陆': '此生不悔入唐门', '狐妖小红娘': '鞘笛不离至死不渝', '武动乾坤': '武之极，破苍穹，动乾坤', '灵剑尊':
'落魄少主闯荡大陆，天地三界，我为至尊！', '雄兵连之诸天降临': '抗击外星入侵', '万界神主': '陨落古神，遨游苍蓝', '雪鹰领主': '超凡守护
热“雪”来袭', '魔道祖师': '仙门少年为民除害斩邪祟', '通灵妃': '年度鬼畜爱情大戏', '画江湖之不良人第3季': '王者弈天下
大唐生死局', '猫妖的诱惑正式版': '自古爱恨两难，当然是插他两刀', '巨兵长城传第1季': '一场关乎世界安危的冒险', '狠西游第2季':
'18年12月绝境重生！', '地灵曲': '3D动画版鬼吹灯', '斗破苍穹第2季': '萧炎归来风云再起', '全职高手':
'十年热血书写电竞辉煌', '武庚纪第2季': '商朝王子武庚逆袭记', '妖神记之影妖篇': '聂离融合妖灵迅速成长', '一人之下第2季':
'风起云涌罗天大醮', '斗罗大陆2 绝世唐门动态漫画': '唐三之后，斗罗大陆新星降临。', '非人哉': '神仙妖怪的爆笑日常', '星辰变第1季':
'少年逆天改命成王', '超神学院之雄兵连': '世纪大战一触即发', '天行九歌': '超高颜值的权谋史诗', '刺客伍六七': '神秘美少女的遗愿清单',
'万界仙踪': '少年掌门人背负血海深仇', '全职法师第3季': '法师集结，决战狂魔', '斗破苍穹特别篇': '9月30日萧炎上线！',
'动态漫画·驸马不要啊': '霸道公主驯服花花公子', '妖神记第2季': '成为最强妖灵师'} 标题：斗罗大陆描述：此生不悔入唐门标题：狐妖小红娘
描述：鞘笛不离至死不渝标题：武动乾坤描述：武之极，破苍穹，动乾坤标题：灵剑尊描述：落魄少主闯荡大陆，天地三界，我为至尊！标题：
雄兵连之诸天降临描述：抗击外星入侵标题：万界神主描述：陨落古神，遨游苍蓝标题：雪鹰领主描述：超凡守护热“雪”来袭标题：魔道祖师
描述：仙门少年为民除害斩邪祟标题：通灵妃描述：年度鬼畜爱情大戏标题：画江湖之不良人第3季描述：王者弈天下大唐生死局标题：猫妖的诱惑正式版
描述：自古爱恨两难，当然是插他两刀标题：巨兵长城传第1季描述：一场关乎世界安危的冒险标题：狠西游第2季描述：18年12月绝境重生！标题：
地灵曲描述：3D动画版鬼吹灯标题：斗破苍穹第2季描述：萧炎归来风云再起标题：全职高手描述：十年热血书写电竞辉煌标题：武庚纪第2季
描述：商朝王子武庚逆袭记标题：妖神记之影妖篇描述：聂离融合妖灵迅速成长标题：一人之下第2季描述：风起云涌罗天大醮标题：斗罗大陆2 绝世唐门
动态漫画描述：唐三之后，斗罗大陆新星降临。标题：非人哉描述：神仙妖怪的爆笑日常标题：星辰变第1季描述：少年逆天改命成王标题：
超神学院之雄兵连描述：世纪大战一触即发标题：天行九歌描述：超高颜值的权谋史诗标题：刺客伍六七描述：神秘美少女的遗愿清单标题：万界仙踪
描述：少年掌门人背负血海深仇标题：全职法师第3季描述：法师集结，决战狂魔标题：斗破苍穹特别篇描述：9月30日萧炎上线！标题：
动态漫画·驸马不要啊描述：霸道公主驯服花花公子标题：妖神记第2季描述：成为最强妖灵师`

热门工具换一换