网络爬虫-pyqt5绕过反爬服务

当遇到使用selenium被网站识别为robot的时候，首先考虑的是换chromedriver,geckodriver,iedriver等

<>如果都行不通

<>那么请尝试使用pyqt5

pyqt5不仅可以做界面，他还可以调用强大的QtWebKit模块,QtWebKit是一个基于开源项目
，WebKit的网页内容渲染引擎，借助该引擎可以更加快捷地将万维 网集成到 Qt 应用中。

举一个小小的例子：



<>
当我们使用selenium登陆淘宝时，出现了滑块，就算我们用人工去拖动，却还是会出现无法登陆的情况，因为淘宝将你识别了出来，这样你就永远无法通过验证了，即使你是打开Selenium的情况下人为去拖动滑块验证码。

<>看看pyqt5：



可以发现使用pyqt5的时候淘宝官网并没有发现你是使用的第三方浏览器插件。

接下来我们就可以做我们该做的事情。

这里注意一下，pyqt5驱动的浏览器，只能通过注入js来操作页面，这里对js的熟练度要求就比较高了，比如利用js拖动滑块验证等。

简易的打开pyqt5浏览器的代码，js需要自己多多练习，比如抓取数据等。
from PyQt5.QtWidgets import QApplication from PyQt5.QtWebEngineWidgets import
QWebEngineView from PyQt5.QtCore import QUrl app = QApplication([]) view =
QWebEngineView() view.load(QUrl("http://www.taobao.com/")) view.show() page =
view.page() def test(): page.runjavascript("your javascript")
view.loadFinished.connect(test) app.exec_()

selenium的功能还是比pyqt5的浏览器强大很多，但是在无法绕过反爬虫服务的情况下，可以考虑一下pyqt5，比如一打开selenium就被识别出来，distil
networks这种反爬虫服务商，pyqt5是集成的chromium内核源码，因此不会被识别，但是注入js来操控爬虫的方式有点蛋疼，还需多多学习

• « 上一篇：仅用css来做一个动画效果，鼠标移入画面向上移动
• » 下一篇：Docker常用操作命令总结