爬虫的强大,无可置疑;反爬虫技术也越来约厉害;
比如,中国招投标公共服务平台http://www.cebpubservice.com/ <http://www.cebpubservice.com/>
这个网站爬虫完全无法获取任何有效的数据,除非你能入侵到对方的数据库,不过这就是入侵了,是犯罪
一方面,网络规则越来越规范,方便了爬虫数据获取和处理
另一方面,网络安全机制,也在掣肘爬虫的发展,所以爬虫的潜力虽然是强大的,但是未来的掣肘会越来越多,而且法律方面也在逐渐覆盖网络区域
这不得不让人深思,爬虫技术是否还有前途,如果四五年内没有质的进步的话。
热门工具 换一换