我是对于xxxx小说网进行爬取只讲思路不展示代码请见谅

一.涉及到的反爬

• js加密

• css加密

• 请求头中的User-Agent以及 cookie

二.思路

1.对于js加密

对于有js加密信息,我们一般就是找到他加密的js

使用execjs模块来执行js代码即可

怎么找可以参考我之前对于知乎的爬取

链接点我

2.对于css加密

常见的css加密就是加css样式中的before或者after来插入内容

所有呢我们一般使用

from request-html import html

然后利用字符串的拼接拼接成一个完整的html字符串

然后html = HTML(html=html字符串)转换成一个html对象

最后呢bingo调用html对象的render执行js代码把藏属性里的字符串拿出来

3.对于cookie

利用session这个对象进行自动存储cookie

三.pycharm打印机制的漏洞

这个爬小说时候会碰到

你print(response.text)的时候为空

其实不一定是空,更好的方式再进行文件存储