如何爬取网络小说里的文章

开启防盗版章节后，明显的就是订阅提升，尤其是在一些情节的高潮处开启防盗版最是明显。

很容易淘汰那些滥竽充数的人，毕竟，如果花真金白银读书的话，肯定会珍贵每一个章节，这无疑对于作者的能力提出更高的要求，如果作者大量灌水，或许短时间内订阅提高，但长远来看，还是免不了被淘汰的命运。

奇迹的防盗章一般会在24小时内更换成正文，如果你是跳着订阅的话，可能要更晚看到正文，这个要看作者定的订阅比例，有50%的，也有更高的，如果可以的话还是全订吧，既可以支持作者又看到的最早。

章节分类

一般小说章节分为公众章节和VIP章节，公众章节就是不收费的，公开给所有人观看的小说章节；而VIP章节代表的是该作者的该本书籍签约了你所观看的这个小说网站，你需要付一定的费用才能观看到VIP章节的小说内容。

而观看费用一般是以千字为单位计算，这部分不同的小说网站有不同的收费标准。

首先爬虫分为爬取移动APP数据和网站数据，主要方法都是一致，但细节上有点区别。

拿爬取网站数据分析:

1.用浏览器开发者工具的Network功能分析对应的数据接口或者查看源代码写出相应的正则表达式去匹配相关数据

2.将步骤一分析出来的结果或者正则用脚本语言模拟请求，提取关键数据。这中间可能牵扯多个请求接口，而且一般要做数据签名以及数据加密，这一块需要找到对应js文件分析算法。

爬取一个网站数据大致就以上两步，当然细节还有很多，比如模拟请求头，请求方式以及请求体。如果你是爬取移动APP数据，那就还要牵扯抓包分析，软件砸壳反编译等等，相对来说APP爬虫要复杂一点。