Node.js如何实现简单小说爬虫-职坐标

Node.js如何实现简单小说爬虫

沉沙 2018-07-19 来源：阅读 616 评论 0

摘要：本篇Node.js教程探讨了Node.js如何实现简单小说爬虫，希望阅读本篇文章以后大家有所收获，帮助大家对Node.js的理解更加深入。

工作流程

· 获取 URLs 列表(请求资源 request 模块)

· 根据 URLs 列表获取相关页面源码(可能遇到页面编码问题，iconv-lite 模块)

· 源码解析，获取小说信息( cheerio 模块)

· 保存小说信息到 Markdown 文件，并且加适当修饰以及章节信息(写文件 fs、同步请求资源 sync-request 模块)

· Markdown 转 PDF (使用 Pandoc 或者 Chrome 的打印功能)

获取 URLs

根据小说的导航页，获取小说所有章节的 URL，并且以 JSON 数组的方式存储。

· 首选通过 http.get() 方法获取页面源码

· 获取到源码，打印发现中文乱码，查看发现 charset = 'gbk'，需要进行转码

· 使用 iconv-lite 模块进行转码，中文显示正常后开始解析源码，获取需要的 URL，为了更方便地解析，需要引进 cheerio 模块，cheerio 可以理解为运行在后台的 jQuery，用法与 jQuery 也十分相似，熟悉 jQuery 的同学可以很快的上手

· 将源码加载进 cheerio，分析了源码后得知所有章节信息都存于被 div 包裹的 a 标签中，通过 cheerio 取出符合条件的 a 标签组，进行遍历，获取章节的 title 和 URL，保存为对象，存进数组，(因为链接中存储的 URL 不完整，所以存储时需要补齐)

· 将对象数组序列化，写进 list.json 文件

var http = require("http")var fs = require("fs")var cheerio = require("cheerio")var iconv = require("iconv-lite")var url = '//www.17fa.com/files/article/html/90/90747/index.html'http.get(url, function(res) { //资源请求

var chunks = []

res.on('data', function(chunk) {

chunks.push(chunk)

})

res.on('end', function() {

var html = iconv.decode(Buffer.concat(chunks), 'gb2312') //转码操作

var $ = cheerio.load(html, {

decodeEntities: false

})

var content = $("tbody")

var links = []

$('div').children('a').each(function(i, elem) {

var link = new Object()

link.title = $(this).text()

link.link = '//www.17fa.com/files/article/html/90/90747/' + $(this).attr('href') //补齐 URL 信息

if (i > 5) {

links.push(link)

}

})

fs.writeFile("list.json", JSON.stringify(links), function(err) {

if (!err) {

console.log("写文件成功")

}

})

}).on('error', function() {

console.log("网页访问出错")

})})

获取的列表示例

[{

"title": "3 法医司白",

"link": "//www.17fa.com/files/article/html/90/90747/16548771.html"}, {

"title": "4 第1个梦 ",

"link": "//www.17fa.com/files/article/html/90/90747/16548772.html"}, {

"title": "5 刑警韩沉 ",

"link": "//www.17fa.com/files/article/html/90/90747/16548773.html"}, {

"title": "6 最初之战",

"link": "//www.17fa.com/files/article/html/90/90747/16548774.html "}]

获取数据

有了 URLs 列表，接下来的工作就很机械了，遍历 URLs 列表请求资源，获取源码，解析源码，获取小说，写文件，但是，因为最终将所有的章节保存入一个文件，要保证章节的顺序，因此写文件需要同步操作，实际上，我在编码的时候所有的操作都改成了同步方式

获取源码

通过解析读取的 list.json 文件，获取到 URLs 列表，遍历列表获取资源，因为需要确保章节的顺序，所以这里引进 sync-request 模块进行同步 request 请求资源，请求资源后照例转码

var http = require("http")var fs = require("fs")var cheerio = require("cheerio")var iconv = require("iconv-lite")var request = require('sync-request')var urlList = JSON.parse(fs.readFileSync('list.json', 'utf8'))function getContent(chapter) {

var res = request('GET',chapter.link)

var html = iconv.decode(res.body, 'gb2312') //获取源码}for (let i = 0; i < urlList.length; i++) {

getContent(urlList[i])}

解析源码，获取小说

还是通过 cheerio 模块获取小说内容，避免影响观感，写操作之前去除内容中的的 html 标签

function getContent(chapter) {

var res = request('GET',chapter.link)

var html = iconv.decode(res.body, 'gb2312')

var $ = cheerio.load(html, {

decodeEntities: false

})

var content = ($("div#r1c").text()).replace(/\ /g, '')}

保存小说

写操作也需要同步操作，因此使用了同步写函数 fs.writeFileSync() 和同步添加函数 fs.appendFileSync()，第一次写使用写函数，之后的内容都是进行 append 操作，为了改善阅读体验，每个章节前添加标题
也可以在内容前添加拍 [TOC]，作为导航链接

var http = require("http")var fs = require("fs")var cheerio = require("cheerio")var iconv = require("iconv-lite")var path = require('path')var urlList = JSON.parse(fs.readFileSync('list.json', 'utf8'))function getContent(chapter) {

console.log(chapter.link)

http.get(chapter.link, function(res) {

var chunks = []

res.on('data', function(chunk) {

chunks.push(chunk)

})

res.on('end', function() {

var html = iconv.decode(Buffer.concat(chunks), 'gb2312')

var $ = cheerio.load(html, {

decodeEntities: false

})

var content = ($("div#r1c").text()).replace(/\ /g, '')