摘要:本篇教程介绍了Node.js教程之制作简易爬虫,希望阅读本篇文章以后大家有所收获,帮助大家对Node.js的理解更加深入。
本篇教程介绍了Node.js教程之制作简易爬虫,希望阅读本篇文章以后大家有所收获,帮助大家对Node.js的理解更加深入。
<
直接上代码吧。
1 var sys = require("sys"),
2 http = require("http"),
3 fs = require("fs");
4 var url = "//newbbs.fengniao.com/forum/forum_125.html";
5 var data = "";
6 //创建正则,过滤html
7 var reg = /<div\s*class="recommendSub">\s*<a\s*href="(.*?)"\s*class="pic"\s*title="(.*?)"/g;
8 var result = [],
9 timeStamp = 0;
10 // 创建一个请求
11 var req = http.request(url, function (res) {
12 // 设置显示编码
13 timeStamp = new Date().getTime();
14 res.setEncoding("utf8");
15 res.on(‘data‘, function (chunk) {
16 data += chunk;
17 });
18 // 响应完毕时间出发,输出 data
19 res.on(‘end‘, function () {
20 while (match = reg.exec(data)) {
21 result.push({
22 title: match[1],
23 url: match[2]
24 });
25 }
26 writeFile(result);
27 });
28 });
29 // 发送请求
30 req.end();
31 function writeFile(r) {
32 var str = ‘‘;
33 for (var i = 0, _len = r.length; i < _len; i++) {
34 str += r[i].title + ‘\n‘ + r[i].url + ‘\n‘;
35 }
36 //数据拼接结束后,写入s.txt文件
37 fs.writeFile(‘s.txt‘, str, function (err) {
38 if (err) {
39 throw err;
40 }
41 console.log(‘耗时约‘ + Math.ceil((new Date().getTime() - timeStamp) / 1000) + ‘s‘);
42 console.log(‘数据已写入文件‘);
43 });
44 }
这里比较需要注意的就是正则了,大家要注意贪婪匹配这些要点。
我们把这个js文件命名为spider.js,控制台下运行
node spider.js
后就可以看到s.txt文件生成了,里面就是获取的帖子信息。
本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注WEB前端Node.js频道!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号