博客
关于我
nodeJs爬取图片
阅读量:494 次
发布时间:2019-03-07

本文共 1288 字,大约阅读时间需要 4 分钟。

简单的nodeJs爬取图片 小样例

1、新建node项目

npm init -y

-y 的含义:yes的意思,在init的时候省去了敲回车的步骤,生成的默认的package.json

2、安装模块

爬取图片所需要的模块

  • request request模块让http请求变的更加简单。(作为客户端,去请求、抓取另一个网站的信息)
  • cheerio cheerio 是一个 jQuery Core 的子集,其实现了 jQuery Core 中浏览器无关的 DOM 操作 API
    request cheerio 需要npm 下载
  • fs 自带 操作文件读写

3、编写抓取图片代码

1、新建 app.js

//引入模块const cheerio = require('cheerio');const fs = require('fs');const request = require('request');// 获取页面信息function start(url) {       request(url, function (err, res, body) {           if (!err && res.statusCode == 200) {               findImg(body, saveImgFile);        }    })}// url 为页面的urlstart('url')// 页面节点解析function findImg(dom,callback) {    let $ = cheerio.load(dom);//  页面节点 找到img 标签 each 循环 $('img').each((index,dom)=>{    let imgSrc = $(dom).attr('src'); // 获取图片路径 callback(imgSrc,index); })}function saveImgFile(src, index) {       console.log(src,index)    let ext = src.split('.').pop() //图片类型 png jpg  pop() 方法用于删除并返回数组的最后一个元素。    let imgName = index + '.' + ext    // if (src.indexOf('http') < 0) src = 'http:' + src    // src 路径需确保为完整路径    // 新建pic 文件夹 保存到文件夹下    request(src).pipe(fs.createWriteStream('./pic/' + imgName)) // 下载文件到本地}// 调用start  url 为页面的urlstart('http://www.netbian.com/index.htm')

目录 :page.json ,app.js ,pic文件夹

2、运行

node app.js

注:最最简单的图片抓取方法,大部分页面都支持

转载地址:http://rajcz.baihongyu.com/

你可能感兴趣的文章
Netty和Tomcat的区别已经性能对比
查看>>
Netty基础—1.网络编程基础二
查看>>
Netty基础—3.基础网络协议二
查看>>
Netty基础—7.Netty实现消息推送服务一
查看>>
Netty多线程 和 Redis6 多线程对比
查看>>
Netty学习总结(2)——Netty的高性能架构之道
查看>>
Netty学习总结(3)——Netty百万级推送服务
查看>>
Netty学习总结(5)——Netty之TCP粘包/拆包问题的解决之道
查看>>
Netty学习总结(6)——Netty使用注意事项
查看>>
Netty客户端断线重连实现及问题思考
查看>>
Netty工作笔记0001---Netty介绍
查看>>
Netty工作笔记0003---IO模型-BIO-Java原生IO
查看>>
Netty工作笔记0006---NIO的Buffer说明
查看>>
Netty工作笔记0007---NIO的三大核心组件关系
查看>>
Netty工作笔记0008---NIO的Buffer的机制及子类
查看>>
Netty工作笔记0009---Channel基本介绍
查看>>
Netty工作笔记0011---Channel应用案例2
查看>>
Netty工作笔记0013---Channel应用案例4Copy图片
查看>>
Netty工作笔记0014---Buffer类型化和只读
查看>>
Netty工作笔记0020---Selectionkey在NIO体系
查看>>