博客
关于我
nodeJs爬取图片
阅读量:494 次
发布时间:2019-03-07

本文共 1288 字,大约阅读时间需要 4 分钟。

简单的nodeJs爬取图片 小样例

1、新建node项目

npm init -y

-y 的含义:yes的意思,在init的时候省去了敲回车的步骤,生成的默认的package.json

2、安装模块

爬取图片所需要的模块

  • request request模块让http请求变的更加简单。(作为客户端,去请求、抓取另一个网站的信息)
  • cheerio cheerio 是一个 jQuery Core 的子集,其实现了 jQuery Core 中浏览器无关的 DOM 操作 API
    request cheerio 需要npm 下载
  • fs 自带 操作文件读写

3、编写抓取图片代码

1、新建 app.js

//引入模块const cheerio = require('cheerio');const fs = require('fs');const request = require('request');// 获取页面信息function start(url) {       request(url, function (err, res, body) {           if (!err && res.statusCode == 200) {               findImg(body, saveImgFile);        }    })}// url 为页面的urlstart('url')// 页面节点解析function findImg(dom,callback) {    let $ = cheerio.load(dom);//  页面节点 找到img 标签 each 循环 $('img').each((index,dom)=>{    let imgSrc = $(dom).attr('src'); // 获取图片路径 callback(imgSrc,index); })}function saveImgFile(src, index) {       console.log(src,index)    let ext = src.split('.').pop() //图片类型 png jpg  pop() 方法用于删除并返回数组的最后一个元素。    let imgName = index + '.' + ext    // if (src.indexOf('http') < 0) src = 'http:' + src    // src 路径需确保为完整路径    // 新建pic 文件夹 保存到文件夹下    request(src).pipe(fs.createWriteStream('./pic/' + imgName)) // 下载文件到本地}// 调用start  url 为页面的urlstart('http://www.netbian.com/index.htm')

目录 :page.json ,app.js ,pic文件夹

2、运行

node app.js

注:最最简单的图片抓取方法,大部分页面都支持

转载地址:http://rajcz.baihongyu.com/

你可能感兴趣的文章
Nginx gateway集群和动态网关
查看>>
Nginx Location配置总结
查看>>
Nginx log文件写入失败?log文件权限设置问题
查看>>
Nginx Lua install
查看>>
nginx net::ERR_ABORTED 403 (Forbidden)
查看>>
Nginx SSL 性能调优
查看>>
Nginx SSL私有证书自签,且反代80端口
查看>>
Nginx upstream性能优化
查看>>
Nginx 中解决跨域问题
查看>>
nginx 代理解决跨域
查看>>
Nginx 做负载均衡的几种轮询策略分析
查看>>
Nginx 入门,一篇搞定!
查看>>
Nginx 利用代理转发请求示例
查看>>
Nginx 动静分离与负载均衡的实现
查看>>
Nginx 反向代理 MinIO 及 ruoyi-vue-pro 配置 MinIO 详解
查看>>
nginx 反向代理 转发请求时,有时好有时没反应,产生原因及解决
查看>>
Nginx 反向代理+负载均衡
查看>>
Nginx 反向代理解决跨域问题
查看>>
Nginx 反向代理配置去除前缀
查看>>
nginx 后端获取真实ip
查看>>