博客
关于我
nodeJs爬取图片
阅读量:494 次
发布时间:2019-03-07

本文共 1288 字,大约阅读时间需要 4 分钟。

简单的nodeJs爬取图片 小样例

1、新建node项目

npm init -y

-y 的含义:yes的意思,在init的时候省去了敲回车的步骤,生成的默认的package.json

2、安装模块

爬取图片所需要的模块

  • request request模块让http请求变的更加简单。(作为客户端,去请求、抓取另一个网站的信息)
  • cheerio cheerio 是一个 jQuery Core 的子集,其实现了 jQuery Core 中浏览器无关的 DOM 操作 API
    request cheerio 需要npm 下载
  • fs 自带 操作文件读写

3、编写抓取图片代码

1、新建 app.js

//引入模块const cheerio = require('cheerio');const fs = require('fs');const request = require('request');// 获取页面信息function start(url) {       request(url, function (err, res, body) {           if (!err && res.statusCode == 200) {               findImg(body, saveImgFile);        }    })}// url 为页面的urlstart('url')// 页面节点解析function findImg(dom,callback) {    let $ = cheerio.load(dom);//  页面节点 找到img 标签 each 循环 $('img').each((index,dom)=>{    let imgSrc = $(dom).attr('src'); // 获取图片路径 callback(imgSrc,index); })}function saveImgFile(src, index) {       console.log(src,index)    let ext = src.split('.').pop() //图片类型 png jpg  pop() 方法用于删除并返回数组的最后一个元素。    let imgName = index + '.' + ext    // if (src.indexOf('http') < 0) src = 'http:' + src    // src 路径需确保为完整路径    // 新建pic 文件夹 保存到文件夹下    request(src).pipe(fs.createWriteStream('./pic/' + imgName)) // 下载文件到本地}// 调用start  url 为页面的urlstart('http://www.netbian.com/index.htm')

目录 :page.json ,app.js ,pic文件夹

2、运行

node app.js

注:最最简单的图片抓取方法,大部分页面都支持

转载地址:http://rajcz.baihongyu.com/

你可能感兴趣的文章
Mysql学习总结(72)——MySQL 开发者开发,设计规范再总结
查看>>
Mysql学习总结(73)——MySQL 查询A表存在B表不存在的数据SQL总结
查看>>
Mysql学习总结(74)——慢SQL!压垮团队的最后一根稻草!
查看>>
Mysql学习总结(75)——并发量大、数据量大的互联网业务数据库设计军规
查看>>
Mysql学习总结(76)——MySQL执行计划(explain)结果含义总结
查看>>
Mysql学习总结(77)——温故Mysql数据库开发核心原则与规范
查看>>
Mysql学习总结(78)——MySQL各版本差异整理
查看>>
Mysql学习总结(79)——MySQL常用函数总结
查看>>
Mysql学习总结(7)——MySql索引原理与使用大全
查看>>
Mysql学习总结(80)——统计数据库的总记录数和库中各个表的数据量
查看>>
Mysql学习总结(81)——为什么MySQL不推荐使用uuid或者雪花id作为主键?
查看>>
Mysql学习总结(82)——MySQL逻辑删除与数据库唯一性约束如何解决?
查看>>
Mysql学习总结(83)——常用的几种分布式锁:ZK分布式锁、Redis分布式锁、数据库分布式锁、基于JDK的分布式锁方案对比总结
查看>>
Mysql学习总结(84)—— Mysql的主从复制延迟问题总结
查看>>
Mysql学习总结(85)——开发人员最应该明白的数据库设计原则
查看>>
Mysql学习总结(8)——MySql基本查询、连接查询、子查询、正则表达查询讲解
查看>>
Mysql学习总结(9)——MySql视图原理讲解与使用大全
查看>>
Mysql学习笔记 - 在Centos7环境下离线安装Mysql
查看>>
MySQL学习笔记十七:复制特性
查看>>
Mysql学习第一课-mysql的定义及sql语句
查看>>