博客
关于我
nodeJs爬取图片
阅读量:494 次
发布时间:2019-03-07

本文共 822 字,大约阅读时间需要 2 分钟。

新建nodeJs爬取图片的小样例

1、新建node项目

这一步已经完成,生成默认的package.json文件

2、安装所需模块

爬取图片需要以下模块

  • request 模块简化http请求
  • cheerio 提供jQueryCore功能
  • fs 操作文件操作

注意:cheerio需要单独下载

3、编写抓取图片代码

新建app.js文件

代码示例:

const cheerio = require('cheerio');const fs = require('fs');const request = require('request');

function start(url) {request(url, function(err, res, body) {if (!err && res.statusCode == 200) {findImg(body, saveImgFile);}});}

function findImg(dom, callback) {let $ = cheerio.load(dom);$('img').each((index, dom) => {let imgSrc = $(dom).attr('src');callback(imgSrc, index);});}

function saveImgFile(src, index) {let ext = src.split('.').pop();imgName = index + '.' + ext;// 创建文件路径并存储图片let filePath = './pic/' + imgName;request(src).pipe(fs.createWriteStream(filePath));}

运行命令:node app.js

注意事项:

  • 请确保网络权限
  • 确保被爬的网站允许通过请求模块抓取
  • 爬取图片请遵守robots.txt规则

图片保存到pic文件夹

转载地址:http://rajcz.baihongyu.com/

你可能感兴趣的文章
PostgreSQL 10.1 手册_部分 III. 服务器管理_第 21 章 数据库角色
查看>>
Postgresql 12.9如何配置允许远程连接
查看>>
PostgreSQL 9.6 同步多副本 与 remote_apply事务同步级别 应用场景分析
查看>>
Postgresql CopyManager 流式批量数据入库
查看>>
PostgreSQL cube 插件 - 多维空间对象
查看>>
PostgreSQL Daily Maintenance - cluster table
查看>>
PostgreSQL on Linux 最佳部署手册
查看>>
PostgreSQL Oracle 兼容性之 - pipelined
查看>>
PostgreSQL Point-In-Time Recovery (Incremental Backup)
查看>>
postgresql Streaming Replication监控与注意事项
查看>>
postgresql 不需要付费_使用数据传输在PostgreSQL执行 外部连接运算符
查看>>
postgresql 主从配置_生产环境postgresql主从环境配置
查看>>
postgresql 函数&存储过程 ; 递归查询
查看>>
PostgreSQL 分组聚合查询中 filter 子句替换 case when
查看>>
PostgreSQL 同步流复制锁瓶颈分析
查看>>
PostgreSQL 备份与还原命令 pg_dump
查看>>
Postgresql 外部表插件postgres_fdw的安装和使用
查看>>
PostgreSQL 如何从崩溃状态恢复(上)
查看>>
PostgreSQL 存储过程基本语法
查看>>
PostgreSQL 实现批量更新、删除、插入
查看>>