相关推荐recommended
[运维] 可视化爬虫易采集-EasySpider(笔记)
作者:mmseoamin日期:2024-04-30

一、下载

​下载地址

下滑到Assets页面,选择下载

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第1张

二、解压运

​解压压缩包,打开文件夹

在此文件夹下打开Linux Terimal, 并输入以下命令运行软件:

./easy-spider.sh

注意软件运行过程中不要关闭terminal。

[运维] 可视化爬虫易采集-EasySpider(笔记),第2张

三、使用

1.开始

首先点击【设计任务】,设计完成后才可以进行爬虫任务。

[运维] 可视化爬虫易采集-EasySpider(笔记),第3张

选择浏览器设计模式,根据爬取网站是否需要登陆来判断用哪个模式。不需要登陆选【纯净版浏览器设计】,需要登陆则选择【带用户信息浏览器设计】即可。

[运维] 可视化爬虫易采集-EasySpider(笔记),第4张

2.新建任务

​ 点击【创建新任务】->输入目标完整网址-点击【开始设计】

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第5张

3.进入设计页面

设计页面包含两个窗口,流程设计界面:

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第6张

目标网站,包含操作提示框:

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第7张

设计完成后点击【保存任务】,关闭即可。

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第8张

4.执行任务

点击【任务信息】

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第9张

点击【调用任务】

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第10张

点击【本地直接执行】,等待程序执行完成即可。

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第11张

四、输出结果

爬取结果放在安装目录下的Data文件夹中:EasySpider_Linux_x64/Data,txt文件为程序运行日志,csv文件为爬取结果。

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第12张

五、中国地震台网-案例

1.点击设计任务

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第13张

2.纯净浏览器模式

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第14张

3.创建任务

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第15张

输入网址,点击【开始设计】

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第16张

4.输入文字

右键选中元素,然后左键点击【输入文字】

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第17张

输入值,点击确认:

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第18张

5.设计流程变化

新增输入文字流程

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第19张

6.点击链接

右键点击【查询】,左键点击【点击该链接】

在这里插入图片描述

7.选择采集数据

右键点击第一行第一列,然后点击第二行第二列。然后左键点击【选中全部】。

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第20张

点击【采集数据】

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第21张

8.翻页

右键点击翻页按钮,然后左键点击【点击该链接】

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第22张

9.采集数据

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第23张

10.设计流程图

得出的设计流程图,点击【保存任务】,随后运行即可。

[运维] 可视化爬虫易采集-EasySpider(笔记),在这里插入图片描述,第24张