相关推荐recommended
【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费
作者:mmseoamin日期:2023-12-18

EasySpider是一个可视化爬虫软件,可以使用图形化界面,无代码可视化的设计和执行爬虫任务。只需要在网页上选择自己想要爬的内容并根据提示框操作即可完成爬虫设计和执行。同时软件还可以单独以命令行的方式进行执行,从而可以很方便的嵌入到其他系统中。自发布以来,已经有3.9K Star

一、下载安装EasySpider

支持Windows、MacOS、Linux系统安装。

下载地址:

https://github.com/NaiboWang/EasySpider/releases

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第1张

下载完成后,如下图所示(macos安装为例):

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第2张

二、体验初探:获取ebay网站数据

1、设计任务

1)打开EasySpider主程序

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第3张

2)点击【中文】

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第4张

3)点击【设计任务】

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第5张

然后这里选择【使用纯净版浏览器设计】,无需用户登录信息。

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第6张

4)进入EasySpider设计窗口,大概过5秒钟后,会同时打开一个浏览器窗口

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第7张

5)点击【新建任务】,输入ebay网址地址https://www.ebay.com,点击【开始设计】,打开ebay官网

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第8张

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第9张

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第10张

6)输入搜索关键字:右击搜索框,点击【输入文字】按钮;输入搜索关键字,然后点击【确定】按钮

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第11张

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第12张

7)搜索:右击【搜索】按钮,点击【点击该按钮】,搜索出关于关键字“手机”的所有商品

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第13张

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第14张

此时会发现EasySpider主窗口的设计面板,会多出输入文字、点击元素两个动作,表示刚才的操作被加入当前任务队列中了。

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第15张

8)采集标题:右击手机商品的标题,点击【选择全部】,这时所有的商品的标题都会选中;点击【采集数据】,则采集当前页面的手机商品标题的任务会被加入队列中

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第16张

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第17张

这时可以看到EasySpider主窗口的设计面板,又有新的任务加入。

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第18张

9)循环点击下一页:页面滚动至底部,可以看到分页按钮;右击【下一页】按钮,点击【循环点击该链接】按钮

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第19张

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第20张

10)通过【剪切元素】调整任务顺序,实现循环点击下一页并循环相应页面的所有商品标题

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第21张

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第22张

最终采集步骤如下所示:

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第23张

注意:执行步骤6至10过程中每个步骤可能会失败,单个步骤多重复操作1~2次就行

11)保存设计任务,关闭设计窗口,返回首页

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第24张

2、执行任务

1)回到EasySpider首页,点击【查看执行任务】

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第25张

2)点击【任务信息】

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第26张

3)点击【调用任务】

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第27张

4)修改执行任务条件,点击【本地直接执行】按钮;复制弹框里的执行脚本

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第28张

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第29张

5)打开easyspider_executestage程序,粘贴步骤5生成的脚本,然后静静地等待任务执行完成

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第30张

6)最终获取的数据文件会保存在Data目录下

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费,在这里插入图片描述,第31张

EasySpider官网地址:

https://github.com/NaiboWang/EasySpider