www.3015.com

当前位置:澳门唯一金莎娱乐 > www.3015.com > 爬虫小工具合集 | 不会编程也能爬数据

爬虫小工具合集 | 不会编程也能爬数据

来源:http://www.savelapetitebande.com 作者:澳门唯一金莎娱乐 时间:2019-10-19 13:24

当前的主流爬虫手段是用Python编程,Python的强大毋庸置疑,但初学者学习Python还是需要一两个月时间的。有没有一些更简单的爬取数据方法呢?答案是有的,DataCastle为你准备了如下小工具,对于每个小工具你只需要花十几分钟时间,跟着我的步骤走一遍就可以掌握它啦~

一、Microsoft Excel

首先教大家一个用Excel爬取数据的方法,这里用的Microsoft Excel 2013版本,下面手把手开始教学~

(1)新建Excel,打开它,如下图所示

(2)点击“数据”——“自网站”

(3)在弹出的对话框中输入目标网址,这里以爬虫小工具合集 | 不会编程也能爬数据。全国实时空气质量网站爬虫小工具合集 | 不会编程也能爬数据。为例,点击转到,再导入

爬虫小工具合集 | 不会编程也能爬数据。选择导入位置,确定

(4)结果如下图所示,怎么样,是不是很赞?

(5)如果要实时更新数据,可以在“数据”——“全部更新”——“连接属性”中进行设置,输入更新频率即可

二、Google Sheet

使用Google Sheet爬取数据前,要保证三点:使用Chrome浏览器、拥有Google账号、电脑已翻墙。如果这三个条件具备了的话,下面我们就开始吧~

(1)打开Google Sheet网站:

(2)在首页上点击“转到Google表格”,然后登录自己的账号,可以看到如下界面,再点击“+”创建新的表格

新建的表格如下:

(3)打开要爬取的目标网站,一个全国实时空气质量网站 ,目标网站上的表格结构如下图所示

(4)回到Google sheet页面,使用函数=IMPORTHTML(网址, 查询, 索引),“网址”就是要爬取数据的目标网站,“查询”中输入“list”或“table”,这个取决于数据的具体结构类型,“索引”填阿拉伯数字,从1开始,对应着网站中定义的哪一份表格或列表

对于我们要爬取的网站,我们在Google sheet的A1单元格中输入函数=IMPORTHTML("http://www.pm25.in/rank","table",1),回车后就爬得数据啦

(5)将爬取好的表格存到本地

是不是感觉超级简单?

三、you-get

这是一个程序员基于python 3开发的项目,已经在github上面开源,支持64个网站,包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方,即使是名单上没有的网站,当你输入链接,程序也会猜测你想要下载什么,然后帮你下载。当然you-get要在python3环境下进行安装,用pip安装好后,在终端输入“you get+你想下载资源的链接”就可以等着收藏资源了。

这里给一个you-get的中文使用说明,按照说明上写的按步骤操作就可以啦。

未完待续……以后DataCastle还会继续补充一些简单好用的爬虫小工具的,记得支持一下呐~

本文由澳门唯一金莎娱乐发布于www.3015.com,转载请注明出处:爬虫小工具合集 | 不会编程也能爬数据

关键词:

上一篇:Caddy服务器搭建和实现文件共享

下一篇:没有了