Web Scraper是一款实用的网站数据提取工具,能够创建一个sitemap,对网站中的信息数据进行快速的提取,并将之导出为CSV、XLSX和JSON格式,还可从动态网页中提取数据,仅适用于chrome浏览器,需要的朋友赶快下载吧!
软件功能
1. 刮开多页
2. 废除的数据存储在本地存储中
3. 多种数据选择类型
4. 从动态页面中提取数据(JavaScript+AJAX)。
5. 浏览刮取的数据
6. 将剪报的数据导出为CSV
7. 导入、导出网站地图
8. 仅取决于Chrome浏览器
软件特色
指点和点击界面
我们的目标是让网页数据提取尽可能简单。通过简单的指向和点击元素来配置刮刀。不需要编码。
从动态 网站中提取数据
Web Scraper可以从多级导航的网站中提取数据。它可以在所有级别上导航一个网站。
分类和子分类
分页
产品页面
从动态 网站中提取数据
为现代网络设计
现在的网站都是建立在JavaScript框架之上的,这些框架使得用户界面更容易使用,但对刮刮客来说却不太容易。Web Scraper解决了这个问题。
完全的JavaScript执行
等待Ajax请求
分页处理程序
页面向下滚动
为现代网络而建
模块化选择器系统
Web Scraper允许您从不同类型的选择器中建立网站地图。该系统可以根据不同的站点结构来定制数据提取。
模块化选择器系统
以CSV、XLSX和JSON格式导出数据
构建搜刮器,搜刮网站,并直接从浏览器导出CSV格式的数据。使用Web Scraper Cloud以CSV、XLSX和JSON格式导出数据,通过API、webhooks访问,或者通过Dropbox导出数据。
Web Scraper使用方法
1)、打开你要抓取的网页。
首先要使用该插件来提取网页数据需要在开发者工具模式中使用,使用快捷键Ctrl+Shift+I/F12或者点击右键,选择“检查(Inspect)”,在开发者工具下面就能看到WebScraper的Tab。如下图所示:
2)、新建一个Sitemap。点击Create New Sitemap,里面有两个选项,import sitemap是指导入一个现成的sitemap,咱小白一般没有现成的,所以一般不选这个,选create sitemap 就好。
然后进行这两个操作:
(1)Sitemap Name:代表你这个Sitemap是适用于哪一个网页的,所以你可以根据网页来自命名,不过需要使用英文字母,比如我抓的是今日头条的数据,那我就用toutiao来命名;
(2)Sitemap URL:把网页链接复制到Star URL这一栏,比如图片里我把「吴晓波频道」的主页链接复制到了这一栏,而后点击下方的create sitemap来新建一个Sitemap。
3)、设置这个Sitemap
整个Web Scraper的抓取逻辑是这样:设置一级 Selector,选定抓取范围;在一级 Selector 下设置二级 Selector,选定抓取字段,然后抓取。
对于文章而言,一级 Selector 就是你要把这一块文章的要素圈出来,这个要素可能包含了 标题、作者、发布时间、评论数等等,然后我们再在二级 Selector 中挑出我们要的要素,比如标题、作者、阅读数。
下面我们来拆解这个设置一级、二级 Selector 的工作流:
(1)点击 Add new selector 创建一级 Selector。
而后按照以下步骤操作:
-输入id:id代表你抓取的整个范围,比如这里是文章,我们可以命名为wuxiaobo-articles;
-选择Type:type 代表你抓取的这部分的类型,比如元素/文本/链接,因为这个是整个文章要素范围选取,我们需要用Element 来先整体选取(如果这个网页需要滑动加载更多,那就选 Element Scroll Down);
-勾选Multiple:勾选 Multiple 前面的小框,因为你要选的是多个元素而不是单个元素,当我们勾选的时候,爬虫插件会帮助我们识别多篇同类的文章;
-保留设置:其余未提及部分保留默认设置。
(2)点击select选择范围,按照以下步骤操作:
-选择范围:用鼠标选择你要爬取数据的范围,绿色是待选区域,用鼠标点击后变为红色,才是选中了这块区域;
-多选:不要只选一个,下面的也要选,否则爬出来的数据也只有一行;
-完成选择:记得点Done Selecting;
-保存:点击Save Selector。
(3)设置好了这个一级的Selector之后,点进去设置二级的Selector,按照以下步骤操作:
-新建Selector:点击 Add new selector ;
-输入id:id代表你抓取的是哪个字段,所以可以取该字段的英文,比如我要选「作者」,我就写「writer」;
-选择Type:选Text,因为你要抓取的是文本;
-勿勾选Multiple:不要勾选 Multiple 前面的小框,因为我们在这里要抓取的是单个元素;
-保留设置:其余未提及部分保留默认设置。
(4)点击 select,再点击你要爬取的字段,按照以下步骤操作:
-选择字段:这里爬取的字段是单个的,用鼠标点击该字段即可选定,比如要爬标题,那就用鼠标点击某篇文章的标题,当字段所在区域变红即为选中;
-完成选择:记得点 Done Selecting;
-保存:点击 Save Selector。
(5)重复以上操作,直到选完你想爬的字段。
4、爬取数据
(1)之后你想要爬取数据只需要设置完所有的Selector就可以开始:
点击Scrape,然后点Start Scraping,弹出一个小窗后爬虫就会开始工作。你会得到一个列表,上面有你想要的所有数据。
(2)如果你希望把这些数据做一个排序,比如按照阅读量、赞数、作者等指标排序,让数据更一目了然,那么你可以点击 Export Data as CSV,把它导入 Excel 表里。
(3)导入 Excel 表格之后,你就可以对数据进行筛选了。
我们这里只是简单介绍总结了Web Scraper的插件的功能,安装以及一个简单的单页面例子。其实Web Scraper的功能远远不止于此,其实还能抓取分页,还能多页多元素的抓取,还能抓取二级页面。
软件评论 您的评论需要经过审核才能显示
网友评论