当前位置: 首页>>软件下载 >网络工具 >网页辅助 > 后羿采集器

后羿采集器

360浏览器无法下载资源的解决办法?

点此纠错

情介绍

后羿采集器是是原Google技术团队倾力打造的一款网页数据采集软件,可视化点选,一键采集网页数据,全平台,Win/Mac/Linux都可用,采集和导出全免费,无限制放心用,可后台运行,速度实时显示。

后羿采集器软件特色

  1、可视化自定义采集流程
  全程问答式引导、可视化操作、自定义采集流程
  自动记录和模拟网页操作顺序
  高级设置满足更多采集需求
  2、点选抽取网页数据
  鼠标点击选择要爬取的网页内容、操作简单
  可选择抽取文本、链接、属性、html标签等
  3、运行批量采集数据
  软件按照采集流程和抽取规则自动批量采集
  快速稳定,实时显示采集速度和过程
  可切换软件后台运行,不打扰前台工作
  4、导出和发布采集的数据
  采集的数据自动表格化,自由配置字段
  支持数据导出到Excel等本地文件
  和一键发布到CMS网站/数据库/微信公众号等媒体

后羿采集器使用方法

  自定义采集百度搜索结果数据的方法
  步骤1:创建采集任务
  1)启动后羿采集器,进入主界面,选择自定义采集并点击创建任务按钮创建 "自定义采集任务"

  2)输入百度搜索的URL,包括三种方式
  1、手动输入:在输入框中直接输入URL,多个URL时须要换行分割
  2、点击从文件中读取方式:用户选择一个存放URL的文件,文件中可以有多个URL地址,地址须要换行分割。
  3、批量添加方式:通过添加并调整地址参数生成多个有规律的地址

  步骤2:自定义采集流程
  1)点击创建后自动打开第一个URL进而进入自定义设置页面,默认已经创建了开始、打开网页、结束的流程块。底部模板区用于拖拽到画布中生成新的流程块;点击打开网页中的属性按钮,可修改打开的网址

  2)添加输入文字流程块:在底部模板区中拖拽输入文字块到打开网页块后面附近,当出现阴影区域的时候可以松开鼠标,此时会自动连接,添加完成

  3)生成完整流程图:仿照上面添加输入文字流程块的拖拽流程添加新块:如下图所示:

  关键步骤块设置介绍
  步骤2:定时等待用于等待前面打开网页完成
  步骤3:点击输入框Xpath属性按钮,在属性菜单中点击图标进行点选网页中的输入框,点击输入文本属性按钮,在菜单中输入要搜索的文本。
  步骤4:用于设置点击开始搜索按钮,点击元素的xpath属性按钮,在菜单中点击点选图标,然后点击网页中的百度一下按钮即可。
  步骤5:用于设置循环加载下一列表页。在循环块内部的循环条件块中设置详细条件,此处点击操作按钮,选择单个元素,然后在属性菜单中点击元素的xpath属性按钮,同上进行点选网页中的下一页按钮。循环次数属性按钮可默认为0,即不限制点击下一页的次数。
  步骤6:用于设置循环抽取列表页中的数据。在循环块内部的循环条件块中设置详细条件,此处点击操作按钮,选择不固定元素列表,然后在属性菜单中点击元素的xpath属性按钮,然后在网页中连续点选两次抽取第一块和第二块元素。循环次数属性按钮可默认为0,即不限制列表中收取字段的数量。
  步骤7:用于执行点击下一页按钮操作,点击元素xpath属性按钮,选择使用当前循环中元素的xpath选项。
  步骤8:同理用于设置网页加载等待时间。
  步骤9:用于设置在列表页抽取的字段规则,点击属性按钮中使用循环中的元素按钮,选择使用循环中的元素选项。点击元素模板属性按钮在字段表格中点击加减进行添加删除字段,添加字段使用点选操作,即点击加号后鼠标移动到网页元素上点击选择。
  4)点击开始采集,启动采集

  步骤3:数据采集及导出
  1)采集任务运行中

  2)采集完成后,选择“导出数据”可以把数据都导出到本地文件

  3)选择“导出方式”,将采集好的数据导出,这里可以选择excel作为导出为格式

  4)采集数据导出后如下图

您喜欢

需要授予该应用的权限

	  

获取任务信息

允许程序获取当前或最近运行的应用

修改声音设置 修改声音设置信息

连续广播

允许一个程序收到广播后快速收到下一个广播

连续广播

允许一个程序收到广播后快速收到下一个广播

读写系统设置

允许读写系统设置项

唤醒锁定

允许程序在手机屏幕关闭后后台进程仍然运行

访问网络

访问网络连接,可能产生GPRS流量

读取电话状态

访问电话状态

获取WiFi状态

获取当前WiFi接入的状态以及WLAN热点的信息

获取网络状态

获取网络信息状态,如当前的网络连接是否有效

访问外部存储

访问外部存储的权限

写入外部存储

允许程序写入外部存储,如SD卡上写文件

挂载文件系统 挂载、反挂载外部文件系统

录音 录制声音通过手机或耳机的麦克

使用振动 允许振动

改变WiFi状态 改变WiFi状态

改变WiFi多播状态 改变WiFi多播状态

结束系统任务 结束任务通过restartPackage(String)方法,该方式将在外来放弃

显示系统窗口 显示系统窗口

禁用键盘锁 允许程序禁用键盘锁

获取精确位置 通过GPS芯片接收卫星的定位信息,定位精度达10米以内

获取粗略位置 通过WiFi或移动基站的方式获取用户错略的经纬度信息,定位精度大概误差在30~1500米

访问定位额外命令 允许程序访问额外的定位提供者指令

使用蓝牙 允许程序连接配对过的蓝牙设备

蓝牙管理 允许程序进行发现和配对新的蓝牙设备

状态栏控制 允许程序扩展或收缩状态栏

读取系统日志 读取系统底层日志

改变网络状态 改变网络状态如是否能联网

排序系统任务 重新排序系统Z轴运行中的任务

拍照权限 允许访问摄像头进行拍照

读取日程提醒 允许程序读取用户的日程信息

写入日程提醒 写入日程,但不可读取

使用闪光灯 允许访问闪光灯

允许NFC通讯 允许程序执行NFC近距离通讯操作,用于移动支持