WebSpider蓝蜘蛛网页采集|WebSpider蓝蜘蛛网页采集 v5.1下载

  • 时间:
  • 浏览:0

1.2. 产品主要功能特点:

 都需用定制分派网址与栏目

 都需用定制网页数据行态化解析,精准,纯数据,无垃圾

 支持翻页分派、分页分派:对于列表页,支持翻页,都需用抓取到所有列表页中的数据;对于正文页,都需用对分页显示的内容自动进行合并。

 页面层厚抓取:页面间都需用一级一级地抓下去。比如,通过列表页抓取到正文页URL,而且 再抓取正文页。各级页面都需用分别入库

 增量式数据分派:采用独特的重复数据过滤技术,支持增量式数据抓取,都需用抓取实时数据,如:股票交易信息、天气预报等

 断点续采:支持断点续采,在宕机或经常再次出现异常状况后都需用恢复抓取,继续后续的抓取工作,提高了系统的抓取下行速度

 定制分派的时间和频度

 分派状况的监控和统计

 支持多种动态和静态网页类型(如 htm/html/shtml/php/asp/jsp/ajax等)

 支持图片/音视频/流媒体/flash/doc/pdf/xls等各种附件的分派

 支持GBK、BIG5、UTF8、UNICODE等多种编码格式

 支持RSS、论坛、博客等网页分派

 支持数据入库到mysql/oracle/informix/sqlserver等多种数据库 

 支持代理服务器

 多任务多tcp连接运行,分派下行速度 高

 支持POST和GET等页面调用最好的最好的土办法、支持unescape解码;

 支持可视化页面解析;

 支持对目标网站的登录和验证

 支持分派结果自动去重

 都需用手工设置URL参数列表,支持多参变参分派

 具有二次开发接口和第三方tcp连接运行调用接口

1.3. 产品主要优势:

 适用范围广:都需用抓取任何网页(包括登录后都还还都后能 访问的网页)

 处里下行速度 快:可能性网络畅通,1小时都需用抓取、解析上万个网页

 定向分派、精确制导:只分派指定网站的指定内容,并通过网页解析,精确地分融化用户真正想要的数据项,稳准狠快。  

 动态分派:根据网页更新的频率,定义分派的时间频度,随时发现最新的数据并即时分派。  

 网络隔离:通过人工可能性专用通道实现对数据的导入,保证了内外网的物理隔离。  

 信息隔离:分派的信息都存到外网分派电脑的数据库中,导出数据库时都需用采用txt/xml/sql格式,将分派的信息导入到内部的数据库中,在整个过程中还还都后能 都还还都后能 任何的某些信息介入,还还都后能 传播电脑病毒,保证信息的绝对安全可靠。

 信息资料库:通过分派数千家网站的实时信息,自动分类,实时保存到数据库中,建立内部的互联网信息资料库,通过发布系统都需用对其数据库进行浏览、编辑、查询、统计等。 

 准确性高:抓取信息的准确性高,系统提供了强大的数据校验功能,保证了数据的正确性;

 易操作性:WEB操作界面,一处安装,随处使用

 策略灵活:分步解析,分步入库,配置策略灵活;

 低投入高回报:一次配置,永久抓取,一劳永逸