数据采集软件

【概括介绍】

综合性网站内容处理软件。。

【基本介绍】

战神伪原创软件，是一款集内容采集、伪原创、发布为一体的综合性网站内容处理软件。其核心功能是多伪原创规则处理机制、满足不同网站需求，超强数据采集功能、支持通用采集和规则采集，数据库（Access、SQLServer、MySQL）批量伪原创和发布功能...

【基本介绍】

火车采集器(LocoySpider)是一个功能强大的数据采集软件．使用它，您可以很容易的从网页上抓取文字，图片，文件等资源．程序支持远程下载图片文件，支持网站登陆后信息采集，支持探测文件真实地址，支持代理，支持防盗链的采集，支持采集数据直接入库和模仿人手工发布等．同时，软件具有极高的稳定性，可以多线程，多任务的工作，您可以用它进行大批量数据的更新．程序还支持多页和分页的采集，再难的数据格式也可以找到解决方案．

【软件应用范围】

1.网站采编人员：打破传统的采编人员必须手工转载文章的现状，使他们更有时间去做数据的编辑加工，工作更有成效．程序可以完美结合TRS等采编系统，大型网站的信息采集将更加容易有效．

2.内部网络：打破内网信息单一，获取困难的神话，内部网络也可以体验丰富多彩的互联网信息．可以解决形如军队等与因特网隔离的重要部门对于因特网的信息需求问题 ．

3.政府机关:实时跟踪、采集与政府工作相关的国内外及地方新闻，政策法规，经济，产业等信息，解决政府主网站对各地级子网站的信息采集与整合问题．

4.企业应用：实时而准确地采集国内外新闻，行业新闻，技术文章．可以很容易的进行数据整合，情报处理更快捷高效，大大减少业务成本．

5.SEO人员或站长:数据的获得更加容易，可迅速增加网站信息量，可以将更多精力放在优化和推广上．

【软件特点】

1.支持所有编码格式的数据采集,您可以用它采集全世界的文章.程序还可以进行编辑间的完美转换．

2.多接口;支持所有主流或非主流的CMS,BBS,下载站等,您可以通过系统的接口实现采集器和网站的完美结合.

3.无人值守工作：您配置好程序以后，程序就可以按照您的设置自动运行，完全不需要人工干预.

4.本地编辑采集数据：您可以在本地可视化编辑已采集的数据．

5.采集内容测试功能：这是其它任何采集软件所不能比的，可直接查看结果并测试发布.

6.管理方便：使用站点+任务方式管理采集节点，任务支持批量操作，再多的数据管理也很轻松．

【更新日志】

1： 多级网址列表，对于列表名增加重命名功能以及上下调整的功能。

2： 修复SqlServer数据库格式下，未能正确显示采集数量的问题。

3： 修复在新增标签时，若上一个编辑为固定格式数据，则新增的标签显示内容错误的问题。

4： 修复数据包登录中，若登录失效，未能自动重新登录的问题。

5： 修复FTP上传失败后，本地数据也被删除的问题。

6： 修复边采集边发时，文件上传FTP失败的问题。

7： 优化Excel保存时，对于ID，PageUrl显示列的位置。

8： 修复任务不能多选操作的问题。

9： 边采集边发布时，最大发布数的功能调整（原：最大发布数无效。 现：最大发布数生效，且在任务完成后，不会将以前的未发布数据再次发布）

10：修复对于存储过程语句，当数据为空值时，意外判断为“语句错误”的问题。

11：二级代理功能，修复定时拨号失效的问题。

12：二级代理功能，定时获取API功能优化，重新获取时，会自动删除上一批数据。

13：批量网址增加数据库导入的模式

14：导出到文件时，对于不合理的错误命名增加提示。

15：导出规则时，对于规则名称过长的规则，增加提示的功能。

16：规则编辑时，对于“包含”、“不包含”数据，复制粘贴多行时，会自动区分为多个数据。

17：添加对于芝麻代理的合作支持。

【概括介绍】

采集店铺数据。

【基本介绍】

速尚淘宝店铺/宝贝批量下载复制助手

支持采集淘宝店铺（支持天猫商城）完整产品信息和图片 支持按店铺分类采集产品数据

可以采集整个店铺或单件产品。

支持淘宝助理4.X或5.X版本。支持导出产品为淘宝助理或拍拍助理或阿里助手使用

100%的可以正确下载宝贝属性，支持图片搬家功能,可以自己调整商品价格，商品库存数。

本店还有采集拍拍店铺产品大师。采集阿里店铺产品大师。阿里助手快速复制店铺产品上架产品大师

宝贝复制大师，掌柜当家好帮手，让您轻松管理店铺，享受生活。

【软件特点】

▲省 时：批量宝贝复制处理功能，网速快时每秒钟复制1-5个宝贝，快速稳定，让您把更多的时间放在如何发展店铺上。

▲省 力：商品批量两步顺序复制，完全傻瓜操作，使用极其简便。淘宝地址栏中输入被下载店铺的地址，点击“下载列表”便可以看到效果；点击“下载宝贝”便可下载完整宝贝信息。

▲省 心：可以下载任意淘宝店铺宝贝，数据准确。支持多种下载方式，使用方便 1：复制整店 2：按分类复制 3：按任意搜索关键字复制 4：自选任意宝贝进行复制 5：淘宝、商城列表搜索复制。

▲省 事：默认保留下载宝贝属性、宝贝图片、描述图片等，并可依情况设置下载失败重试次数，下载超时时间和完成执行任务，确保宝贝信息复制完整，不需要再对数据重新处理即可使用。

淘宝店铺宝贝批量下载复制大师拥有超强数据采集功能，新宝贝上架不再繁杂。让您有更多的时间打理生意，宣传自己的商品，工作变得简简单单。可以采集任意淘宝店的宝贝，包括描述，图片，标题，价格，属性等信息，直接生成淘宝（拍拍、有啊）助理支持文件。简单设置就可以上架销售。

【软件功能】

1.支持下载任意淘宝店铺（普通店铺、旺铺、商城）首页、所有宝贝、宝贝分类、店内任意搜索、单个宝贝、淘宝搜索、商城搜索地址，店铺首页地址自动识别跳转功能；也可以设置只下载单页，可将采集页面可见的宝贝全部采集，可采集店铺首页所有窗口的宝贝（包括推荐宝贝）；

2.支持多线程抢占式下载宝贝列表和宝贝详细信息，最大可以设置20个线程同时下载，提高下载速度；并可设置读取页面和下载图片超时时间，支持下载失败重试功能。

3.支持执行多线程过程暂停和停止功能，暂停时可添加/清空宝贝地址功能。

4.支持批量添加宝贝地址、导出宝贝地址和去除重复宝贝功能。

5.支持从第几页到第几页下载功能。

6.支持按关键字下载，即仅下载标题中包含此关键字的宝贝，不填为空则全部下载。

7.支持通过调用淘宝官方接口下载宝贝属性（包括关键属性如书籍的ISBN码、单选和多选属性、用户输入属性、多级子属性、其他属性等），销售属性（价格、数量、自定义名称、图片、商家编码等信息）功能，并可自由设置是否下载属性。

8.支持多种方式修改价格、数量功能，包括有无销售属性情况，修改价格功能支持运算后取整。

9.支持宝贝标题图片、销售属性图片下载，可自行选择下载图片数量、尺寸和下载失败重试等。

10.支持宝贝描述下载图片，下载范围可选，例如可按图片名称关键词、图片来自淘宝或外网，图片是否带链接，图片格式和引用属性等筛选；图片保存目录多种选择；下载过程替换图片链接，并可选择本地或指定域名空间替换。

11.支持宝贝描述删除图片，删除范围可选，例如可按图片名称关键词、图片来自淘宝或外网，图片是否带链接，图片格式和引用属性等筛选。

12.支持宝贝描述批量编辑功能，包含普通、特征、正则替换、首尾添加/去除内容等。

13.支持宝贝描述删除跳转链接、删除旺旺和Flash代码功能，支持下载宝贝描述自定义模块。

14.支持自定义字段功能（比如可指定宝贝描述内容、运费、所在地、有效期、商家编码等），并可按宝贝上架、发布、修改、下架的时间段选择宝贝下载。

15.支持最小化到托盘，可同时运行多个程序。

16.支持下载完成后自动关机、重启、待机或注销等功能。

17.智能数据文件管理功能，大于10M时程序先压缩，压缩还大于10M时提示用户删除。

18.支持淘宝地址智能记忆、右键管理，宝贝列表右键导出，下载信息右键导出等功能。

19.下载宝贝列表和宝贝信息的过程共两步完成，完全傻瓜操作，使用极其简便，并不需要手工再导出到CSV文件。

20.下载完的CSV文件可以导入到淘宝/拍拍/有啊助理等工具，支持不同版本淘宝助理。

【概括介绍】

淘宝客网站必备采集工具。

【基本介绍】

淘客采集大师就可以为你打造全新的淘宝客赚钱模式，自动优化高质量淘宝客内容数据，可以帮你应对千变万化的搜索引擎算法，甚至可以让你的淘宝客网站整体转换率提升一倍，PV以及访客回头率大幅提升。

相对于传统淘宝客的程序，该软件是一款功能强大，操作简单，全自动采集的淘宝客数据采集软件，软件不同于目前广泛的传统淘宝客采集，该软件是直接采集网上大型的社会化淘宝客分享网站，例如淘宝官方旗下（顽兔）网、美丽说、蘑菇街等等...（亿级资源）。

这些大型网站本身就已经筛选了热卖，佣金高的宝贝，以及所有宝贝都是由用户所分享、大型网站所推荐的优质精品高清图片内容数据，剔除所有牛皮癣垃圾数据！

结合软件本身的多种伪原创及优化方式，可以让您的网站再次得到搜索引擎的青睐，摆脱以往淘宝客网站难收录难做权重的现象，结合我们赠送的配套模板，一键设置定时定量多网站采集，软件全自动操作，无需任何人工干预。让你网站的流量更加有价值。

无论您是新手或老鸟，只需了解操作几分钟，即可马上上手。

软件所采集的数据，还可以导入到您现有的网站里，无需另外新建网站！大大节省您的宝贵时间，同时可以让您的淘客栏目在最短的时间得到搜索引擎的青睐，流量极速上升。

【软件功能】

一、优质淘宝客数据 一网打尽：

所有高清原图及所有内容采集数据均为网上大型的社会化分享网站，无水印，杜绝一切牛皮癣图片，拒绝垃圾图片数据！更好的用户体验将大幅提升您网站的整体转换率！

二、无需安装 下载直接使用：

淘客采集大师是一款绿色软件，无需安装，下载登陆后直接使用。十分简单方便，仅需几分钟设置任务，立即可以开始采集，而且结合简单、健壮、灵活、强大的功能，傻瓜式操作新手也能随意运用。

三、无需设置任何采集规则：

可一词采集、按价格范围采集，可设定宝贝浏览数量范围等等，您要做的仅仅是选择一下采集目标网站的内容采集到您的栏目下即可，操作简单方便！

四、图片本地化 自动缩略图 自动加水印：

强大的图片处理功能，可对采集图片数据设置是否本地化，可设定是否自动创建缩略图，并可设置图片是否自动添加水印，可对图片大小进行自动重新设置，最大程度减少图片所使用的空间！

五、多种伪原创及优化方式：

万级伪原创库、TAG库，自动智能替换标题关键词、高级混淆、自动内链、同义词替换插入seo词语、关键词添加链接等，多种方法手段对采集回来的宝贝加工处理，增强原创性，利于搜索引擎优化。

六、内嵌实时宝贝评论功能：

可选设置是否需要调用宝贝评论，自动搜索调用该宝贝数据的所有评论，实时同步该宝贝在淘宝的评论，设置后将更大的提升您网站的用户体验，以及提升转换率！

七、完美隐藏淘客链接：

设置好您的淘宝的APPKEY，采集到的宝贝连接自动更换成您的淘宝客连接地址，并且利用JS完美加密隐藏！

八、全自动采集 省心省时：

设定好采集任务，根据所设定的采集方式进行自动采集，程序通过精确分析网页丢弃掉已被卖家撤销佣金或者下架、以及已被删除的宝贝，最大程度保证您的宝贝都有佣金。

九、定时定量进行伪原创采集 无需人工干预：

您只需先设定好定时采集任务，按小时、按天又或者添加时间段进行循环采集，即可定时定量采集，无需人工干预。

十、不断增加网站数据库入库接口：

网络流行CMS等程序将逐步增加接口，近期将开发用户自定义入库功能（可以适用于任意的数据库类型），敬请期待！

【更新日志】

淘客采集大师 V1.0.1.1

1、修改采集任务界面任务列表显示内容。（上传类目一栏旧版本添加的任务文件类目名称显示为数字，目的为兼容旧版本。只要将任务重新编辑保存过一次就正常显示了。）

2、优化几个内部操作

3、增加淘宝站内API采集

4、修正任务执行时因丢失已设置的水印文件导致阻塞死的BUG

【基本介绍】

注意：请使用微博体验版，暂不支持标准版，还是标准版的用户请升级！

【使用方法】

首先登录微博，查找功能使用简单，只需要输入关键字就能够自动手机数据

常用功能是提取微群成员，提取成员时注意，需要是已加的微群，且已在浏览器登录微博！当微群成员较多时，可以选择提取前几页，在<取出页数>里设置。

提取的数据能够单导出用户名、单导出用户ID或者全部导出，方便大家使用。

【概括介绍】

轻松从各种不同的网站或者网页获取大量的规范化数据

【基本介绍】

八爪鱼数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。

【软件功能】

1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集；

2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻；

3. 监控竞争对手最新信息，包括商品价格及库存；

4. 监控各大社交网站，博客，自动抓取企业产品的相关评论；

5. 收集最新最全的职场招聘信息；

6. 监控各大地产相关网站，采集新房二手房最新行情；

7. 采集各大汽车网站具体的新车二手车信息；

8. 发现和收集潜在客户信息；

9. 采集行业网站的产品目录及产品信息；

10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。

【日志更新】

1、主要体验改进：

【任务列表】新增「定时任务」筛选条件，可筛选出所有定时或非定时任务

【任务列表】保存新增的列信息，下次登陆后依然保持

【任务列表】新增「批量清空定时配置」功能

【自定义模式】新增「自动重试」的开关设置，针对特定网页可关闭此选项，加快采集速度

【自定义模式】打开网页的执行前等待增加「随机1-30秒」选项，增强防封能力

【简易模式】可反馈提交想要的模板

【其他】客户端支持手机号登陆

2、Bug修复：

修复自定义模式下，固定元素列表、文本列表循环无拆分的问题

修复简易模式部分Bug

修复任务列表部分Bug

修复代理IP剩余量客户端与网站显示不一致问题

修复定时失效问题

提高客户端登陆稳定性

【概括介绍】

可以采集阿里妈妈的淘宝客商品数据。

【基本介绍】

这是一个可以采集阿里妈妈淘宝客数据和淘宝网商品数据的软件，比起V1.0那两个业余版，它要专业多了，采集的数据也更加丰富，采集速度也大大提高。

一、采集阿里妈妈淘宝客商品数据：

提供多种筛选条件选择，如关键字、类目、佣金比等等。最多可提供24种需要采集的数据，默认选中11项，你可以选择多个需要返回的数据，当然，选中的越多，采集的速度就会有所下降。。对于一名淘客来说，基本的11项都够用了。当你选择好了就可以点击开始按钮采集了。

采集完的数据可以使用三种方式导出：普通文件、图文代码、静态单页。除了静态单页外，其他的两项可以自己新增，点击添加新格式按钮就可以看到，图文代码还提供在编辑时预览。软件提供三种静态单页，也就是在软件路径下的template文件夹。

软件每次打开会按照上一次关闭时的采集条件设置好，免除你重复输入采集条件的烦恼。。。

二、采集淘宝网商品数据

这个功能是针对淘宝助理而添加的，并不是很专业，和一些专业的淘宝商品采集软件比的话肯定不如人家。不过对于采集到的数据可以完美地给淘宝助理使用，特别是商品属性、描述这些数据也可以完美地采集下来。只需在地址输入窗里输入要采集的商品地址，然后点击开始就行了。软件要一边采集一边保存，故而在点击开始按钮会弹出一个文件保存框。

因为这个功能属于业余级，使用的是非典型的采集方法，故而在采集速度方面肯定不如专业的软件。。。

希望这个软件能给你提供一些方便吧，呵呵。。。

【基本介绍】

网络矿工数据采集软件【Sominer】是一套面向专业采集用户的采集软件，其基于Soukey采摘数据采集软件研发，在其基础上扩展了更加丰富的专业功能，不仅可以进一步满足采集用户的需求，同时也扩展了采集应用范围。同时【一孑工作室】也为网络矿工数据采集软件提供了专业的技术支持及售后服务。【一孑工作室】将最大化的保障您的软件使用利益。需Microsoft .NetFramework2.0环境。

【软件功能】

1、多任务、多线程，支持一个任务运行多个实例；

2、支持图片、Flash及文件下载；下载并不支持多线程处理，所以，也不建议采用此软件建立专业的下载任务；

3、网址配置支持参数定制，及外部字典参数；通过字典方式可扩展自定义的参数值；

4、支持Cookie、POST采集；可记录Cookie，采集需要登录的网站数据，也可通过手工登录进行采集；

5、支持导航、自动翻页；可进行网址导航，譬如：通过新闻列表采集新闻内容；支持多层导航；

6、可采集Ajax数据；

7、采集数据临时存储、断点续采；临时存储数据格式为XML；

8、支持数据导出，文件、数据库；数据库支持Access、MS Sql Server、MySql，文件支持文本文件和Excel；数据导出支持手工和自动，手工导出仅支持文件形式；

9 、在线数据发布；支持在线数据发布，数据发布支持Cookie；

10、数据采集支持采集数据加工；可对采集数据进行字符串替换、截取、附加等操作，可自动去除网页符号，支持正则；

11、支持任务计划；可定时执行任务，最小间隔为：0.5小时；

12、支持任务触发器；可触发Soukey采摘任务、数据库存储过程及可执行文件，支持采集完成及发布完成触发；

13、提供网址编/解码工具；支持UTF-8、GB2312、GBK、Big5；

14、提供Mini浏览器；可用于Cookie及POST数据的捕获；

15、支持中文简体；

16、直接入库；可将采集的数据直接存入数据库，利用此种方式，系统可采集成百上千万条数据，而不影响系统性能。数据库支持Access、MS Sqlserver及MySql。

17、采集数据输出数据多种规则加工；对采集数据可实现多种数据加工规则的应用，通过此方法，可以更加灵活的采集到需要的数据内容。譬如：采集到文章之后，可以通过去除网页标识，去除原有文章格式，再通过字符串替换，可以重点显示您需要显示的关键字或文章段落。此过程一次性完成，无需再进行后期数据加工。

18、提供数据加工模块；可对采集数据灵活的进行数据修改，调整表结构，然后再进行数据发布操作。同时还可利用此功能实现外部数据的加工及发布操作。

19、支持导航层分页；利用此功能可以按照简化采集任务的配置，甚至可以通过一个入口地址采集所有的信息内容。

20、支持采集数据网址的自动输出；可作为内容引用、错误查找使用；

21、支持任务计划输出到同一个采集文件；可应用为数据递增采集；

22、支持数据合并；可应用于分页文章采集，并自动合并成一篇文章的采集形式；

23、提供采集规则分析器；；通过采集规则分析器，可方便的查看采集规则配置的正确性；

24、支持代理服务器；当前仅支持HTTP代理；

25、增加导航提取范围；

26、增加自定义导航规则处理；大部分导航都是由可识别的Url进行的，但也存在特殊情况，譬如：是由提交表单来完成，针对此种情况采用此功能可实现对导航规则的处理；

【概括介绍】

它可以从任意网站采集数据。

【基本介绍】

网站数据采集软件CherGet用于网络数据采集以及下载管理，它可以从Zencart网站，淘宝网店，网络相册 （如谷歌相册，又拍相册），博客以及其他任意网站完整复制网站数据，并保存下载至本地， 生成可直接用于批量上传的csv文件。

同时在CherGet中提供了自定义规则功能，您可以使用它来匹配目标网站的数据内容， 例如图片，产品数据，电子邮件地址等等。

通过它的计划任务功能，您还可以使用它来 做网站安全检测，定期扫描网站上是否有非法链接。

【软件特点】

1. 采集外贸网店数据。

例如Zencart，Magento网站等。

2. 淘宝网店复制，淘宝店铺图片打包下载。

3. 网络相册批量打包下载。

4. 网站安全检测。

5. 电子邮件地址搜索。

6. 网盘数据下载。

7. 任意目标网站数据采集。