网络数据采集程序v1.0 是一款多功能,可以自己定制正则规则的采集器.
支持ajax无刷新采集,实现无刷新分页的模拟点击.
实现js生成内容的抓取,采集QQ商业群的商户资料
1.强大的信息采集功能。可采集几乎任何类型的网站信息，包括静态htm,html类型和动态ASP,ASPX,JSP等。可N级页面关联采集，自动整合成一条完整记录。支持网页框架,链接和网页加密等。支持完整采集和增量采集（断点续采）。可自动下载二进制文件，比如图片,软件,mp3等。可采集本地磁盘信息。支持Post数据请求采集方式。
2.网站登录。需要登录才能看到的信息，先在任务的'登录设置'处进行登录,就可采集登录后才能看到的信息。
3.速度快,运行稳定。真正的多线程，多任务，运行时占用系统资源很少，可稳定地长时间运行。(明显区别于其他软件)
4.数据保存格式丰富。可把采集的数据，保存为Txt,Excel和多种数据库格式(Access sqlserver等)。
5.支持脚本。 可设置脚本类型的任务, 类似javascript:submit('Page',1)等格式的可轻松采集。
6.强大的新闻采集，自动化处理功能。可自动保留新闻的格式，包括图片等（可通过设置自动去除广告）。可通过设置，自动下载图片 ，自动把正文里图片的网络路径改为本地文件路径（也可保留原样）；可把采集的新闻自动处理成自己设计的模板格式；可采集具有分页形式的新闻。 通过这些功能，简单设置后即可在本地建立一个强大的新闻系统，无需人工干预。
7.强大的信息自动再加工功能。对采集的信息，可进行二次批量再加工，使之更加符合您的实际要求。也可设置自动加工公式，在采集的过程中，按照公式自动加工处理，包括数据合并和数据替换等。
8.提供从采集，到自动加工，到数据导出（发布）一条龙自动化功能。通过任务调度实现，实时监测和发布。指定某些任务自动运行，把采集的数据自动去掉重复之后导入数据库(可指定组合唯一项)。可循环往复运行。可指定某任务在某个时间点运行。可设置采集一定数据量后，自动保存入库，自动清空内存。此功能可在占用系统资源很少的情况下，连续不间断地采集十万级和百万级数据。做到无人值守采集。
9.支持AJAX内容页面的采集，实现独立线程运行。QQ群号采集的好帮手。 |
