红叶文章采集器免费版

(1)本软件采用北大天网MD5指纹排重算法，对于相似相同的网页信息，红叶文章采集器下载不再重复保存。(1)抓取深度：填写0表示不限制抓取深度;填写3表示抓到第3层。操作方法超级强大的网站文章采集器，本软件全名为红叶文章采集器，英文名称Fast_Spider，属于蜘蛛爬虫类程序，用于从指定网站采集海量精华文章，将直接丢弃其中的垃圾网页信息，仅保存具备阅读价值和浏览价值的精华文章，自动执行HTM-TXT转换。(2)运行SETUP.EXE和setup2.exe，以安装操作系统system32支持库。

通过采集100万精华文章来执行压力测试，以普通网民的联网计算机为参考标准，单台计算机可以在一天内遍历200万网页、采集20万精华文章，100万精华文章仅需5天就可采集完毕。(4)本软件采集的原则是不越站，例如给的入口是“http://youxi.baidu.com/”，就只在百度站点内部抓取。