火车头采集完自动上传到服务器的简单介绍

今天给各位分享火车头采集完自动上传到服务器的知识，其中也会对进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、火车头如何自动采集
• 2、火车头采集，我用迷你FTP设置好，然后在火车头那文件上传那设置好，但是不能上传到FTP空间。
• 3、火车头采集下来怎么发布到网站上？

火车头如何自动采集

说下我做采集的方式哈，我这边主要有两种方式，第一个，常规站点，内容很全，那就先找一个采集源，然后爬取整站数据，注意，这种方式，如果源站小说比较多的话，会非常耗时，按火车头十个进程来计算的话，一个进程可以开十个线程，也就是一个火车头最多可以跑100个线程，平均采集一章大概时间为1秒（加上列表采集所耗时间进行平均），10万本书的站，大概5000万加的章节，数据采集完毕大概需要一周时间，这是在你服务器配置比较好的情况下。然后就是发布，发布不能多线程，那么时间就得翻倍，也就是差不多两个多月时间吧。这也是为什么有人说火车采集小说比较慢的原因了。原始内容采集完了，然后每天就采集更新了，方式如第二点。

那么第二个，就是直接采集每日更新，以前的旧书就不采集了。这样的话，速度会比较快。当时就能用。火车头设置好定时任务，自动触发。

这是火车头采集小说网站的传统方式。

我研究火车头采集一个月，找到一个比较合适的快速采集方式，经多方位，多客户测试，采集10万本书，发布完毕，大概就是两天的时间。

具体时间跟服务器配置有一定的关系，比如，硬盘读写速度快慢、网络带宽(火车头放在服务器上的可以忽略)等，测试2H4G美国服务器，10万本大概两天加几个小时，采集需要花几个小时，发布大概接近两天时间。然后每日定时更新即可。

可百度搜索“九七阅读”查看站点，有书库频道，时间一看就知道了。

火车头采集，我用迷你FTP设置好，然后在火车头那文件上传那设置好，但是不能上传到FTP空间。

首先你要确定网络和端口是否正常，服务器是否正常

然后，看说明

火车采集器(LocoySpider)是一款功能强大且易于上手的专业采集软件，强大的内容采集和数据导入功能能将您采集的任何网页数据发布到远程服务器，自定义用户cms系统模块，不管你的网站是什么系统，都有可能使用上火车头采集器，系统自带的模块文件支持:风讯文章，动易文章，动网论坛，PHPWIND论坛，Discuz论坛，phpcms文章，phparticle文章，LeadBBS论坛，魔力论坛，Dedecms文章，Xydw文章，惊云文章等的模块文件。更多cms模块请自己参照制作修改，也可到官方网站与大家交流制作。 同时您也可以使用系统的数据导出功能，利用系统内置标签，将采集到的数据对应表的字段导出到本地任何一款Access，SQLite，MySql，MS SqlServer内。

火车头采集器2010版相对旧版做了重大改进。添加了许多新功能。同时软件更稳定快速。

火车采集器添加的功能:

1.丰富的插件功能:新版中PHP插件和C#插件可以在采网址时,采内容时,采完内容后使用插件,而不限是什么插件.同时对对插件开发提供了更加详细的开发手册,可以方便用户实现自己的特殊要求.

2.任务运行日志:程序将对运行的日志进行保存,方便用户在自动更新时查看采集器的工作情况.

3.更多的数据保存方式.程序可以将数据保存在access,sqlite,mssql,mysql,oracle数据库中,更快的速度,更方便的管理.

4.更方便的升级及.程序对文件目录格式进行了重新设置,用户如果不使用升级程序,只需要复制几个文件夹就可以经松完成升级.

5.支持可选的加密狗授权方式.

6.命令行模式.可以使用参数启动程序执行任务.可以通过计划任务的来实验定时采集,在采集结束后退出程序

7.中文分词增加用户词库,可以添加用户排除的词库.可以只使用用户词库.

8.本地采集数据管理里加入了图片预览功能.

9.标签可以上下进行排序.生成CSV时,就按该排序生成csv文件.测试时,返回的结果也以标签的排序进行显示.

10.图片和flash下载排除功能.对于符合条件的文件不进行下载.

11.文件上传标签里可以针对多个标签进行文件上传.

12.采网址部分在使用2级网址时可以设置列表页包含区域

13.循环采集时可以使用提取关键字,摘要等功能。

14.列表标签可以进行编辑,如排除和过滤,下载等。

火车头采集下来怎么发布到网站上？

1、运行火车头软件，点击发布到发布窗口界面;

2、点击添加，依次选择发布接口，选择网站编码、填写后台路径、（因为是免登陆接口）选择不需要登录http请求，然后获取列表看看是否成功，成功后请保持配置。

（注意：如果无法获取列表说明没有配置成功，检测接口文件是否上传，后台路径是否正确等）

3、如果你需要同时发布到多个网站，请重复2操作，原则上可以发布N个。

4、配置完发布接口后回到火车头界面，双击你要发布的采集规则，进入采集规则 编辑任务窗口，切换到第三步：发布内容配置;

5、点击 启用 Web在线发布到网站，然后添加发布配置，在弹出Web发布配置窗口选择你你的发布配置，点击添加，多个网站发布可以多选;

6、双击你添加的网站发布，点击获取列表 绑定你要发布到网站的指定栏目的栏目ID，保存规则，到此你的采集规则发布到网站已经配置好了;

7、如果你要一条采集规则多个网站发布就重复第6步，原则上可以发布N个站。

火车头采集完自动上传到服务器的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、火车头采集完自动上传到服务器的信息别忘了在本站进行查找喔。