网络蜘蛛

页面分类: 爬虫程序 | 搜索引擎 | 互联网

天下维客，你可以修改的网络知识库

• 中文名称：网络蜘蛛或爬虫程序
• 英文：Web crawler

网络蜘蛛是一类在网络上进行自动进行搜索的软件，从其他网站上将内容取回到本身服务器上。由于这类软件的算法非常类似蜘蛛爬网的行为，故而得名。

网络蜘蛛的用途

网络蜘蛛或爬虫程序主要用于以下两个方面：

搜索引擎爬虫程序

搜索引擎通过爬虫程序获得网站内容信息，进而进行整理后形成/更新索引数据库，从而在用户查询搜索引擎时迅速给出结果。

参见：搜索引擎爬虫程序一览表

相关问题：

• 如何让搜索引擎找到我的网站？
• 如何避免网络蜘蛛爬到隐秘信息？
• 如何避免搜索引擎爬虫造成过高的服务器负载？

网页采集器程序

网页采集器经常被用于垃圾网站盗取其他网站的内容。通过这种程序，可以实现几小时内收集数万篇文章的工作。

采集器程序有火车头采集器等。