898235449 1760909996

济南网络公司引航网络给大家介绍下何为网络蜘蛛

作者:济南网站建设  来 源:引航网络    发布时间:2014-2-14 10:04:34
济南网络公司引航网络给大家介绍下何为网络蜘蛛:搜索引擎用来爬行和访问页面的程序被称为蜘蛛(spider),也称为机器人(bot)。

搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出页面访问请求后,服务器返回HTML代码,蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提高爬行和

抓取速度,都使用多个蜘蛛并发分布爬行。

蜘蛛访问任何一个网站时,都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录,蜘蛛将遵守协议,不抓取被禁止的网址。

为了抓取网上尽量多的页面,搜索引擎蜘蛛会跟踪页面上的链接,从一个页面爬到下一个页面,就好像蜘蛛在蜘蛛网上爬行那样,这也就是搜索引擎蜘蛛这个名称的由来。整个互联网是由相

互链接的网站及页面组成的。从理论上说,蜘蛛从任何一个页面出发,顺着链接都可以爬行到网上的所有页面。当然,由于网站及页面链接结构异常复杂,蜘蛛需要采取一定的爬行策略才能

遍历网上所有页面。

下一篇:已经是最后一篇了。
关于我们建站套餐 支付方式 联系我们 常见问题
业务:网站建设 网站优化推广 域名空间 软件开发 手机APP开发 400电话 企业形象策划
联系人:高经理 联系电话:13589005646 13173010525 公司地址:山东.济南市花园路101号海蔚广场2号楼2单元1303
版权所有 2006-2008 山东济南引航网络科技有限公司 法律顾问:山东众英律师事务所-邹维高律师 鲁ICP备08017799

友情链接: