头条 > 科技 > 网站 > 请高手深度分析搜索引擎蜘蛛 解开我心头的疑团 时间:2010-04-04 16:08来源:wenzhou1 搜索引擎蜘蛛使劲的在我的网站上爬,本来是一件好事,最近我发现了雅虎在爬哪个网页以后,我一直很纳闷。因为这是我做的一个静态网页,忘记删除了。网站导航和目录里面都没有指向这个网页,可是雅虎蜘蛛却在这个网页上使劲的爬,有时候每秒爬行十几次,4月4日的日志我检查了下,雅虎爬了1400多次,竟然大部分时间在这个单独页面上,这样子的爬行对服务器的压力会很大。对网站收录又没有什么帮助,因为这个页面没有什么特别的内容,最近我在这个页面上加了很多文本内容。但是即使这样,一个搜索引擎只关注我网站的一个内页,总不是什么好现象,请高手深度分析下,这是什么原因引起的,会带来什么坏的后果,以待我更好的改进。 这个页面的地址:http://www.wenzhousx.com/seo/seo.html 我做了一个和这个一样的页面,蜘蛛却不来爬 http://www.lkttc.com/seo/这两个页面一样的原因是我刚做的时候,路径问题没有搞对,所以,把那个文件夹里的seo.html的文件忘了删除,现在蜘蛛这么狠命的爬,我都不敢删除这个文件了,删了我怕给我一串的404 蜘蛛爬行统计: 蜘蛛爬行统计 雅虎在那个单独页面的爬行记录: 雅虎记录 本文“”来源:http://www.lkttc.com/keji/intel/14132.html,转载必须保留网址。 (温州视线)