Baidu,how do u define tech?
十一月 17th, 2006 by hidecloud
今天查看ip详细访问记录，又看到百度的爬虫在2分钟之内狂扫我页面10几次之多。记得百度原CTO还在的时候，经常对外界宣传baidu的技术是多么多么好。ok，也许技术是很好，你看，google就不能在2分钟内扫描10几次吧？但是对于我这种一天只更新一次的站点来说，这么个扫描法有必要么？
迫于无奈，刚刚把百度的爬虫给ban了。就放弃那点从百度来的流量吧，总比每天看着那几十个爬虫记录舒心。
PS：扫描频率很好设置的吧？为什么baidu就不能给个这样的设置呢？google就有这样的功能。
PS2:11月20更新，刚刚发现了一个更猛的spider：sogou！居然1分钟刷30次左右，一个网站能更新这么快吗？拜托各大搜索引擎还是省点带宽省点钱吧，要烧钱也不要烧到我们这种小站上来啊。
与此文相关的日志
此篇日志属于 原创分类. 你可以通过这个链接来订阅本文的评论: RSS 2.0. You can skip to the end and leave a response. Pinging is currently not allowed.
-
沙发居然是你的？快抢占吧！
发表你的评论