屏蔽SOSO,SOGOU,雅虎蜘蛛的办法
SOSO,SOGOU蜘蛛抓取量排最前面，收录的页面全排后面，雅虎蛛蛛是中国，美国二套服务器同时开动，同样收录效果很差。要这种光吃饭不干活的蜘蛛干嘛，严重占用服务器带宽，果断屏蔽之。
方法如下：
User-agent: Googlebot
Disallow:
User-agent: baiduspider
Disallow:
User-agent: *
Disallow:/
目的是只允许百度和GOOGLE蛛蛛爬。但是，见过无耻的，没见过这么无耻的，SOSO之流的蛛蛛竟然不吃这套，那只能下必杀技了，屏蔽IP ！
在.htaccess裡寫sogou、soso的IP區段，直接屏蔽ip:
<Limit GET HEAD POST>
order allow,deny
deny from 220.181.94
deny from 220.181.125
deny from 220.181.0
deny from 124.115.0
deny from 124.115.4
allow from all
</Limit>