用Shell脚本查看哪些页面已经被Googlebot抓取，数量是多少。

2006-08-08

grep Googlebot %1 | cut -d" " -f7 | sort | uniq > %1.urls.txt
wc -l %1.urls.txt

xxx.urls.txt 就是不重复的排序后的地址列表
而页面数量会直接在运行后显示。