本文共 997 字，大约阅读时间需要 3 分钟。

常见博客类网站robots.txt

由于网站内容可能会发生变动，这些robots.txt文件仅代表特定时期的状态。

csdn

robots.txt地址：http://www.csdn.net/robots.txt

Sitemap: http://www.csdn.net/article/sitemap.txt  Disallow: /article_preview.html*

博客园

robots.txt地址：http://www.cnblogs.com/robots.txt

User-Agent: *Allow: /

中国博客网

robots.txt地址：http://www.blogchina.com/robots.txt

User-agent: *Disallow: /

网易博客

robots.txt地址：http://blog.163.com/robots.txt

User-agent: *  Disallow: /apps/  Disallow: /settings/  Disallow: /dwr/  Disallow: /*/dwr/  Disallow: /unblock.do  Disallow: /feedback.do  Disallow: /*\${*}*  Disallow: *jsessionid=*  Disallow: /login.do  Disallow: /qiangbao  Disallow: /error.do  Sitemap: http://blog.163.com/sitemap.xml

新浪博客

robots.txt地址：http://blog.sina.com.cn/robots.txt

#限制的搜索引擎User-Agent代码，*表示所有  Disallow: /admin/blogmove/  Disallow: /admin/  Disallow: /include/  Disallow: /html/  Disallow: /queue/  Disallow: /config/  #开放搜索的目录有  / #  /advice/ #  /help/ #  /lm/ #  /main/ #  /myblog/ #  Sitemap: http://blog.sina.com.cn/sitemap.xml