Robots.txt,禁止搜索引擎搜索网页文件

在根目录建立Robots.txt文件，将下列下列代码黏贴进去保存即可。
实例分析：淘宝网的 文件　
--------------------------------------------------------------
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /