以下是一个基本的robots.txt文件示例内容：User-agent: *Disallow: / (禁止所有爬虫访问网站的所有页面)或者可以具体指定某些爬虫可以访问网站内容，例如：User-agent: GooglebotDisallow: /admin (禁止Google爬虫访问网站的后台管理页面)Allow: /public (允许Google爬虫访问网站的公开页面)
