参考资料

  1. robots.txt文件
  2. robots.txt利用
  3. Umami 时，HASH_SALT（哈希盐值）是一个关键安全参数，用于加密用户会话和敏感数据
  4. 优化robots.txt提升搜索抓取效率
  5. robots.txt 禁止所有
  6. robots.txt disallow
  7. robots.txt 文件详细说明
  8. 如何检查网站是否被百度收录？

robots.txt 生成

User-agent: *
Disallow: /private/
Disallow: /admin/
Disallow: /tmp/
Allow: /public/
Sitemap: https://www.example.com/sitemap.xml