参考资料

  1. 百度收录一般多久见效？
  2. robots.txt怎么看
  3. robots.txt 禁止所有
  4. 搜狗资源平台
  5. robots.txt disallow
  6. robots.txt 在哪里
  7. Umami 时，HASH_SALT（哈希盐值）是一个关键安全参数，用于加密用户会话和敏感数据
  8. Meta Robots 详解

robots.txt是什么

robots.txt是一个文本文件，网站管理员通过它来告诉搜索引擎哪些页面可以抓取，哪些页面不可以抓取。这个文件位于网站的根目录下，遵循特定的格式和规则。