参考资料

1. robots.txt 语法
2. 百度收录一般多久见效？
3. robots.txt 禁止目录
4. robots.txt sitemap
5. Umami 时，HASH_SALT（哈希盐值）是一个关键安全参数，用于加密用户会话和敏感数据
6. robots.txt disallow
7. Meta Robots 详解
8. 如何检查网站是否被百度收录？

robots.txt文件

robots.txt文件是一个文本文件，位于网站的根目录下，用于指示网络爬虫（如搜索引擎的爬虫）如何访问网站的内容。它通过指定允许或禁止爬虫访问的页面或目录，来控制爬虫的行为。例如，网站管理员可以通过robots.txt文件阻止爬虫访问某些敏感或私密的页面。