User-agent: * Allow: / # AJAX 数据接口:返回 JSON,无索引价值,纯耗抓取预算。 # 可索引页面的内容全部由服务端直出,不依赖这些接口。 Disallow: /home/api/ # 参数式入口:站内链接全部使用伪静态,这个形式只会产生与伪静态地址重复的内容。 Disallow: /index.php?s= # 刻意【不】屏蔽 /search、/tag/、/comics/ticai/: # 这三类的索引控制都在页面级(noindex meta / tag_indexable / SEO_TICAI_INDEXABLE)。 # robots 屏蔽会让爬虫抓不到页面、也就读不到那些指令——已被索引的 URL # 会以「只有网址没有内容」的形式留在索引里,比现在更糟。 Sitemap: https://nhy2.com/sitemap.xml