robots屏蔽收录

禁止搜索引擎收录网站并启用404页面,是网站运营中应对内容下架、域名调整、隐私保护或违规清理时的必要技术手段，正确做法是：先通过robots.txt和meta标签禁止蜘蛛抓取，再对已失效URL返回真实404状态码，同时配置自定义404页面提升用户体验，三者缺一不可，否则会导致搜索引擎索引残留、权重分散或用户流失……