网站死链排查实操流程：从自动化扫描到人工确认

📍 WDQWDWQD987AAAAA:216.73.217.174
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /43bda02ca273.html
📄

用户点击链接后进入一个无法显示的页面，这种体验会直接削弱访客对网站的信任，同时也会让搜索引擎认为站点维护质量欠佳，进而影响页面的抓取与排名。死链排查因此成为网站日常维护中不可省略的环节。以下这套结合自动化扫描与人工确认的完整流程，可以直接用于你的实际维护工作。

1. 使用云端爬虫工具完成全站初筛

当网站页面数量超过一定规模后，依靠人工逐个点击检查链接已经不再现实。使用在线爬虫工具进行第一轮筛选是目前效率最高的方式。这类工具会模拟搜索引擎的抓取行为，自动记录所有无法正常返回内容的链接地址。市面上常见的工具包括 Screaming Frog、Ahrefs Site Audit 以及部分提供免费配额的在线检测平台。

执行一次全站扫描，通常按以下步骤操作：

  1. 确认所选工具的免费抓取额度，并检查它是否支持通过站点地图导入网址，这样可以有效扩大扫描覆盖范围。
  2. 在工具中提交网站首页地址，或者直接粘贴 sitemap.xml 文件的链接。
  3. 等待抓取任务执行完毕，根据页面总量不同，耗时通常在几十秒到十五分钟之间。
  4. 导出扫描报告后，将筛选条件设定为 404、410 等异常状态码，再进一步确认这些链接是内部链接还是外部引用失效。

这一环节容易忽略的问题是“软404”现象。有些页面会返回正常的 200 状态码，但页面内容其实已经被清空或替换为无关信息，爬虫工具无法自动识别这种情况，只能依赖人工抽查来发现。此外，需要登录验证才能访问的会员专区，在扫描时经常会被工具误判为死链，配置时应当主动排除这些目录。

2. 助浏览器插件进行单页即时审核

对于日常负责内容采编或页面更新的工作人员来说，在浏览器中安装一款链接检测插件，可以显著减少在工具间来回切换的时间。这类插件安装后，打开任意页面即可一键分析当前页面内所有链接的状态，并用不同颜色清晰区分正常链接和异常链接。

以 Chrome 或 Edge 浏览器为例，可以在扩展商店搜索“Check My Links”或其他同类工具。安装完成后，打开待审查的内容页面，点击扩展图标，工具会在数秒内完成检测，并在每个链接旁边显示状态提示。看到标红提示的链接，就可以立刻定位并修复失效地址。

这类插件最大的优点是反馈即时，非常适合在内容正式发布前作为最后一道质量检查。但它的局限同样明显——一次只能扫描当前打开的页面，无法胜任全站级别的检测任务。因此，它更适合作为日常内容审核的辅助手段，而不能替代完整的全站排查方案。

3. 从搜索引擎站长后台提取抓取记录

搜索引擎的站长管理平台中，保留了大量与死链直接关联的抓取数据。这些记录来自搜索引擎真实的蜘蛛访问日志，反映的是搜索引擎在抓取网站时实际遭遇的异常情况，其权威性和参考价值通常高于第三方工具。

3.1 百度搜索资源平台的操作方法

  1. 登录后台，在“链接提交”或“死链提交”模块中查找抓取异常记录。
  2. 对照平台列出的异常网址，逐一判断是内容确实已被删除，还是服务器临时故障导致的误报。
  3. 对于确认不再需要恢复的网址，按照平台要求提交死链对应表，通知搜索引擎放弃对这些地址的抓取。

3.2 Google Search Console 的操作方法

  1. 进入“索引编制”报告，选择“页面”标签，筛选出“已抓取-当前未编入索引”或“404”状态的网址。
  2. 检查这些地址是否还能正常访问，若内容已移除，则需要设置正确合理的 404 状态码，或在服务器端做 301 跳转到相关页面。
  3. 功能重新上线后，可以请求平台对这些网址进行重新索引。

4. 全站排查后的关键步骤：人工复核

机器扫描能够发现大部分明显的问题链接，但无法判断链接指向的内容是否仍然有效。例如，一个链接虽然返回 200 状态码，但页面展示的却是几个月前的旧活动信息；又或者链接跳转到了与锚文本完全无关的页面。这些情况都需要人工打开链接进行实际确认。

人工复核阶段建议重点关注以下几类页面：

在人工确认时，可以按照列表逐条打开链接，同时记录确认结果。遇到内容确实已被删除且没有替代页面的，保持 404 状态即可；若存在相关替代内容，则建议添加 301 重定向。发现链接地址本身写错了，要立即在后台修正。

5. 常见问题

5.1 排查死链需要多久进行一次？

全站范围的死链扫描建议每季度执行一次，或者每次网站改版、批量删除旧内容后立刻进行。日常更新频繁的频道页，可以每周用页面对应工具抽查一次，这样通常能在问题扩大前及时发现。

5.2 404 页面和死链是同一个概念吗？

不完全是。死链是指无法正常访问的链接，而 404 是服务器返回的一种状态码，表示页面不存在。一个链接返回 404 状态码时，它确实是死链；但死链还包括返回其他错误状态码的页面，甚至可能出现返回 200 但内容为空或无关的软404情况。

5.3 刚发布的文章链接打不开，是什么原因？

最常见的原因是文章发布了但还未真正生效，缓存尚未清除；也可能是链接地址中的大小写或特殊字符写错。如果发布已超过半天仍无法访问，就需要检查服务器异常记录、伪静态规则是否配置正确，以及是否有安全防护软件误拦截了新页面。

6. 总结

死链排查并没有想象中复杂，关键在于把自动化工具的高效和人工复核的准确结合起来。你可以先从使用爬虫工具完成全站扫描开始，再配合浏览器插件做日常抽查，同时定期关注搜索引擎站长后台的抓取异常记录。每次处理完死链后，建议将原因和处理方式记录下来，形成一份维护日志，这样当类似问题再次出现时就能快速定位原因，有效减少重复排查的时间。

图1 图2
nginx