一句话回答
500 错误(HTTP 500 Internal Server Error,服务器内部错误)是服务器这一侧遇到意外情况、无法完成请求时返回的状态码。它只说明服务器出错,不说明原因,所以原因要去服务器日志里找,而不是在浏览器里找。
公式: 5xx 占比 = 返回 5xx 状态码的爬虫抓取次数 ÷ 全部爬虫抓取次数
什么是 500 错误?
500 错误(HTTP 500 Internal Server Error,服务器内部错误)是服务器自己这边出了问题、没能完成请求时返回的状态码。HTTP 标准 RFC 9110 的定义是:服务器遇到了意外情况,无法完成请求。MDN 把它描述为一个笼统的兜底响应,在找不到更合适的 5xx 状态码时使用。
说白了,500 就是服务器在说:「我出错了,但不告诉你为什么。」浏览器、爬虫和看着错误页的人,拿到的都只有这三个数字,别的什么有用信息都没有。真正的原因(未捕获的异常、失败的数据库查询、写错的一行配置)只记在服务器自己的日志里,如果有记的话。所以排查 500 要从服务器入手,而不是从浏览器入手。
对搜索的影响也是同样的道理。500 会不会伤害排名,取决于它持续多久:Google 的爬虫碰到服务器错误时会放慢抓取并重试,所以短暂的一阵通常不留痕迹;而持续返回错误的网址,最终会被移出索引。
整个 5xx 类别的含义是:服务器知道自己出了错,或者没有能力执行这个请求。这正是 500 和 404 这类 4xx 状态码的区别:4xx 是请求本身有问题(比如页面不存在)。清浏览器缓存、换个浏览器,很少能修好真正的 500,因为问题根本不在访客这一侧。
500 错误长什么样
不同的服务器、框架和托管平台,对同一个状态码有各种说法。下面这些都是同一个状态码:
- 「500 Internal Server Error」或「HTTP Error 500」,大多数 Web 服务器的默认页面。
- 「Internal Server Error. The server encountered an internal error or misconfiguration and was unable to complete your request.」(服务器遇到内部错误或配置错误,无法完成请求。)
- 一片空白的页面,浏览器开发者工具里显示状态 500,常见于关闭了错误显示的站点。
- 「Request failed with status code 500」,这是 Axios 等 HTTP 客户端库在接口返回 500 时给出的提示。毛病仍然在作答的那台服务器上。
- CDN 或代理的品牌错误页,可能显示源站的 500;如果源站没正常应答,也可能显示 502。
500 和 502、503、504 的区别
| 状态码 | 名称 | 含义(RFC 9110) | 常见原因 | 重试可能有用吗? |
|---|---|---|---|---|
| 500 | Internal Server Error(服务器内部错误) | 意外情况导致无法完成请求 | 代码异常、配置错误、查询失败 | 只有原因是暂时性的才有用 |
| 501 | Not Implemented(未实现) | 服务器不支持完成请求所需的功能 | 不支持的请求方法 | 没用 |
| 502 | Bad Gateway(网关错误) | 网关或代理从后面的服务器收到了无效响应 | 应用服务器崩溃或返回了乱码 | 常常有用,等应用服务器恢复后 |
| 503 | Service Unavailable(服务不可用) | 因过载或维护暂时无法处理请求 | 计划维护、流量高峰、工作进程占满 | 有用,过一会儿再试;可能带 Retry-After |
| 504 | Gateway Timeout(网关超时) | 网关或代理没有及时等到上游的响应 | 慢查询、上游接口卡住 | 有时有用;慢的那部分得修 |
实际区别在于:502 和 504 指向代理和应用之间的连接,503 是有意在说「稍后再来」,500 则说明应用本身出了故障。计划停机时,正确的信号是带 Retry-After 头的 503;维护期间返回 500,等于告诉客户端和爬虫「坏了」。
500 错误是什么原因造成的
因为 500 是兜底状态码,原因可以列很长,但大多落在五类里:
- 应用代码里没处理的异常。空值、类型错误、文件缺失。很多框架会把任何未捕获的异常转成 500 响应。
- 最近一次部署或配置改动。新代码、升级的依赖、改过的环境变量、服务器配置或重写规则文件里的语法错误。
- 依赖出了故障。数据库宕机或连接数耗尽,外部接口报错,缓存服务器连不上。
- 资源耗尽。内存用完、磁盘写满、进程因超时被杀掉。
- 权限。服务器进程读不到需要的文件,或写不进需要的目录。
第 1、2 类占了真实故障的大多数。如果 500 是在部署后几分钟出现的,部署就是头号嫌疑。
怎样排查 500 错误
下面的顺序适用于任何技术栈,因为它从证据出发,而不是从猜测出发。
- 记下准确的网址、时间和请求。哪个页面或接口,什么时间(带时区),什么请求方法和参数。是每次请求都错,还是只有部分用户、部分输入会错?
- 按那个时间点去读服务器错误日志。应用日志或 Web 服务器的错误日志里,有 500 页面藏起来的堆栈信息或报错内容。这一步通常直接就能找到答案。
- 查一查改了什么。把报错开始的时间和最近一次部署、配置改动、依赖升级对照。如果时间对得上,先回滚,再调查。
- 检查依赖和资源。报错前后的数据库连接、外部接口状态、内存、磁盘空间和进程限制。
- 确认 500 是谁返回的。站点在 CDN 或负载均衡后面时,要确认是源站返回了 500,还是代理自己产生的错误。源站的访问日志能看出应用实际返回了什么。
- 复现、修复,然后盯着错误率。确认修好的依据,是访问日志里的 5xx 数量回到平时的水平,而不是自己刷新一次页面。
如果你是访客而不是站长,实在话只有几句:刷新一次,过会儿再试,一直不好就联系网站。问题不是你的设备造成的。
500 错误对 SEO 有什么影响
Google 关于 HTTP 状态码的文档,把它对 500、502、503 的处理分成三步:
- 抓取变慢。5xx 和 429 响应会让 Google 的爬虫暂时降低对整个站点的抓取频率,降低幅度和返回服务器错误的网址数量成正比。
- 已收录页面会保留一段时间。已经收录的网址会先保留,但持续返回服务器错误的网址最终会被移出索引。Google 没有给出固定天数。
- 逐步恢复。服务器重新返回 2xx 之后,抓取频率会逐步回升。
有一个网址很特殊:robots.txt。按 Google 的 robots.txt 规范,它如果返回 5xx,头 12 小时 Google 会停止抓取整个站点,同时不断重试这个文件,之后最长 30 天内沿用上一次成功拿到的版本。所以 robots.txt 坏掉,暂停的是所有页面的抓取,不只是一个页面。
由此得出的规则看的是持续时间。部署时出几分钟错误,会被重试然后忘掉;同一批网址日复一日地报错,或者整站宕机好几天,就会丢失索引里的页面,并拖慢其他所有页面的抓取,也浪费抓取预算。页面显示错误信息却返回状态 200,是另一个问题,叫软 404,根本不会被当作服务器错误处理。其他抓取问题见抓取错误;页面不存在的情况见怎样修复 404 错误。
算例:一周的爬虫抓取
示例数据:某站的访问日志显示,Googlebot 一周抓取了 4,200 次。
| 状态 | 抓取次数 | 占全部抓取 |
|---|---|---|
| 成功(状态码低于 400) | 3,990 | 3,990 ÷ 4,200 = 95.0% |
| 404 | 84 | 84 ÷ 4,200 = 2.0% |
| 5xx | 126 | 126 ÷ 4,200 = 3.0% |
| 合计 | 4,200 | 全部 |
单看 3.0% 的 5xx 占比挺吓人。要做什么决定,取决于这 126 次错误发生在哪里、什么时候:
- 按时间拆:126 次里有 104 次(82.5%)集中在周二 02:00–03:00,正是部署的那一小时。其余 22 次分散在另外六天。
- 按网址拆:126 次里有 98 次(77.8%)落在站内搜索结果网址(
/search?q=…)上,查询词里有某些特殊字符时就返回 500。剩下 28 次打在 20 个不同的商品页上,全部在周二那个时间窗里。
所以这是两个不同的问题。周二那一阵只持续了一小时,同一批商品网址之后都返回 200;Google 会重试这些网址,除了下次部署时改用 503 加 Retry-After 预防之外,不需要别的处理。搜索网址则每天都错,只要查询里带那些字符就错。这是低价值网址上的持续错误:修好输入处理,让页面返回正常响应,并考虑干脆不让爬虫抓站内搜索页。如果不按时间和网址拆开,团队会把一小时的事故和一个长期缺陷当成同一个 3.0%。
常见误区
- 在浏览器里排查。浏览器只看得到状态码,原因在服务器日志里。
- 维护时返回 500。用带 Retry-After 的 503,让客户端和爬虫知道这是暂时的。
- 错误页返回状态 200。爬虫会把错误文字当成内容收录,访客端的工具也察觉不到故障。
- 凭一次页面加载下结论。只影响 1% 请求的 500,手动检查时照样能过。去访问日志里数 5xx。
- 把所有 5xx 当成一个数。像算例那样先按时间和网址拆开,再判断有多紧急。
- 忘了 robots.txt。这一个文件返回 5xx,Google 就会暂停整站的抓取。
在 TapCub 里发现 500
算例背后的问题是:你怎么知道爬虫碰到了 500?在 TapCub 里,答案取决于服务器端的记录,因为页面脚本在浏览器里运行,看不到状态码。
- 导入访问日志。服务端事件与日志导入接受 Nginx 或 Apache combined 格式的日志行(每次最多 5,000 行);保留下来的请求记录是被识别为机器人的那部分,不执行 JavaScript 的爬虫就是这样才看得到的。见导入服务器日志。少了这一步,抓取成功率会接近满值,因为脚本记录不带状态码。
- 按搜索引擎看抓取健康。监测 › 抓取健康显示总抓取数、成功率(状态码低于 400)、不同页面数、404 和 5xx,趋势按搜索引擎拆分。这就是算例里那张表;点开某个引擎那一行,能看到它抓得最多的页面。见查看抓取健康。
- 按爬虫看状态码。网站统计 › 机器人的「全部机器人」页签列出每个爬虫的请求数、访问页数和最常见状态码;搜索引擎另有一张健康小表,有抓取数、成功率、404 和 5xx。见机器人与 AI 爬虫。
- 抓取量下跌时收到提醒。在通知里打开「抓取异常」,某个引擎 24 小时内的抓取数低于它 7 天日均的 30% 时就会提醒你,这正是 Google 所说的持续服务器错误之后的降速。
TapCub 不会告诉你哪些真人访客收到了 500:导入的日志行只保留机器人请求,监测 › 错误收集的是页面脚本上报的前端错误,不是服务器状态码。500 的原因,仍然要去你自己的服务器日志里找。
另见:什么是 JavaScript 错误?类型、影响和排查优先级。
资料来源
- IETF:RFC 9110: HTTP Semantics,15.6.1 节 500 Internal Server Error。
- MDN Web Docs:500 Internal Server Error。
- Google for Developers:How HTTP status codes affect Google's crawlers。
- Google for Developers:How Google interprets the robots.txt specification。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
