一句话回答
动态网址是页面在请求时根据查询条件生成、查询条件以参数形式放在 ? 后面的网址。它本身不伤 SEO,问题出在参数组合爆炸产生大量重复页,搜索和统计报表里都是如此。
公式: 每个模板的网址数 =(每个参数的取值数 + 1)^ 参数个数;参数顺序不固定时还要再乘上顺序数
什么是动态网址?
动态网址(dynamic URL)是指页面内容在请求时根据查询条件生成(通常来自数据库),并把这些查询条件以 URL 参数的形式放在 ? 后面的网址。https://shop.example/shoes?color=black&size=42&sort=price 就是动态网址:同一个 /shoes 模板,color、size、sort 每换一种组合,返回的列表就不一样。静态网址比如 https://shop.example/about,指向一份固定的内容。
动态网址很正常,每个站内搜索结果页、筛选后的商品列表和分页归档都在用。麻烦出在参数越来越多的时候。这就是本文的核心观点:动态网址本身不伤 SEO,问题出在参数组合爆炸产生大量重复页;网站统计里也一样,要把参数归并,否则一个页面会被拆成几百行。
注意,并不是带 ? 的网址都属于这个意义上的动态网址。utm_source 这类跟踪参数根本不改变内容。一个简单的判断方法:把参数去掉,如果页面完全一样,那它是跟踪参数,不是内容参数。
静态网址和动态网址
| 静态网址 | 动态网址 | |
|---|---|---|
| 例子 | /blog/crawl-budget | /search?q=crawl+budget&page=2 |
| 内容怎么来 | 固定文件或固定路由 | 请求时用查询条件填充模板 |
| 网址数量 | 发布一页就是一个 | 每种参数组合一个,可能无穷多 |
| 可读性 | 用词语描述页面 | 键和值,有时还有 ID 或会话令牌 |
| SEO 风险 | 低 | 重复和近似重复的页面,浪费抓取 |
| 常见用途 | 文章、商品页、落地页 | 站内搜索、筛选、排序、分页、跟踪 |
| 网站统计 | 一页一行 | 不归并参数时,每种组合一行 |
「看起来像静态」的网址底下也可能是动态的:/shoes/black/42 可能只是把同样的筛选改写进了路径。改写改变的是网址的样子,不是组合的数量。
搜索引擎怎么看动态网址
谷歌的文档把取舍说得很直接。它的网址结构指南建议使用标准的 key=value 键值对、用 & 连接,并建议不要在网址里放会话 ID,改用 Cookie。它还提醒,过于复杂的网址、尤其是带多个参数的网址,会给爬虫带来麻烦:叠加的筛选会产生大量内容基本相同的网址,Googlebot 可能消耗过多带宽,或者没法把网站内容全部编入索引。
它的分面导航(faceted navigation)指南点出了两个代价:过度抓取,因为爬虫不抓一下就不知道某个筛选网址没用;发现变慢,因为花在筛选网址上的时间,就是没花在新页面上的时间。它给出的做法:
- 筛选网址不需要出现在搜索结果里:用 robots.txt 屏蔽,同时让单个商品页和不带筛选的列表页保持可抓取。或者把筛选条件放进网址片段(
#color=black),谷歌抓取和索引时通常会忽略片段。 - 部分筛选网址需要被索引:用
&作分隔符,筛选顺序保持一致,避免重复的筛选条件,对没有结果的组合返回 404,而不是重定向到一个通用页面。 rel="canonical":在筛选网址上指向不带筛选的版本,时间长了可能会减少对重复网址的抓取,但谷歌说这不如屏蔽有效。规范网址的通用做法见谷歌关于合并重复网址的指南。
谷歌在 2022 年停用了 Search Console 的「网址参数」工具,理由是用户在里面设置的参数配置只有约 1% 对抓取有用。现在没有任何设置能告诉谷歌忽略哪些参数,只能靠网站自己的链接、规范网址和 robots 规则。花在参数变体上的抓取额度,见抓取预算。
算例:三个筛选条件怎样变成几百个网址
示例数据:分类页 /shoes 有三个筛选参数 color、size、brand,每个有 5 个取值,任何一个都可以不选。
- 取值组合:每个参数要么不选,要么是 5 个值之一,共 6 种选择。6 × 6 × 6 = 216 个网址,包含不带筛选的页面。
- 参数顺序:如果网站的链接不固定顺序,
?color=black&size=42和?size=42&color=black就是内容相同的两个网址。把顺序算进去:1(不筛选)+ 3 × 5(一个筛选)+ 3 × 25 × 2(两个筛选,2 种顺序)+ 125 × 6(三个筛选,6 种顺序)= 1 + 15 + 150 + 750 = 916 个网址。 - 放到全站:40 个分类都这样搭建:固定顺序时 40 × 216 = 8,640 个网址,不固定时 40 × 916 = 36,640 个。
只把参数顺序固定下来,就能去掉 36,640 − 8,640 = 28,000 个重复网址,约 76%,一个页面都不用改。再把没人搜索的筛选组合屏蔽或规范化,剩下的大部分也能去掉。如果再加一个有 3 个取值的 sort 参数,上面每个数字还会再涨,最多涨到 4 倍。
同样的 916 个变体也会进入你的网站统计。如果报表工具把每个查询字符串都当成一个单独的页面,/shoes 这一行就会拆成最多 916 行,每行只有几次浏览,真正重要的页面从热门页面列表里消失了。
网站统计里的动态网址
- 把内容参数归并到页面路径:页面报表里,
/shoes?color=black和/shoes?size=42都算/shoes。 - 把推广参数解析成来源数据,而不是页面。
utm_source、utm_medium、utm_campaign描述的是访问从哪里来,见 UTM。 - 需要的参数留作属性:站内搜索词(
q、s、search)和筛选选项有用,但应该放进搜索词报表或事件属性,而不是变成页面行。 - 去掉标识符:网址里的会话 ID、邮箱和令牌会泄露到报表和来源信息里,要在源头去掉。
常见误区
- 「谷歌不能索引动态网址」:能,而且一直在索引。问题在数量和重复,不在那个
?。 - 「改写成看起来像静态的网址就能解决 SEO」:改的只是格式。如果
/shoes/black/42和/shoes/42/black都存在,重复照样存在。 - 「规范网址标签能阻止抓取」:它只是提示该索引哪个网址,谷歌可能照样抓取那些变体;谷歌也说,要降低抓取负担,屏蔽更有效。
- 「UTM 参数会制造重复内容」:如果站内链接也带着 UTM,就会制造重复网址。UTM 只用在从站外指向你网站的链接上。
在 TapCub 里处理动态网址
把 /shoes 这个例子放进 TapCub:
- 一行,而不是 916 行:采集端在做页面统计时,会去掉查询字符串和末尾的
/,路径最多保留 512 个字符。916 个变体在 网站统计 › 页面 里都显示为/shoes,这个分类的真实流量依然清楚可见。只改了?tab=的路由仍然会发送一次浏览(网址变了),但归在同一个路径下。 - 推广参数进来源:UTM 的值存成来源字段,不算页面路径的一部分,在 网站统计 › 来源 的 UTM 页签里按来源、媒介、活动、关键词和内容拆开显示。
- 搜索词保留下来:站内搜索参数默认是
s、q、search,可以在 网站统计 › 配置 › 网站设置 里修改;搜索词存在那次浏览上,在 网站统计 › 来源 里显示为站内搜索词,而不是一个页面。 - 井号默认不算,除非你用它做路由:脚本默认去掉
#及其后面的内容。用井号路由的网站要在脚本标签上加data-hash="true",之后包含#/的网址会把井号部分并进路径。
如果你需要筛选值本身,就把它们作为事件属性发送,而不是指望页面报表保留查询字符串。TapCub 不会改变搜索引擎怎样抓取你的参数,robots 规则和规范网址仍然要在你的网站上设置。
资料来源
- Google Search Central,URL structure best practices for Google Search。
- Google for Developers,Managing crawling of faceted navigation URLs。
- Google Search Central,How to specify a canonical with rel="canonical" and other methods。
- Google Search Central Blog,Spring cleaning: the URL Parameters tool(2022 年 3 月)。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
