能改的范围通常只剩服务端输出、HTTP 响应头、站点级文件和外部提交入口,模板层的 title、canonical、分页链接往往动不了。因此可行方案不是“优化页面”,而是把收录信号从页面内部搬到页面外部,并接受部分信号无法覆盖。判断边界的关键动作是:先抓一条真实商品页的原始响应,确认哪些信号已经存在、哪些只能靠外部手段补。
遗留系统的“不能改模板”经常被笼统理解成全部冻结,实际上不同层的可写性差别很大。把可写层列出来,才能决定后面用哪种手段。
如果服务端逻辑层可写,优先在这里补 canonical 和状态码,而不是绕到外部。如果连响应头都改不了,才进入纯外部方案。
取一条有代表性的商品页,直接看原始响应,对照下面几项:
这一步的结果直接决定下一步:如果状态码和 canonical 都正常,问题可能只在抓取预算或内链;如果 canonical 缺失或指向错误,外部提交再多次也不会改变合并判断。
当模板确实冻结时,常见做法是站点地图加收录工具提交。需要明确它的边界:站点地图不保证收录,提交只是告知存在,抓取和索引仍由对方决定。
能补的:让抓取方知道哪些 URL 值得来;通过收录工具查看某条 URL 的抓取与索引状态;用重定向规则把参数页收敛到主 URL;用 robots.txt 控制抓取范围。
补不到的:页面内部的 canonical 指向;title 和结构化数据的修正;分页之间真实的链接关系;重复内容在页面层的合并信号。
一个假设例子:某商品页有颜色和尺码两组参数,共生成若干变体 URL,模板无法输出 canonical。此时可以在服务端对参数 URL 返回 301 指向无参主 URL,再把这些主 URL 放进站点地图。前提是服务端能写重定向规则;如果只能改 robots.txt,就只能屏蔽参数路径,代价是这些变体页也失去被抓取的机会。
单条样本成立,不代表全站成立。规模放大后,最先出问题的一般是这三处:
因此规模化的检查点不是“样本页是否正常”,而是“同一规则套用到全部同类 URL 后,是否产生新的例外”。抽样时应覆盖:无参数主 URL、单参数 URL、多参数 URL、已下架 URL、分页 URL。
按可写层从内到外排序,能改的优先做,改不了的才用外部手段兜底:
执行后隔一段时间复查同一批样本,重点看状态码和 canonical 是否按预期输出,再决定是否扩大范围。若复查发现某类 URL 仍返回 200 且无 canonical,说明该层实际不可写,应回到清单上一步换手段,而不是继续加大提交量。不同搜索引擎对 canonical、robots.txt 和站点地图的支持情况须分别核查,不能把一家的表现直接套到另一家。