老网站改版整理旧页面的核心原则是:先盘点、再分类、后处置。你需要把旧站所有URL列出来,逐条判断它是保留、合并、重定向还是删除,而不是直接换模板上线。下面这份清单按执行顺序给出每一步要查什么、怎么查、结果说明什么。
要查的是旧站到底有多少个可访问页面。用爬虫工具(如Screaming Frog、Xenu)或搜索引擎的site指令抓取,导出所有返回200状态码的URL。同时查看服务器日志和XML站点地图,补上爬虫没抓到的页面。结果说明什么:如果清单数量远大于你印象中的页面数,说明存在大量历史遗留页、标签页或参数页,这些都需要纳入处置范围。
要查的是每个页面的内容价值和流量表现。逐条查看:这个页面有没有自然搜索流量、有没有外部链接、内容是否仍然准确。可以借助搜索控制台的页面报告和第三方外链工具。根据结果把页面分成四类:
判断条件:有外链但内容过时的页面优先重定向,不要直接删;有流量但内容重复的优先合并,不要保留两个近似页面互相竞争。
要查的是每个旧URL改版后对应哪个新地址。用表格列出三列:旧URL、处置方式、目标URL。重定向必须是一对一指向内容最相关的页面,不要全部跳到首页。检查项:打开每条重定向,确认最终落地页内容与旧页面主题一致。结果说明什么:如果大量旧URL都指向首页,搜索引擎会视为软404,原有排名信号基本浪费。
要查的是重定向是否生效、内链是否更新、站点地图是否替换。具体操作:
curl -I检查旧URL返回的状态码是否为301,Location是否指向正确的新URL。<title>和<h1>是否与原页面主题一致,避免改版时顺手改乱。适用条件:这一步在测试环境完成后再切正式域名。如果直接在生产环境改,出错时用户和搜索引擎会同时看到大量404。
要查的是搜索引擎有没有正常抓取新URL、旧URL有没有被正确替换。上线后第一周每天查看服务器日志中的404和301数量,并在搜索控制台观察索引覆盖率报告。判断结果:如果旧URL持续返回404而不是301,说明重定向规则没生效;如果新页面长时间不被索引,检查是否被robots.txt误屏蔽或存在规范标签冲突。
下一步建议:先完成第一步的URL清单导出,再按第二步的分类标准逐条标注,形成映射表后再动模板。清单没整理完之前,不要切换新站上线。