抓取、索引和排名是三个先后不同、可以分别验证的环节。抓取是百度蜘蛛是否来过并取走页面内容;索引是百度是否把页面存入可检索的数据库;排名是用户搜索某个词时,页面是否出现在结果中以及出现在什么位置。判断问题出在哪一步,不能只看“搜不到”这一个现象,而要分别查日志、查索引状态、查关键词表现。
要查的是服务器访问日志或站点统计中的百度蜘蛛记录。具体做法:在日志中筛选百度蜘蛛的User-Agent,观察目标URL最近一次被访问的时间、返回状态码和抓取频次。结果说明:如果目标URL长期没有蜘蛛访问记录,问题可能出在抓取环节,常见原因包括入口链接太少、robots.txt误屏蔽、服务器频繁超时;如果蜘蛛来过且返回200,说明抓取这一步基本完成,问题更可能在索引或排名。
注意,“蜘蛛来过”不等于“内容被采用”。同一现象可能有多种解释,不要把一次抓取记录当成收录成功的证据。
要查的是目标页面的标题、完整URL或一段独特正文,在百度中直接搜索。具体做法:先搜完整URL,再搜页面标题中最独特的一句话,观察是否有该页结果。结果说明:如果完整URL能搜到,说明页面已进入索引;如果URL搜不到但标题能搜到,可能是索引了其他版本或转载版本;如果两种方式都搜不到,页面大概率尚未被索引,需要回到抓取和内容质量层面排查。
还可以用site:指令辅助观察,但site:的结果是估算值,不能当作精确的收录数量。索引状态会随时间变化,今天没索引不代表永远不索引,今天有索引也不代表会长期保留。
要查的是页面在某个明确关键词下的自然结果位置。具体做法:固定搜索引擎、固定设备类型、固定地区设置,用无痕窗口搜索目标词,记录目标URL出现在第几页第几位;隔几天用同样条件再查一次。结果说明:如果页面已被索引,但目标词下完全找不到,可能是该词竞争度高、页面主题匹配不足或标题描述与搜索意图偏差;如果排名在几十名之外波动,通常说明页面已参与竞争但权重和相关性还不够,属于可优化范围。
排名查询必须带条件。同一页面在不同城市、不同账号状态下结果可能不同,所以不要用一次搜索结果断定“排名掉了”或“排名稳了”。
判断顺序很重要:先确认抓取,再确认索引,最后才谈排名。跳过前两步直接盯排名,容易把“没被索引”误判成“排名差”,从而改错方向。对已有页面做改进时,每次只调整一个变量,并记录调整前后的抓取、索引和排名变化,才能知道哪一步真正起了作用。
下一步:挑一个你正在优化的苏州本地页面,按上面四步各查一次,把结果写成一行结论,再决定先修抓取、先修索引还是先修内容。