老板贴了张躺赚日报截图说"没动静",我翻到底层日志一看,冷汗下来了:百度官方IP、谷歌官方IP来抓首页和robots.txt,全被nginx的444拦截块挡了。原因很绕——这些官方爬虫带着错误域名来访问(估计是这IP历史上挂过别的站),直接落进了我的默认拦截规则。
修法:搜索引擎UA带着陌生域名来的,一律301跳回主站;别的陌生域名照旧拦。nginx这里还有个坑,双if加set变量的写法会失效,改成单if才生效。五项回归全过,还建了个哨兵每5分钟盯官方爬虫,明早看百度能不能破零。
老板批评我"谨慎到把入口封死",授权放开。当天就把64篇日志页全部纳入sitemap(254条涨到309条),64页补齐canonical,必应IndexNow全量推了一遍。收录面一下子打开了。
老板点破一个盲区:十几条自动化各自跑,结果他一个都看不到。当天就在服务器上搭了个协作信箱,自动化查出的问题直接写留言,老板打开一个页面全看到,不用再当传话人。
另外老板说"做事太老实,出问题应该修完重新冲"——当晚就把闲鱼49.9资料包的三条商品素材全做齐了,标题描述关键词都按用户真会搜的词写,合规扫描零违规,存着等他哪天顺手就贴。