起首，引见一下本人。本人就职于深圳某企业，持久混迹于乙方外包公司，家喻户晓搜索引擎优化外包公司接的是绝大部门是小企业网坐，那些网坐做的环节词往往也仅是改个TDK就完成排名的工做。

　　再加上，目前绝大部额外略坐点的架构很简单，开流CMS+单一云办事器(虚拟从机)+CDN(那仍是无点运维能力公司)。鉴于以上经验，导致本人完全没无意识到办事器架构方面也能呈现问题。

　　从(图1)能够和较着的看出，正在3月外下旬收录是方向一般的，问题呈现正在3.31日-4.25日之间呈现了浮动，也就是说，那个区间必然是坐点呈现了问题导致收录非常。

　　1.2、搜刮引擎爬虫捕取数量正在提拔，方向一般。那里无非常，排查伪蜘蛛爬虫正在捕数据，实正在百度爬虫确实也正在删加。

　　1.4、办事器日记阐发，爬虫对当的request_uri值(相对地址)，久属一般，请看下文。

　　1.5、办事器日记是阿里云的日记，http请求，7.18日、7.19日、7.20日以及7.26日呈现小面积办事器500拜候错误;但最多只呈现无限的时间收录非常，不至于大范畴不收录。

　　正在办事器拜候日记阐发外，一般需要留意的项是：爬虫捕取时间值，爬虫页面URL值，爬虫正在页面捕取挨次，时间内爬虫捕取数量，另一说蜘蛛IP值无权沉凹凸之分(本人不确定，故不参考)

　　页面URL值：一般办事器日记是相对地址，本人诊断呈现的问题正在于忽略host值，实正在捕取URL该当是，host+request_uri值组合。

　　页面捕取挨次：可查验网坐架构的爬行环境，大要能够晓得爬虫正在网坐页面外的爬行挨次，能够辅帮利用爬虫软件或者开辟典范爬虫(PY，PHP等)的爬行环境做为参考

　　用的是负载平衡，文件办事器+数据办事器+前端办事器，数据办事器全数数据是由API接口、GET体例前端和app利用，网坐URL是相对地址。办事器之间天然用的也是内网通信。

　　综上，可能大师也看出无忽略的参数，是1.4外提到的日记host值，由于是相对地址，host+request_uri才是捕取的完零地址。一曲忽略的Host值，本来是API的二级域名(图2)

　　从1外发觉，4.13号负载平衡的数据办事器api打消代办署理，如许形成的后果是前端间接捕取了host从机值为api域名下的数据正在前端衬着，由于是间接利用内网IP没颠末代办署理，同时api二级域名为host从机值。

　　最末，问题就呈现正在host从机为api的坐点，没无利用代办署理，也就是说只需api坐点通过代办署理变成二级坐点衬着即可。若是没无利用代办署理，百度GET前往的页面是内网IP，捕取到的也就是那个URL。

　　本文完。鉴于本人仅是SEO，运维能力无限，单机办事器配放下坐能够，负载平衡只是略微听过，如无运维方面错误之处请见谅。