前两天连着写了蜘蛛池引蜘蛛和锚文本提排名，后台有个兄弟给我发了条消息，我一看就乐了。
他说：“哥，蜘蛛池确实有用，百度来了，首页也收了，但就收了个首页和几个栏目页。我内页写了快一百篇了，一篇不收，这蜘蛛是不是瞎?”
这话虽然糙，但真的问到了点子上。
蜘蛛来了，不代表它会顺着你的站一直往下爬、挨个页面全抓。很多新手以为蜘蛛只要进了门，就会乖乖把全站翻个底朝天。实际上完全不是这么回事——蜘蛛比你想的势利多了。
这篇就专门说说，蜘蛛明明来了，内页不抓或者抓得极少，到底卡在哪儿了，以及怎么把它“请”到内页去。
一、别急着怀疑蜘蛛池，先把日志扒开看
内页不收录，第一步永远是看服务器日志，而不是凭空猜。我把经验归结为看三个数：
蜘蛛来了多少回
都爬了哪些URL
抓取深度是多少
如果你日志里蜘蛛天天来，但反反复复只抓首页和几个栏目列表页，说明蜘蛛“进门了，但找不到去卧室的路”。这种情况，问题大概率出在网站结构上，跟蜘蛛池关系不大。
还有一种情况，蜘蛛确实在抓内页，但抓取的都是一些无关紧要的页面——比如tag页、搜索页、翻页的第三第四页——重要的文章页一个没抓。这种就是你把蜘蛛的“抓取配额”浪费在垃圾页面上了，也很要命。
只有一种情况是蜘蛛池本身的问题：日志里蜘蛛确实来了，但来了一两次之后，就再也不来了。这可能是池子质量下降，或者池子链接被删了。如果不是这种情况，你得从下面几个环节动刀。
二、网站结构卡住了蜘蛛的脚
我去年帮人看一个旅游攻略站，蜘蛛池引蜘蛛的力度并不小，每天蜘蛛抓取量都在两三百次，但内页就是不收。我进后台一看，差点没气笑了。
那个站的文章页，从首页点进去，路径是这样的：首页 → 地区分类 → 城市列表 → 具体城市 → 景点列表 → 详细攻略。整整五层深。
更离谱的是，中间的“城市列表”页是图片导航，链接嵌在JS里，蜘蛛根本点不进去。等于说，蜘蛛到了第三层就死路了，后面的文章页一条路都没有。
我给做了三个改动，三天后内页开始批量抓取：
全站加了面包屑导航，每个内页都能一层一层往回爬，蜘蛛就不会困死在深层。
首页直接挂了一个“最新攻略”模块，最新发布的10篇文章标题带链接直接展示，相当于把内页从第五层拉到了第二层。
每篇文章底部加了相关推荐，三四条文字链接，让蜘蛛读完一篇能顺着爬到另一篇，抓取深度一下就上去了。
说白了，蜘蛛在你这儿爬得顺不顺，取决于你的站内链接织得密不密。内页链接如果全是孤岛，只靠sitemap推，那蜘蛛懒得去找。
三、蜘蛛池的链接落点，决定了抓取的起点
这一点和上一篇锚文本的内容是连着的，但我必须单独再强调一遍。
很多站长用蜘蛛池，所有链接全怼向首页。首页是收了，但蜘蛛爬完首页，发现首页上压根没有指向那些重要内页的链接，它就不往下走了。
正确的做法是：蜘蛛池里至少要有30%的链接，直接指向你希望收录的核心内页。
比如我做一个美食站，池子文章写到某道菜的做法，锚文本“鱼香肉丝正宗做法”，我就直接链到那篇鱼香肉丝的文章页，而不是链到首页。蜘蛛顺着池子链接进来，落地就是那个内页，当场抓取，收录效率比从首页慢慢爬高不知道多少倍。
这也顺便解决了一个问题：内页收录后，有排名了，还会反过来给首页贡献权重。一举两得。
四、主动给蜘蛛“递地图”
蜘蛛池是被动等蜘蛛顺着链接爬过来，但你可以主动出击，告诉百度“我哪些页面值得抓”。
两个最有效的动作，一定要做：
1. 新内页发布后，立刻手动推送
百度站长平台的API推送和手动提交，不要等到第二天。我自己的习惯是，文章发布后五分钟之内，必推。推完之后去看日志，最快的一次十五分钟蜘蛛就来抓那个页面了。
有人说蜘蛛池来了蜘蛛，就不用主动推了。错。主动推送是告诉百度这个URL的存在，蜘蛛池是让百度顺着链接发现这个URL，两条腿走路，效果叠加。
2. 死磕sitemap，但要“瘦身”
别把全站几万个URL都扔进一个sitemap里，百度对每个站点的sitemap抓取是有预算的。你把垃圾tag页、翻页全放进去，蜘蛛抓了一圈没抓到好东西，就烦了。
我现在的做法是，只建一个“精品sitemap”，里面放我真正想收录的文章页和栏目页，数量控制在1000条以内，每周更新一次。这个sitemap里的URL，收录率一直很高。
五、最容易被忽略的：内容让蜘蛛“白跑一趟”
这一点太扎心了，但必须说。
蜘蛛池给你把蜘蛛引来了，网站结构也顺了，链接落点也对了，蜘蛛哗哗抓内页，但就是不收录，site出来还是那几条。这个时候，你要检查页面本身了。
百度蜘蛛抓取一个页面，不代表它一定会把这个页面收进索引库。它抓回去之后，会有一个“入库筛选”的过程。如果你的内页内容全是拼凑的、同质化的、没有任何独特信息量的，蜘蛛抓是抓了，但转头就给扔了。
我之前有个站就是这个问题。蜘蛛每天抓一百多个内页，但收录的只有不到十个。我把被抓但没收的页面抽出来看了下，好家伙，全是伪原创工具洗出来的，读起来驴唇不对马嘴。后来狠心删了大半，重新手写了二十篇，收录率直接拉到七成以上。
宁可少发，别让蜘蛛池引来的蜘蛛，浪费在一堆低质页面上。每一次低质抓取，都是在消耗百度对你站的信任分。
六、一个实操小结，直接照着查
如果你的站蜘蛛来了但内页不收，按下面这个顺序排查，基本都能找到病根：
查日志，看蜘蛛是不是只爬首页和栏目页 → 是的话，改网站结构，加内链模块。
查蜘蛛池链接落点，是不是全指向首页 → 是的话，分出至少三成链接直接指向重要内页。
查sitemap和主动推送，有没有坚持做 → 没有的话，立刻补上。
查被抓不收录的内页，质量到底过不过关 → 低质页面直接删或者重写，别心疼。
查服务器响应速度，尤其是蜘蛛抓取高峰时段有没有变慢 → 慢的话，升级配置或者加缓存，蜘蛛没耐心等。
这五步走完，内页收录率上不去，你来找我。
我这两年帮人看过的站，十有八九是死在第二步和第四步——不是蜘蛛池没弄好，是自己没把内页当回事。蜘蛛是客人，你总得把屋里的路收拾干净，人家才愿意往里走。