织梦建的站，生成网站地图时有些栏目下的内容
- 编辑：admin -用织梦做的一个网站，今天更新网站地图时候发现链接每增加，之后用来爱站的地图工具以及小爬虫等在线生成工具，都无法抓取到那些内容，同一个栏目下的文章有些能抓取，有些却不能抓取，是怎么回事呢？
答：
1、一般实在存在的URL都会被抓取；
2、网站URL规划层级是否正确；
3、除了在线的在线生成地图网页版，可以用下“SiteMap X - 永久免费的网站地图制作工具”来抓取生成下看看能否抓取完整；
4、不能被抓取的页面，用百度站长抓取诊断看看能否被抓取，看看层级是否跟前面的一样，使用的在线工具是否有生成条数限制；
我也是织梦网站，用的是核心-频道模型-自由列表生成的Sitemap
目前一二级栏目、所有标签、所有详情页都是可以直接生成到Sitemap文件的、而且速度还贼快，比其他工具生成好多了
第三方工具一般抓取链接是要遍历页面链接，而一般情况下如果你更新了较多文章，就可能出现抓取深度和链路无法抓到的情况。
1：建议使用织梦网站地图插件来生成网站地图，这样会比较全面点。
2：如果栏目下文章较多使得网站地图文件超过10M的话，还可以使用自定义页面来分配栏目进行网站地图生成。
一般通过这两种方式可以解决无法生成链接的情况。
检查一下那些url 是不是有问题，出现这种问题一般都不需要做太多的操作的，抓取就抓取不到 只要能收录就行，不影响蜘蛛爬去就行
你会喜欢下面的文章? You'll like the following article.
