在爬虫爬行的方式中，sitemap文件又是极其重要的一种指引方式，一个良好的sitemap文件可以最大化的利用爬虫有限的抓取频次，从而将站点最重要的页面提交给爬虫，从而确保站点内容索引的及时更新。
那么如何对sitemap进行配置呢？开始之前需要先同步一个信息，那就是自从2020年7月开始百度发布公示明确不再支持索引型sitemap文件提交方式。如下图
但如果逐条提交又会十分耗时并且耗费研发资源，因此建议采用目录索引形式。具体配置如下：
1.sitemap文件格式要求如下：
2.具体参数说明：
3.明确页面优先级
需要根据业务需求及页面重要性进行优先级配置，从而保证重要页面能够优先收录更新。
完成上述步骤之后，还需要在robots.txt文件里添加对应的sitemap文件地址即可。
当然，配置完成发布上线后别忘了进行排查，并跟进下站长平台反馈的提交数据。