WordPress网站地图,也就是 Sitemap,是一个网站所有链接的容器;网站地图可以方便搜索引擎蜘蛛抓取网站页面,通过抓取网站页面,清晰了解网站的架构,网站地图一般存放在根目录下并命名为 Sitemap,为搜索引擎蜘蛛指路,增加网站重要内容页面的收录。网站地图就是根据网站的结构、框架、内容,生成的导航网页文件。大多数人都知道网站地图对于提高用户体验有好处:它们为网站访问者指明方向,并帮助迷失的访问者找到他们想看的页面。
Sitemap 网站地图有多种形式存在,包括HTML、TXT、XML。不同的格式,都有着不同的用途。通常情况下,普通用户在找不到自己需要的目标时,可以打开网站地图页面,这个就是HTML格式的网站地图。在对于爬虫等搜索引擎的时候,TXT、XML格式的网站地图文件就可以方便解析,以便获取里面的链接。
站点地图的优点:
- 为搜索引擎蜘蛛提供可以浏览整个网站的链接简单的体现出网站的整体框架出来给搜索引擎看;
- 为搜索引擎蜘蛛提供一些链接,指向动态页面或者采用其他方法比较难以到达的页面;
- 作为一种潜在的着陆页面,可以为搜索流量进行优化;
- 如果访问者试图访问网站所在域内并不存在的URL,那么这个访问者就会被转到“无法找到文件”的错误页面,而网站地图可以作为该页面的“准”内容。
我需要站点地图吗?
如果您网站上的网页链接得当,那么我们的网页抓取工具通常便能够发现其中的大多数网页。即便如此,站点地图仍更加有效地抓取网站,尤其是当网站符合以下某个条件时:
- 网站规模很大。 在这种情况下,Google网页抓取工具可能会在抓取时漏掉部分新网页或最近更新的网页。
- 网站有大量内容页归档,这些内容页之间互不关联或缺少有效链接。 如果您的网站网页没有自然地相互引用,那么您可以在站点地图中列出这些网页,以确保Google不会漏掉您的网页。
- 网站为新网站且指向该网站的外部链接不多。 Googlebot及其他网页抓取工具是通过跟踪网页之间的链接来抓取网页的。因此,如果没有其他网站链接到您的网页,Google可能不会发现您的网页。
- 您的网站使用富媒体内容(在Google新闻中显示),或使用其他与站点地图兼容的注释。在适当情况下,Google 能将站点地图中的其他信息纳入搜索范围。
创建站点地图
既然网站的站点地图如此重要,那么,如何才能创建一个好的,符合搜索引擎规则的站点地图呢?如果您是使用的WordPress搭建站点,这个问题就非常好解决了。一个简单插件就可以帮您完成所有事情了。
Google XML Sitemap Generator插件是一个专为WordPress网站针对搜索引擎生成站点地图的插件,使用这个插件可以极大地改进SEO,创建特殊的XML站点地图,这将有助于像谷歌、百度、搜狗、360、必应、雅虎和ask.com这样的搜索引擎更好地索引您的站点。有了这样的站点地图,爬虫更容易看到站点的完整结构并更有效地检索到它。该插件支持各种WordPress生成的页面以及自定义的URL。此外,每次创建关于新内容的文章时,它都会通知所有主要的搜索引擎。
Google XML Sitemap Generator 插件下载地址: https://wordpress.org/plugins/google-sitemap-generator/
提交站点地图
创建好站点地图后,我们就需要把它提交给各个搜索引擎,来让他们更好地抓取网站数据,从而获得更好的收录和排名。以Google为例:将站点地图提供给 Google,具体方法是:将其添加到 robots.txt 文件中,或者将其直接提交给 Search Console。
要将站点地图提供给 Google,您可以采用以下几种不同方法:
- 使用 Search Console 站点地图工具将其提交给 Google
- 将以下行插入到
robots.txt
文件中的任意位置,并指定指向站点地图的路径:Sitemap: http://example.com/sitemap_location.xml
- 使用“ping”功能要求我们抓取站点地图。发送如下所示的 HTTP GET 请求:
http://www.google.com/ping?sitemap=<complete_url_of_sitemap>
例如:http://www.google.com/ping?sitemap=https://example.com/sitemap.xml
Bing必应提交: http://www.bing.com/toolbox/webmaster
百度提交: http://zhanzhang.baidu.com/linksubmit/index
总结
一个网站的站点地图是必须的, Google、Yahoo、百度和微软都偏爱有站点地图的网站。站点地图给蜘蛛爬行构造了良好的通路, 我们在robots.txt里写上网站地图的地址,等于告诉爬虫先爬地图,网站地图里就会有很多其他页面,这样就给蜘蛛对我们网站的爬行创造了良好的通路,也就更利于爬虫对整个网站页面的抓取;同时, 点地图能够有效提升整站的收录率 , 搜索引擎爬虫顺着站点地图上的链接进行一个个的抓取就会提升整站的收录量 。
[…] 之前WPPOP已经详细介绍过WordPress站点地图功能,WordPress站点地图可以方便搜索引擎蜘蛛抓取网站页面,通过抓取网站页面,清晰了解网站的架构,网站地图一般存放在根目录下并命名为 Sitemap,为搜索引擎蜘蛛指路,增加网站重要内容页面的收录。除了为搜索引擎提供特定网站布局的索引外,站点地图还包括以下基本元数据: […]