行业新闻
如何制作网站地图让蜘蛛抓取(新手sitemap地图生成方法)
2022-03-27 10:33  浏览:1

网站地图作为根据网站的结构,框架,内容生成的导航网页文件。

大多数人都知道网站地图对于提高用户体验有好处:它们为网站访问者指明方向,并帮助迷失的访问者找到他们想看的页面。

那么什么是网站地图呢?

在开始介绍网站地图的制作与提交之前,我们有必要先了解一下什么是网站地图。

网站地图也就是sitemap,是一个网站所有链接的容器。很多网站的链接层次比较深,蜘蛛是很难抓取到的,网站地图可以方便搜索引擎蜘蛛抓取网站页面,通过抓取网站页面,可以清晰的了解网站的架构。网站地图一般存放在根目录下并命名为sitemap,为搜索引擎蜘蛛引路,增加网站重要内容页面的收录。

网站地图的作用:

1.为搜索引擎蜘蛛提供可以浏览整个网站的链接,简单的体现出网站的整体框架。

2.为搜索引擎蜘蛛提供一些链接,指向动态页面或者采用其他方法比较难以到达的页面。

3.作为一种潜在的着陆页,可以对搜索流量进行优化。

4.如果访问者试图访问网站所在域内并不存在的URL,那么这个访问者就会被转到“无法找到文件”的错误页面,而网站地图可以作为该页面的“准”内容。

HTML版本的网站地图

html版本的网站地图就是用户可以在网站上看到的,列出网站上所有主要页面的链接的页面。对于小型网站来说,甚至可以列出整个网站的所有的页面。而对于具有一定规模的网站来说,一个网站地图不可能罗列所有的页面链接,可以采用两种方法解决:

第一种就是网站地图只列出网站最主要的链接,如一级分类,二级分类。

第二种方法是将网站地图分成几个文件,主网站地图列出通往那次级网站的链接,刺激网站地图在列出一部分页面链接。

XML本的网站地图

XML版本的网站地图是由goole首先提出的,怎么区分呢?上面所说的HTML版本中的sitemap首字母s是小字写的,XML版本中的S则是大写的。XML版本的网站地图是由XML标签组成的,文件本身必须UTF-8编码,网站地图文件实际上就是列出网站需要被收录的页面的URL。最简单的网站地图可以是一个纯文本文件,文件只要列出页面的URL,一行一个URL,搜索引擎就能抓取并理解文件内容。

网站地图的制作方法

网上有很多网站地图的生成方法,比如说在线生成,软件生成等。这里小编推荐使用小爬虫网站地图生成工具:http://www.sitemap-xml.org。使用方法如下:

1)输入域名,选择网站对应的编码,点击“生成”按钮(建议使用搜狗浏览器或者google浏览器)如图所示:

2)等待小爬虫爬行网站,爬行时间根据网站内容多少和服务器访问速度不定,如果数据较多,则建议晚上10点以后操作,

3)下载sitemap.xml或者sitemap.html文件,上传到网站根目录,在首页做链接,如图所示:

需要说明一下sitemap.xml和sitemap.html文件的区别:

sitemap.xml文件的创建是为了更有利于搜索引擎的抓取,从而提高工作效率,生成sitemap.xml文件后将其链接放入robort.txt文件内。提示:

良好的robort.txt协议可以指引搜索引擎抓取方向,节省蜘蛛抓取时间,所以无形中提升了蜘蛛的工作效率,也就增大了页面被抓取的可能性。

将sitemap.xml和robort.txt文件放在网站的根目录下。

sitemap.html格式的网站地图主要是用来方便用户的浏览,并不能起到XMLSitemap所起的作用。所以最好两者都要有。

4)登录百度站长平台,点击“链接提交”,填写sitemap.xml对应的URL地址,如图所示:

提交完后,百度搜索引擎蜘蛛会对我们的网站进行抓取。大量案例证明,添加网站能加速网站内容收录速度,提升网站收录率。但是这要建立在网站内容质量符合搜索引擎标准的基础上,如果网站内容质量太差,则使用网站地图也是无济于事的。以上就是制作提交网站地图的一些分享,也是基础中的基础,希望对新手有用。