重庆seo重庆seo  2018-11-09 23:30 来源:seo培训 显示边栏 |   抢沙发  15 
文章评分 0 次,平均分 0.0

为了你的网站可以被别人搜索到,搜索引擎爬虫,有时也称为搜索机器人(bots)或是搜索蜘蛛(spiders),会爬取你的网站,搜索有变动的内容并且重新更新搜索引擎的搜索检索。

如何用 robts.txt 这个功能去控制搜索蜘蛛

网站站长可以使用 robots.txt 这个文件,来指导搜索蜘蛛应该如何爬取这个网站,当搜索引擎爬取网站时,会先读取 robots.tx 文件,并且依照规则爬取网站。

※ robots.txt 规则虽然是重要的,但是搜索机器人不一定会遵守 robot.txt 规则,它只是一个执行方针。

※ 以 Google 而言,要设定 Crawl-delay,是必须在 Google 管理工具裡设定。

※ 对于浮滥爬取你的网站的劣质搜索蜘蛛,应该研究如何凭藉.htaccess 裡的 User-agent 去阻挡不好的搜索蜘蛛。

编辑与创建 robots.txt 文件

Robots.txt 文件是必须放在网站根目录裡,如果你的网址是 example.com 是可以读取到的。

image.png

网址位置:

http://example.com/robots.txt

服务器位置:

/home/userna5/public_html/robots.txt

如果没有这个功能的话,你可以使用纯文件功能建立一个新的 robots.txt 文件。

搜索引擎的使用者代理

以搜索引擎蜘蛛的 User-agent 来说,使用 robots.txt 文件来控制,是最普通的规范方式。

当搜索蜘蛛爬取网站时,他们会以使用者代理 User-agent 来识别、以下提供些参考范例

前三名美国最常发现的搜索引擎使用者代理:

Googlebot

Yahoo! Slurp

bingbot

最常被阻挡的搜索引擎使用者代理:

AhrefsBot

Baiduspider

Ezooms

MJ12bot

YandexBot

搜索引擎蜘蛛是会以 robots.txt 文件规则来抓取网站

robots.txt 文件有许多的规则,可以控制搜索蜘蛛如何爬取你得网站。

User-agent:可以具体指定哪一个 User-agent 是适用的,如*是万用搭配于全部的 User-agent。

Disallow:设定功能或是资料夹,不允许被搜索蜘蛛爬取。

设定全部搜索引擎延迟爬取

如果你的网站有 1000 页,搜索蜘蛛可能在几分钟内检索全部的网站,然而这有可能导致系统资源使用过度,在短时间内让全部的网页超过负荷,导致网页无法浏览。

延迟 30 秒的时间,将允许搜索蜘蛛在 8.3 小时内检索 1000 张网页。

延迟 500 秒的时间,将允许搜索蜘蛛在 5.8 天内检索 1000 张网页。

你也可以设定 Crawl-delay:所有的搜索蜘蛛立即搜索。

User-agent: *

Crawl-delay: 30

允许搜索蜘蛛爬取全部网站

在预设空白情况下,搜索引擎蜘蛛还是会爬取你的网站,不过你还是可以指定它是允许的。

User-agent: *

Disallow:

不允许搜索蜘蛛爬取全部网站

User-agent: *

Disallow: /

不允许搜索蜘蛛爬取特定一个网站

你可以运用这些规则,不允许特定的搜索引擎蜘蛛爬取你的网站。

User-agent: Baiduspider

Disallow: /

不允许全部搜索蜘蛛爬取特定的功能

如果有些功能如 contactus.htm, index.htm, 或是 store.htm 我们不想要搜索蜘蛛爬取,我可以使用:

User-agent: *

Disallow: /contactus.htm

Disallow: /index.htm

Disallow: /store.htm

除了指定的以外,不允许全部搜索蜘蛛爬取

如果我们只想让 Googlebot 爬取我们的/private/目录,但是不允许其他搜索蜘蛛爬取,我们可以这样使用:

User-agent: *

Disallow: /

User-agent: Googlebot

Disallow: /private/

当 Googlebot 读取我的 robots.txt 文件时,会去理解文件内容,不会禁止全部目录的爬取。

如果想只想要一网页部被抓取检索请参考(使用标签来阻挡搜索蜘蛛检索网页)

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

重庆seo
重庆seo 关注:0    粉丝:0
这个人很懒,什么都没写

发表评论

表情 贴图 链接 私密 格式 签到

切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

切换登录

注册

您也可以使用第三方帐号一键快捷注册

扫一扫二维码分享