wordpress seo之robots.txt

2010年04月21日13:11:40 1 热度2,261 ℃

在继续说明如何采用实际方法进行WordPress的SEO优化前,我插入了这一篇:robots.txt

什么是robots.txt?其实它只是一个放在网站根目录内,并且记了些文字的文本文件罢了。但它是如何在网站的SEO优化中起到作用的呢?简单的说就是,搜索引擎会根据robots.txt的内容“按规操作”。哪些内容应该搜索,哪些内容不应该搜索,全部都由robots.txt来指挥。

那我们应该如何设置robots.txt的内容呢?以下是我自己的设定,适合WordPress使用的:

User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /z/j/
Disallow: /z/c/
Disallow: /stats/
Disallow: /dh_
Disallow: /about/
Disallow: /contact/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /contact
Disallow: /manual
Disallow: /manual/*
Disallow: /phpmanual/
Disallow: /category/
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: */feed*
Disallow: */trackback

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# disallow all files with ? in url
Disallow: /*?*

# disable duggmirror
User-agent: duggmirror
Disallow: /
# allow google image bot to search all images
User-agent: Googlebot-Image
Disallow:
Allow: /*

# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

你可以把它复制,然后另存为robots.txt并放在你的WordPress根目录下就行了。

请注意下面的一句:

# disallow all files with ? in url
Disallow: /*?*

上面的那句是让搜索引擎不去搜索所有带“?”的网址。如果你的WordPress的链接形式是默认的那一种:yourweb.com/?pxx的形式的话,请把它删掉。

这样,搜索引擎在搜索我们的网站时才会显得更有效率,避免了浪费时间什么的去搜索一些无意义的目录,如是wp-admin/这一类目录。我们也能通过robots.txt更好的让自己的网站被收录。所以,如果你的WordPress还没有robots.txt,赶快设置一个吧!

本文最后更新于:2019-12-30 14:51
瓜皮猪

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:1   其中:访客  0   博主  0

    • 漠阳子SEO 漠阳子SEO 1

      回访!学习!加油!