肆合互動,團(tuán)隊始于2008,為您提供可信任的一站式網(wǎng)站制作和網(wǎng)絡(luò)推廣優(yōu)化服務(wù)!
028-85756675
網(wǎng)站地圖

新聞資訊

為您提供網(wǎng)站建設(shè)資訊、網(wǎng)站優(yōu)化知識、主機(jī)域名郵箱、
關(guān)鍵詞排名、網(wǎng)站開發(fā)常見問題等。

Robots協(xié)議的寫法?那么怎么屏蔽該文件呢?

發(fā)表日期:2018/08/03 來源:肆合互動 咨詢電話:028-85756675

  Robots.txt協(xié)議是我們做優(yōu)化最基礎(chǔ)的首要步驟,對于我們來講網(wǎng)站的內(nèi)容屬于個人私密文件,不想暴露在搜索引擎中。所以成都seo小編給大家講講robot.txt協(xié)議的作用是為了解決這兩個問題。

  一、什么是robots.txt?

  robots.txt 是網(wǎng)站和搜索引擎的協(xié)議的純文本文件。當(dāng)一個搜索引擎蜘蛛來訪問站點時,它首先爬行來檢查該站點根目錄下是否存在robots.txt,

  如果存在,根據(jù)文件內(nèi)容來確定訪問范圍,如果沒有,蜘蛛就沿著鏈接抓取。robots.txt 放在項目的根目錄下。

  二、 robots.txt基本語法:

  1) 、允許所有搜索引擎訪問網(wǎng)站的所有部分

  robots.txt寫法如下:

  User-agent: *

  Disallow:

  或者

  User-agent: *

  Allow: /

  注意: 1. 第一個英文要大寫,冒號是英文狀態(tài)下,冒號后面有一個空格,這幾點一定不能寫錯。

  2) 、禁止所有搜索引擎訪問網(wǎng)站的所有部分

  robots.txt寫法如下:

  User-agent: *

  Disallow: /

  3) 、只需要禁止蜘蛛訪問某個目錄,比如禁止admin、css、images等目錄被索引

  robots.txt寫法如下:

  User-agent: *

  Disallow: /css/

  Disallow: /admin/

  Disallow: /images/

  注意:路徑后面有斜杠和沒有斜杠的區(qū)別:比如Disallow: /images/ 有斜杠是禁止抓取images整個文件夾,Disallow: /images 沒有斜杠意思是凡是路徑里面有/images關(guān)鍵詞的都會被屏蔽

  4)、屏蔽一個文件夾/templets,但是又能抓取其中一個文件的寫法:/templets/main

  robots.txt寫法如下:

  User-agent: *

  Disallow: /templets

  Allow: /main

  5)、 禁止訪問/html/目錄下的所有以”.php”為后綴的URL(包含子目錄)

  robots.txt寫法如下:

  User-agent: *

  Disallow: /html/*.php

  6)、 僅允許訪問某目錄下某個后綴的文件,則使用“$”

  robots.txt寫法如下:

  User-agent: *

  Allow: .html$

  Disallow: /

  7)、禁止索引網(wǎng)站中所有的動態(tài)頁面

  比如這里限制的是有“?”的域名,例如index.php?id=1

  robots.txt寫法如下:

  User-agent: *

  Disallow: /*?*

  8)、 禁止搜索引擎抓取我們網(wǎng)站上的所有圖片(如果你的網(wǎng)站使用其他后綴的圖片名稱,在這里也可以直接添加)

  有些時候,我們?yōu)榱斯?jié)省服務(wù)器資源,需要禁止各類搜索引擎來索引我們網(wǎng)站上的圖片,這里的辦法除了使用“Disallow: /images/”這樣的直接屏蔽文件夾的方式之外,還 可以采取直接屏蔽圖片后綴名的方式。

  robots.txt寫法如下:

  User-agent: *

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  三、寫robots.txt要注意的地方:

  1)、 第一個英文要大寫,冒號是英文狀態(tài)下,冒號后面有一個空格,這幾點一定不能寫錯。

  2.)、斜杠:/ 代表整個網(wǎng)站

  3)、如果“/”后面多了一個空格,則屏蔽整個網(wǎng)站

  4)、不要禁止正常的內(nèi)容

  5)、生效時間是幾天到兩個月

  四、robots.txt文件對網(wǎng)站優(yōu)化有什么作用?1、疾速增加網(wǎng)站權(quán)重和拜訪量;

  2、制止某些文件被查找引擎索引,能夠節(jié)約服務(wù)器帶寬和網(wǎng)站拜訪速度;

  3、為查找引擎供給一個簡潔明了的索引環(huán)境

  五、哪些網(wǎng)站的目錄需求運用robots.txt文件制止抓取?

  1)、圖像目錄

  圖像是構(gòu)成網(wǎng)站的首要組成元素。跟著現(xiàn)在建站越來越便利,許多cms的呈現(xiàn),真實做到了會打字就會建網(wǎng)站,而正是由于如此便利,網(wǎng)上呈現(xiàn)了許多的同質(zhì)化模板網(wǎng)站,被重復(fù)運用,這樣的網(wǎng)站查找引擎是必定不喜愛的,就算是你的網(wǎng)站被錄入了,那你的作用也是很差的。若是你非要用這種網(wǎng)站的話,主張你大概在robots.txt文件中進(jìn)行屏蔽,一般的網(wǎng)站圖像目錄是:imags 或許 img;

  2)、網(wǎng)站模板目錄

  cms的強大和靈敏,也致使了許多同質(zhì)化的網(wǎng)站模板的呈現(xiàn)和亂用,高度的重復(fù)性模板在查找引擎中形成了一種冗余,且模板文件常常與生成文件高度類似,相同易形成相同內(nèi)容的呈現(xiàn)。對查找引擎很不友愛,嚴(yán)峻的直接被查找引擎打入冷宮,不得翻身,許多cms有具有獨立的模板寄存目錄,因而,大概進(jìn)行模板目錄的屏蔽。一般模板目錄的文件目錄是:templets

  3)、css、js目錄的屏蔽

  css目錄文件在查找引擎的抓取中沒有用途,也無法供給有價值的信息。所以強烈主張在robots.txt文件中將其進(jìn)行屏蔽,以進(jìn)步查找引擎的索引質(zhì)量。為查找引擎供給一個簡潔明了的索引環(huán)境更易晉升網(wǎng)站友愛性。css款式的目錄一般情況下是:css 或許 style,

  js文件在查找引擎中無法進(jìn)行辨認(rèn),這里僅僅主張,能夠?qū)ζ溥M(jìn)行屏蔽,這樣做也有一個優(yōu)點:為查找引擎供給一個簡潔明了的索引環(huán)境;

  4)、屏蔽雙頁面的內(nèi)容

  這里拿dedecms來舉例吧。dedecms能夠運用靜態(tài)和動態(tài)url進(jìn)行同一篇內(nèi)容的拜訪,若是你生成全站靜態(tài)了,那你有必要屏蔽動態(tài)地址的url連接。

  這里有兩個優(yōu)點:

  ①、查找引擎對靜態(tài)的url比動態(tài)的url更友愛、更簡單錄入;

 ?、?、避免靜態(tài)、動態(tài)url能拜訪同一篇文章而被查找引擎判為重復(fù)內(nèi)容。這樣做對查找引擎友愛性來說是有益無害的。

  5)、模板緩存目錄

  許多cms程序都有緩存目錄,這種緩存目錄的優(yōu)點我想不用說我們也明白了吧,能夠十分有用的晉升網(wǎng)站的拜訪速度,削減網(wǎng)站帶寬,對用戶體會也是極好的。不過,這樣的緩存目錄也有必定的缺陷,那就是會讓查找引擎進(jìn)行重復(fù)的抓取,一個網(wǎng)站中內(nèi)容重復(fù)也是大祭,對網(wǎng)站百害而無一利。許多運用cms建站的兄弟都沒有注意到,有必要要導(dǎo)致注重。

  6)、被刪去的目錄

  死鏈過多,對查找引擎優(yōu)化來說,是喪命的。不能不導(dǎo)致站長的高度注重,。在網(wǎng)站的開展過程中,目錄的刪去和調(diào)整是不可避免的,若是你的網(wǎng)站當(dāng)時目錄不存在了,那有必要對此目錄進(jìn)行robots屏蔽,并回來正確的404過錯頁面。

  這里有一個爭議性的疑問,關(guān)于網(wǎng)站后臺辦理目錄是不是需求進(jìn)行屏蔽,其實這個可有可無。在能確保網(wǎng)站安全的情況下,若是你的網(wǎng)站運營規(guī)劃較小,就算網(wǎng)站目錄呈現(xiàn)在robots.txt文件中,也沒有多大疑問,這個我也見過許多網(wǎng)站這樣設(shè)置的;但若是你的網(wǎng)站運營規(guī)劃較大,對手過多,強烈主張千萬別呈現(xiàn)網(wǎng)站后臺管理目錄的信息,以防被心懷叵測的人使用,危害你的利益;引擎越來越智能,關(guān)于網(wǎng)站的管理目錄仍是能極好的辨認(rèn),并拋棄索引的。別的,我們在做網(wǎng)站后臺的時分,也能夠在頁面元標(biāo)簽中增加:進(jìn)行查找引擎的屏蔽抓取。

相關(guān)案例
更多案例>
ARE YOU
INTERESTED
IN?
感興趣嗎?

網(wǎng)站建設(shè)及推廣咨詢電話

028-85756675
15308030114

成都市天府新區(qū)華府大道1號藍(lán)潤置地廣場T3公寓806室

7x24 小時專業(yè)服務(wù)
專業(yè)備案全程跟進(jìn)
承諾做不到退款
快速建站SEO友好

填寫網(wǎng)站建設(shè)及SEO優(yōu)化排名需求

*請認(rèn)真填寫需求信息,24小時內(nèi)與您取得聯(lián)系。
在線咨詢
電話咨詢

立即咨詢

028-85756675
微信咨詢
微信二維碼
QQ咨詢
返回頂部