肆合互動,團(tuán)隊始于2008,為您提供可信任的一站式網(wǎng)站制作和網(wǎng)絡(luò)推廣優(yōu)化服務(wù)!
028-85756675
網(wǎng)站地圖

新聞資訊

為您提供網(wǎng)站建設(shè)資訊、網(wǎng)站優(yōu)化知識、主機(jī)域名郵箱、
關(guān)鍵詞排名、網(wǎng)站開發(fā)常見問題等。

百度抓取失敗案例分析

發(fā)表日期:2017/04/23 來源:肆合互動 咨詢電話:028-85756675

  www.w333.com該網(wǎng)站的快照收錄一直存在問題,收錄頁面持續(xù)減少,而且還會出現(xiàn)一些泛解析域名存在,目前泛解析快照已經(jīng)刪除,經(jīng)過和客戶溝通,該網(wǎng)站曾經(jīng)被使用過泛解析,那么現(xiàn)在不使用泛解析了,怎么還會出現(xiàn)泛解析的快照呢?由于百度收錄的快照存在回檔現(xiàn)象,往往造成快照回檔的原因是該網(wǎng)站觸動了百度某些機(jī)制,成都seo發(fā)現(xiàn)百度搜索引擎最忌誰的10條規(guī)則

  1、網(wǎng)站空間不穩(wěn)定、網(wǎng)站經(jīng)常無法訪問、網(wǎng)站運行很慢的,搜索引擎不愿意關(guān)注和抓取快照,因為會導(dǎo)致快照更新不及時!一定要保證網(wǎng)站能正常打開、空間穩(wěn)定是優(yōu)化的基礎(chǔ);

  2、網(wǎng)站被百度收錄后更改網(wǎng)站標(biāo)題、網(wǎng)站描述、網(wǎng)站關(guān)鍵字導(dǎo)致實際頁面的TDK和百度收錄頁面的TDK標(biāo)簽不一致,從而產(chǎn)生快照異常的站!關(guān)鍵詞排名99%的會消失、快照回檔、收錄減少、快照評級降低等現(xiàn)象

  3、關(guān)鍵詞堆砌的網(wǎng)站,搜索引擎對其不友好,標(biāo)題、描述、關(guān)鍵詞一定要圍繞網(wǎng)站主題和網(wǎng)站內(nèi)容友好的表述,生硬堆砌關(guān)鍵詞的網(wǎng)站不被百度喜歡!

  4、優(yōu)化的關(guān)鍵詞必須要和網(wǎng)站主題內(nèi)容相符(如果不符合相關(guān)性即便優(yōu)化上去也會很快掉下來)

  5、切忌不要將多個域名綁定到同一個網(wǎng)站,不要將多個URL重復(fù)指向同一個內(nèi)容頁,更不要克隆網(wǎng)站使用收錄過的內(nèi)容,克隆是最忌諱的。百度容易判斷這種行為為作弊行為;

  6、切記不可和其它刷量軟件一起使用,容易出問題(流量軟件本身使用的是虛擬IP或代理IP等,并非真實IP)

  7、切記不要購買外鏈、購買友鏈,目前百度已經(jīng)推出相應(yīng)的算法,可判斷是否購買的外鏈和友鏈,一旦認(rèn)定后網(wǎng)站將萬劫不復(fù);

  8、原創(chuàng)內(nèi)容、高質(zhì)量外鏈、高質(zhì)量友鏈交換是關(guān)鍵詞排名出現(xiàn)的前提。所以不要內(nèi)容采集、大量copy內(nèi)容、還有所謂的偽原創(chuàng)軟件生成的內(nèi)容;內(nèi)容一定要具備結(jié)構(gòu)清晰、可讀性強;

  9、泛域名站群或IP+端口的泛站群網(wǎng)站不被百度喜歡,2013年4月之前,泛站群在百度排名里效果非常好,是因為百度有一個排名漏洞,如今百度已經(jīng)修補了漏洞,建議大家不要再做泛站群優(yōu)化了!百度搜索結(jié)果霸屏?xí)r代已經(jīng)終結(jié)了;

  10、違反國家政策、欺詐、釣魚等網(wǎng)站不被百度喜歡。目前百度已成立百度聯(lián)盟,針對違反國家政策、賭博、槍支彈藥、淫穢色情、釣魚網(wǎng)站進(jìn)行大力度屏蔽和調(diào)整!那么學(xué)習(xí)SEO最重要的是:科學(xué)的操作方法,以搜索引擎和用戶體驗為基礎(chǔ),遵從自然操作,不要欺騙搜索引擎和來訪用戶,只要大家堅持不懈3月內(nèi)就可以成為一個真正的seoER了。

  后續(xù)我們會結(jié)合實際操作與案例分析進(jìn)行技巧層面的提升,希望大家用實踐去立理解SEO的真諦,云優(yōu)化:讓營銷更精準(zhǔn)有效...百度針對w333.com抓取頻率在下降,是什么原因?qū)е碌淖ト☆l率持續(xù)下降呢?

  其實原因很簡單,因為百度抓取該網(wǎng)站時持續(xù)獲取失敗,頻繁抓取失敗導(dǎo)致百度蜘蛛逐漸將抓取的頻率降低,如果該問題不解決,會影響該網(wǎng)站的評級。

  為了能能徹底解決收錄和更新不正常問題,我們對該域名DNS進(jìn)行了檢查與修改,首先查看域名狀態(tài):首先發(fā)主域名www使用了cname進(jìn)行的解析,5298.xxaacc.com 我們第一步想到的是將cname解析換成A記錄解析,為什么這操作呢?首先根據(jù)百度官方解析,網(wǎng)站抓取失敗有可能是服務(wù)器環(huán)境配置禁止了百度抓取,也有可能cname做了相應(yīng)設(shè)置,為了減少服務(wù)器壓力,由于我們無法更改服務(wù)器環(huán)境,我們有限更改為A記錄,然后進(jìn)行觀察和分析。修改后的A記錄為修改后我們再對網(wǎng)站進(jìn)行了一些對應(yīng)調(diào)整,讓后我們待百度抓取時觀察一下抓取日志分析我們從排名數(shù)量及變化也能看到:網(wǎng)站的排名逐漸下降

  我們給網(wǎng)站做一個sitemap.xml地圖提交到百度站長工具,進(jìn)行手動更新我們看一下百度抓取的錯誤提示:如下圖我們再檢查一下該網(wǎng)站的IP經(jīng)過對比發(fā)現(xiàn)百度抓取到的IP地址和網(wǎng)站實際的IP的不符,我們直接在抓取診斷-錯誤說明里-提交給百度

  經(jīng)過以上改進(jìn),目前百度抓取已經(jīng)恢復(fù)正常,后續(xù)就要看百度快照更新的狀況了

  以下是百度官方給出的抓取失敗的原因:

  【url規(guī)范】

  百度支持抓取的url長度不超過1024,如果您的鏈接長度過長,請在保證正常訪問的情況下,適當(dāng)精簡,保證鏈接能被百度正常抓取和收錄。

  【重定向錯誤】

  重定向是指百度spider訪問鏈接時發(fā)生了跳轉(zhuǎn),如果跳轉(zhuǎn)后的鏈接超長或者連續(xù)跳轉(zhuǎn)的次數(shù)超過5次,就會發(fā)生重定向錯誤而導(dǎo)致抓取失敗。

  【服務(wù)器連接錯誤】

  這種情況是指,由于服務(wù)器響應(yīng)過慢或您的網(wǎng)站屏蔽了百度spider,而導(dǎo)致百度無法訪問您的網(wǎng)站。從而會導(dǎo)致百度無法正常收錄或者更新您網(wǎng)站的內(nèi)容。您可能看到以下具體錯誤:連接超時、連接失敗、連接被拒、無響應(yīng)、響應(yīng)遭到截斷、連接重置、標(biāo)頭遭到截斷、超時。*如何處理服務(wù)器連接錯誤?減少動態(tài)網(wǎng)頁請求的過多網(wǎng)頁加載。如果網(wǎng)站為多個網(wǎng)址提供相同內(nèi)容,則會被視為動態(tài)提供內(nèi)容(例如,www.example.com/shoes.php?color=red&size=7與www.example.com/shoes.php?size=7&color=red提供的內(nèi)容相同)。

  動態(tài)網(wǎng)頁的響應(yīng)時間可能會很長,并會因此導(dǎo)致超時問題。或者,服務(wù)器可能會返回超載狀態(tài),要求百度spider放慢抓取該網(wǎng)站的速度。一般來說,建議您盡量使用簡短的參數(shù)并謹(jǐn)慎使用。確保您網(wǎng)站的托管服務(wù)器沒有停止運行、超載或配置不當(dāng)。如果連接問題、超時問題或響應(yīng)問題仍然存在,請與您的網(wǎng)站托管服務(wù)提供商聯(lián)系,并考慮增強您的網(wǎng)站處理流量的能力。檢查網(wǎng)站是否不小心屏蔽了百度spider的IP。您可能會由于系統(tǒng)級問題而阻止了百度訪問,例如DNS配置問題、配置不當(dāng)?shù)姆阑饓駾oS防護(hù)系統(tǒng)、內(nèi)容管理系統(tǒng)配置問題。防御系統(tǒng)是保證托管服務(wù)正常運行的關(guān)鍵因素之一,并且這些系統(tǒng)通常會配置為自動阻止超量的服務(wù)器請求。由于百度spider發(fā)出的請求通常要比普通用戶多,因此可能會觸發(fā)這些防御系統(tǒng),導(dǎo)致它們阻止百度spider訪問并抓取您的網(wǎng)站。要解決此類問題,您需要確定網(wǎng)站基礎(chǔ)架構(gòu)中的哪個部分在阻止百度spider,然后取消該阻止。如果您沒有控制防火墻的權(quán)限,就需要與您的托管服務(wù)提供商聯(lián)系解決此問題。

  【robots封禁問題】

  在抓取診斷工具中如果返回的抓取失敗結(jié)論是robots封禁,請確認(rèn)您是否對該網(wǎng)址設(shè)置了robots,阻止百度spider抓取網(wǎng)站的某些內(nèi)容,如果您未使用robots文件屏蔽百度,請點擊旁邊的報錯鏈接,百度會立即更新您站點的robots信息;如果是您的誤操作導(dǎo)致了封禁,請及時修改robots文件,避免造成您的網(wǎng)站在百度收錄量和流量的下降。

  【DNS問題】

  DNS錯誤是指由于服務(wù)器停止運行或DNS到您網(wǎng)域的路由存在問題,導(dǎo)致百度spider無法與DNS服務(wù)器通信。*如何處理DNS錯誤?確保百度能夠抓取您的網(wǎng)站。對重要網(wǎng)頁(例如您的首頁)采用抓取診斷工具,如果它能順利返回您的首頁內(nèi)容,那么您就可以認(rèn)為百度能夠正常訪問您的網(wǎng)站。對于持續(xù)的或反復(fù)出現(xiàn)的DNS錯誤,請與您的DNS提供商聯(lián)系。通常情況下,您的DNS提供商即為網(wǎng)站托管服務(wù)提供商。配置您的服務(wù)器,使其能夠以404或500等HTTP錯誤代碼對不存在的主機(jī)名作出響應(yīng)。

  【404錯誤】

  一般情況下,當(dāng)百度spider訪問到不存在的網(wǎng)頁(因為您刪除或重命名了網(wǎng)頁且沒有將舊網(wǎng)址重定向到新網(wǎng)頁,或者鏈接中存在拼寫錯誤)時,就會出現(xiàn)“未找到”狀態(tài)錯誤(通常是404 HTTP狀態(tài)代碼)。

  【訪問遭拒絕】

  一般情況下,百度會通過跟蹤網(wǎng)頁間的鏈接來查找內(nèi)容。百度spider必須能夠訪問某個網(wǎng)頁才能抓取該網(wǎng)頁。如果您意外地看到了“訪問遭拒”錯誤,可能是由于以下幾種原因?qū)е碌模?/p>

  (1)百度spider無法訪問您網(wǎng)站上的網(wǎng)址,因為您網(wǎng)站上的所有或部分內(nèi)容要求用戶登錄后才能查看。

  (2)您的服務(wù)器要求用戶使用代理進(jìn)行身份驗證,或者您的托管服務(wù)提供商阻止百度spider訪問您的網(wǎng)站。

  【參數(shù)錯誤】

  由于請求的語法格式有誤,不符合服務(wù)器對請求的某些限制,或者請求本身存在一定的錯誤,服務(wù)器無法理解此請求,導(dǎo)致抓取失敗。

  【socket讀寫錯誤】

  當(dāng)百度spider訪問服務(wù)器,進(jìn)行tcp通信的時候,socket讀寫發(fā)生異常,導(dǎo)致數(shù)據(jù)不能正常返回。請檢查服務(wù)器連接狀況和防火墻設(shè)置是否符合預(yù)期。

  【讀取http頭或者頁面內(nèi)容時失敗】

  您的服務(wù)器收到了我們的完整請求,但是返回信息時不完整,http頭或者響應(yīng)正文發(fā)生了截斷,導(dǎo)致網(wǎng)頁內(nèi)容不能正常讀取。

相關(guān)案例
更多案例>
ARE YOU
INTERESTED
IN?
感興趣嗎?

網(wǎng)站建設(shè)及推廣咨詢電話

028-85756675
15308030114

成都市天府新區(qū)華府大道1號藍(lán)潤置地廣場T3公寓806室

7x24 小時專業(yè)服務(wù)
專業(yè)備案全程跟進(jìn)
承諾做不到退款
快速建站SEO友好

填寫網(wǎng)站建設(shè)及SEO優(yōu)化排名需求

*請認(rèn)真填寫需求信息,24小時內(nèi)與您取得聯(lián)系。
在線咨詢
電話咨詢

立即咨詢

028-85756675
微信咨詢
微信二維碼
QQ咨詢
返回頂部