新手站長在網(wǎng)站建造的時分，由于一些操作，導(dǎo)致正常的網(wǎng)站無法被搜索引擎爬蟲拜訪，進而使搜索引擎認(rèn)為該頁面是死鏈接。除了頁面無法翻開，一下的幾個點都能夠?qū)е戮W(wǎng)站死鏈的發(fā)生。

減少死鏈的發(fā)生，是從事SEO工作工作者必修課。

HTTP/HTTPS設(shè)置不妥引起死鏈

問題場景：

1.HTTP可拜訪 ，HTTPS不行拜訪

2.HTTP不行拜訪 ，HTTPS可拜訪

主張：

整站行為共同，保證一切的URL正常拜訪，另外百度方面不主張HTTP與HTTPS共生。

封禁引起死鏈

問題場景：

1.用戶能夠正常拜訪，爬蟲不能。（爬蟲抓取的是過錯的頁面）

一些網(wǎng)站由于特殊性，導(dǎo)致用戶能夠正常拜訪，可是當(dāng)爬蟲拜訪時，卻回來一個過錯的頁面。

2.PC端可拜訪，搜索引擎APP不能拜訪

搜索引擎爬蟲能夠拜訪PC端頁面，可是不能拜訪APP。這個APP拜訪，暗指是支撐APP內(nèi)拜訪的一個剖析，來作為一個歸納評估參閱。所以，不屏蔽百度APP對網(wǎng)站的拜訪。

3.DNS封禁

有些特定的DNS服務(wù)商會封禁搜索引擎爬蟲來抓取域名的內(nèi)容。這種在少量，究竟現(xiàn)在干流域名廠商，現(xiàn)已干流的DNS廠商都沒有做DNS封禁。

4.服務(wù)器站點策略封禁

有些服務(wù)器自帶的安全策略會屏蔽百度蜘蛛的抓取，這種狀況會發(fā)生死鏈（網(wǎng)頁URL鏈接，可是無內(nèi)容）。當(dāng)這種狀況在整個網(wǎng)站呈現(xiàn)，會導(dǎo)致搜索引擎判斷網(wǎng)站為一個劣質(zhì)網(wǎng)站。會被降權(quán)。

主張：

合理的運用站長資源工具，來診斷站點是否能正常抓取

辨認(rèn)百度爬蟲（雙向DNS解析認(rèn)證）免除封禁

對spider不揭露內(nèi)容設(shè)置robots協(xié)議封禁/設(shè)置死鏈，導(dǎo)致回來404

不主張運用額外的技術(shù)手段封禁百度爬蟲。

對百度APP能夠拜訪

DNS改變引起死鏈

問題場景：

站點更新DNS解析，將域名的IP改變，IP1變?yōu)镮P2，中心有時間差。

當(dāng)站點的替換域名解析的IP后，由于有些DNS并不能做到當(dāng)即呼應(yīng)解析（一般為24小時）。咱們拿24小時為例，中心有曾時間差，導(dǎo)致搜索引擎蜘蛛無法抓取，會評定為死鏈。

這個時分能夠預(yù)留4-5天的緩存期，讓爬蟲來更新這個DNS

主張：

替換DNS后，運用站長資源渠道工具來抓取測驗，檢查網(wǎng)站是否能正常抓取。

不主張頻繁替換DNS的IP，如必須改變請，給爬蟲抓取預(yù)留緩沖時間。