如何打造符合搜索引擎抓取的網(wǎng)站制作？

企業(yè)營銷型網(wǎng)站符合搜索引擎規(guī)則的話就需要從網(wǎng)站的站點(diǎn)結(jié)構(gòu)，網(wǎng)站頁面機(jī)構(gòu)去出發(fā)，同時(shí)還要做好網(wǎng)站的一些設(shè)置，比如我們最為熟悉的401，301設(shè)置等，還有最常見的屏蔽百度蜘蛛抓取的是robots屏蔽設(shè)置都是需要去好好處理的。那么具體如何打造符合搜索引擎抓取的網(wǎng)站制作？

1、邏輯清晰的鏈接層次結(jié)構(gòu)

比較好的站點(diǎn)結(jié)構(gòu)還是樹狀結(jié)構(gòu)，以首頁為節(jié)點(diǎn)的樹狀連通，可以通過首頁的鏈接訪問到網(wǎng)站的任意頁面。在建立站點(diǎn)樹狀結(jié)構(gòu)的時(shí)候要注意避免過于扁平化的結(jié)構(gòu)，所有的內(nèi)容頁面全部放在根目錄也不利于網(wǎng)站的目錄權(quán)重傳遞。在建站的時(shí)候還需要注意的是要避免孤島鏈接，所謂孤島鏈接就是一個(gè)頁面通過站內(nèi)的正常訪問是不能找到頁面的，只有通過直接輸入網(wǎng)址或地圖提交才能找到的頁面。這樣的頁面搜索引擎不容易抓取也不利于用戶對內(nèi)容的瀏覽和訪問影響用戶體驗(yàn)。

2、PC/移動(dòng)適配

現(xiàn)在移動(dòng)搜索的流量越來越大，通過建立適配，使PC端URL和移動(dòng)端URL，有規(guī)則級的對應(yīng)關(guān)系，且相互關(guān)聯(lián)。這樣在移動(dòng)搜索的時(shí)候網(wǎng)站才有機(jī)會(huì)進(jìn)入移動(dòng)索引庫中。對于網(wǎng)站在建立適配的時(shí)候推薦建立規(guī)則級對應(yīng)關(guān)系，符合一定的正則表達(dá)式映射規(guī)則。

3、主動(dòng)提交

目前百度在站長工具中有主動(dòng)推送、自動(dòng)推送、sitemap三種方式供站長對新產(chǎn)出資源，更新資源及時(shí)提交，在對內(nèi)容提交的時(shí)候站長要注意避免死鏈和低質(zhì)內(nèi)容被搜索引擎抓取。在出現(xiàn)死鏈接的時(shí)候可以通過死鏈接提交工具進(jìn)行死鏈和失效資源及時(shí)提交。

4、robots屏蔽正確

常見的預(yù)期意外的封禁有：建站模板中的封禁信息，服務(wù)器自動(dòng)封禁策略，網(wǎng)站所在空間服務(wù)商封禁IP導(dǎo)致，在網(wǎng)站內(nèi)容抓取異常時(shí)候可以考慮以上因素進(jìn)行逐一排查。還有最常見的屏蔽百度蜘蛛抓取的是robots屏蔽，這種情況多是站長失誤導(dǎo)致希望抓取的目錄被屏蔽了抓取。

5、使用標(biāo)準(zhǔn)重定向

在對網(wǎng)站改版的時(shí)候經(jīng)常會(huì)出現(xiàn)頁面的重定向跳轉(zhuǎn)，在使用重定向的時(shí)候建議使用，不建議使用JS沖定性。

6、死鏈反饋

對于網(wǎng)站中出現(xiàn)死鏈接的時(shí)候，要設(shè)置百度蜘蛛抓取返回404的狀態(tài)碼以便百度蜘蛛能得到正確的反饋。如果出現(xiàn)的死鏈接較多的時(shí)候可以參考上文中的死鏈接提交工具。