法国蒙彼利埃大学安全吗

鄭州網站優化

,鄭州seo,鄭州百度優化,選擇路普科技,10年為企業網站優化助力!


您當前位置:鄭州網站優化 > 新聞動態 > 瀏覽文章

5年的老網站不收錄,看看都有哪些原因?后悔看晚了

發布時間:2019-4-2 21:46:23

搜索引擎在抓取網頁的時候,可能會遇到各種情況,有的頁面抓取成功,有的抓取失敗。

 搜索引擎在抓取網頁

理解什么是返回碼?

怎么顯示一個頁面的實際抓取結果呢?主要是通過返回碼進行示意,代表抓取成功與否和遇到的問題。比如我們常見的,有時候打開一個頁面,頁面一片空白,上面只顯示404,這里的404就是一種返回碼,代表當前抓取的頁面已經失效,遇到顯示404的頁面,如果短期內搜索,蜘蛛再發現這個URL,也不會對其進行抓取。
有時候,會返回503, 503返回碼代表網站臨時無法訪問,可能是網站服務器關閉或者其他臨時措施造成的網頁無法訪問,一般來說,蜘蛛還會繼續抓取幾次。如果網站恢復正常, URL仍然被當作正常URI處理,如果服務器一直處于不可訪問狀態,那么搜索引擎就會將這些URL,徹底從庫中刪除,這就要求我們必須維護網站的穩定性,盡量避免臨時關閉的情況發生。返回碼403是禁止訪問狀態,一般來說,如同503一樣,如被多次訪問仍處于禁止訪問狀態,就會被搜索引擎從庫里面刪除。
在返回碼中,有一類需要格外注意,就是301,301代表永久性移除,當前URL被永久性重定向到另外的URL。一般來說,因為改版等原因,部分URL需要永久被替換為新的URL,就必須使用返回碼301進行處理,這樣能把權重等一并帶過去,避免網站的流量損失。

使用rewrite重寫規則

需要提醒的是目前htaccess適用于Linux系統,并需要虛擬主機支持,因此,在考慮htaccess 件處理返回碼301的時候,需要查看虛擬主機否完全支持。
實際上,在重定向的處理上存在多種方式,簡單來說,重定向可以分為http301重定向、 meta refresh重定向和iis重定向。

使用canonical標簽重定向

另外,大的搜索引擎公司,比如谷歌和百度都確認支持Canonical標簽,可以通過制定一個權威頁面的方式,引導蜘蛛只索引一個權威頁面,從實際效果上來說,也是一種間接的重定向。
在實際抓取過程中,蜘蛛會對各種重定向效果進行識別。
重定向的方法有多種,但是從SEO角度來說,如果是永久跳轉的頁面,盡量采用返回碼301的跳轉方式。另外,從時間結果來看,百度對Canonical的支持并不如谷歌好,采用Canonical未必能得到如期效果。
有些網站通過不同的路徑進入同一頁面,可能會出現多個URL的情況,當面對這種情況時,可能需要一些處理技巧,關于Canonical的使用技術可參見本書關于Canonical的專門講解。

如何解決信息無法被抓取到的問題?

幾個可行的辦法如下。

采用搜索引擎平臺提供的開發平臺等數據上傳通道,可以針對數據進行獨立的提交。
采用Sitemap提交方式。大型網站或者結構比較特殊的網站,沉淀了大量的歷史頁面,這些歷史頁面很多具有SEO的價值,但是蜘蛛無法通過正常的爬行抓取到,針對這些頁面,建立Sitemap文件并提交給百度等搜索引擎是非常必要的。
蜘蛛在爬行網站的時候,會遵循網站的協議進行抓取,比如哪些網頁可以給搜索引擎抓取,哪些不允許搜索引擎抓取。


相關閱讀

歡迎致電或者QQ咨詢路普公司,我們專注企業網站優化服務!
提供網站優化、關鍵詞排名、企業網站優化、SEO整站優化、站內站外優化等網站優化服務!

電話:0371-87535353
地址:鄭州市花園路59號21世紀新樓中樓1#8001 豫ICP備10210721號-4
鄭州網站優化,鄭州網站優化公司,鄭州關鍵詞優化,鄭州關鍵詞排名,鄭州百度優化專業的網絡公司,助力企業快速提升目標客戶轉化率
法国蒙彼利埃大学安全吗 猛龙传奇 十二生肖成龙 30选5基本走势图 红熊猫和大熊猫 彩色三角游戏 独行侠vs火箭 宝石奥德赛登陆 快乐8开奖预测 百人牛牛押注破解版 征服者入侵APP 一分快三计划免费版 三人斗地主游戏免费 黄金翅膀官网 掘金vs火箭 罗曼诺夫财富试玩 幸运农场走势图最新