<cite id="rhdl8"><s id="rhdl8"></s></cite>
<video id="rhdl8"><input id="rhdl8"></input></video>
<xmp id="rhdl8"></xmp>
<b id="rhdl8"><sub id="rhdl8"></sub></b>

    <dfn id="rhdl8"></dfn>
  1. <b id="rhdl8"></b>

  2. seo行業資訊

    spider抓取過程中涉及的網絡協議

    發布日期:2013-08-14 瀏覽次數:2632
    搜索引擎與資源提供者之間存在相互依賴的關系,其中搜索引擎需要站長為其提供資源,否則搜索引擎就無法滿足用戶檢索需求;而站長需要通過搜索引擎將自己的 內容推廣出去獲取更多的受眾。spider抓取系統直接涉及互聯網資源提供者的利益,為了使搜素引擎與站長能夠達到雙贏,在抓取過程中雙方必須遵守一定的 規范,以便于雙方的數據處理及對接。這種過程中遵守的規范也就是日常中我們所說的一些網絡協議。以下簡單列舉:
      http協議:超文本傳輸協議,是互聯網上應用最為廣泛的一種網絡協議,客戶端和服務器端請求和應答的標準。客戶端一般情況是指終端用戶,服務器端即指網 站。終端用戶通過瀏覽器、蜘蛛等向服務器指定端口發送http請求。發送http請求會返回對應的httpheader信息,可以看到包括是否成功、服務 器類型、網頁最近更新時間等內容。
      https協議:實際是加密版http,一種更加安全的數據傳輸協議。
      UA屬性:UA即user-agent,是http協議中的一個屬性,代表了終端的身份,向服務器端表明我是誰來干嘛,進而服務器端可以根據不同的身份來做出不同的反饋結果。
      robots協議:robots.txt是搜索引擎訪問一個網站時要訪問的第一個文件,用以來確定哪些是被允許抓取的哪些是被禁止抓取的。 robots.txt必須放在網站根目錄下,且文件名要小寫。詳細的robots.txt寫法可參考 http://www.robotstxt.org 。百度嚴格按照robots協議執行,另外,同樣支持網頁內容中添加的名為robots的meta標 簽,index、follow、nofollow等指令。

    相關文章

    ·如何輕松實現所寫文章被各大論壇推薦呢?
    ·百度自然排名為何總是讓站長們琢磨不透?
    ·安徽SEO培訓發展的必然趨勢
    ·合肥seo分析網站收錄對排名的影響
    ·什么因素會對網站關鍵詞的排名有影響
    ·2013年安徽SEO分散流量仍然需要重視
    ·合肥SEO網頁標題的策略分析
    ·安徽網絡推廣總結網絡營銷中常見的4種弊端
    ·企業關鍵詞選擇應從五個方面正確考慮
    ·搜索引擎對網站降權處理的原因
    免费特级黄毛片,东京热久久综合久久,亚洲色婷婷婷婷五月基地