<cite id="rhdl8"><s id="rhdl8"></s></cite>
<video id="rhdl8"><input id="rhdl8"></input></video>
<xmp id="rhdl8"></xmp>
<b id="rhdl8"><sub id="rhdl8"></sub></b>

    <dfn id="rhdl8"></dfn>
  1. <b id="rhdl8"></b>

  2. seo經驗雜談

    談一談Spider程序與Robots協議之間的淵源

    發布日期:2014-08-25 瀏覽次數:1504

      說到搜索引擎蜘蛛,相信絕大多數的人都有一些大體上的印象,基本上都知道個大概,說到robots可能就有不少人不大清楚你想表達的是什么,可是如果說到了robots協議,相信關注了百度和360大戰的諸位又會恍然頓悟,托福這場官司,百度和360從2012年起展開的一場屏蔽與反屏蔽戰把原本程序猿才知道的Robots協議變成媒體熱詞。北京一中院8月7日對3B搜索不正當競爭糾紛案(3B案)剛剛作出的一審判決讓Robots協議在新聞里又火了一把。

      Robots協議和搜索引擎的爬蟲程序(Spider)其實是一對同胞兄弟。

      1994年之前,AltaVista、Infoseek等代表的搜索引擎在互聯網可以通過Spider直入網站管理后臺,把所有網頁信息系數收錄。除了涉及隱私外,爬蟲程序的反復收錄在20年前對網站帶寬也是不小的負載。荷蘭工程師Martin Koster深感互聯網叢林之亂,提出通過設立名為Robots規范的網站訪問限制政策(Access Policy)方式在整個互聯網統一解決Spider無所不在所帶來的威脅。

      Robots協議在技術實現上并不復雜,網站管理員只要按規則在網站根目錄下創建Robots.txt的文本文件就可以禁止搜索爬蟲收錄指定網頁內容。從早期的AltaVista、Infoseek到后來居上的Google 、Yahoo和美國以外的Baidu等各大搜索引擎都群體接受了Robots協議,避免和內容網站為Spider陷入一場危機。

    相關文章

    ·互聯網秩序需要大家來共同遵守
    ·增加反向鏈接要循序漸進
    ·淺談黑帽白帽和灰帽的不同價值取向
    ·網站維護體系的優化
    ·外鏈為王質量為皇
    ·如何從競爭對手的網站中取長補短
    ·通過3百大戰看待受法律保護的Robots規則
    ·域名對電子商務網站的重要性
    ·網站優化過程中遇到的問題解析
    ·搜索引擎的技術模式
    免费特级黄毛片,东京热久久综合久久,亚洲色婷婷婷婷五月基地