搜索引擎都有自己的“搜索機器人”（ROBOTS），并通過這些ROBOTS在網絡上沿著網頁上的鏈接（一般是http和src鏈接）不斷抓取資料建立自己的數據庫。今天就給大家講一講比較實用的SEO技巧之robots.txt文件。
網站所有者使用/robots.txt文件向網絡機器人提供有關其網站的說明; 這被稱為機器人排除協(xié)議。
工作原理
機器人想要訪問網站，比如http://cnhakka.com.cn。
在此之前，它首先檢查http://cnhakka.com.cn/robots.txt，robots.txt文件信息。
存在：搜索機器人就會按照該文件中的內容來確定訪問的范圍
不存在：搜索機器人就沿著鏈接抓取。
首先，在我們寫robots之前，我們必須要知道，我們?yōu)槭裁匆獙懰?，這才是問題的核心，千萬不要因為別人也寫了你就也去效仿。robots，人稱“君子協(xié)議”，是網站和搜索引擎之間的協(xié)議，搜索引擎在爬行到你網站時會第一時間爬行到這個文件，然后會根據你寫的協(xié)議進行爬行和抓取。
robots文件寫作步驟
在寫文件之前，我們需要有以下的權限，可以上傳文件到網站根目錄，因為robots是放在網站根目錄的。確認好我們有權限之后，先可以開始寫了。首先創(chuàng)建一個TXT文件，命名為robots.txt。
打開文件第一步要寫的就是User-agent:，這代表的是你需要什么搜索引擎抓取你的網站，例如User-agent：*，代表的需要所有搜索引擎、User-agent：Baiduspider，代表的百度可以抓。
那么怎么禁止所有搜索引擎抓取呢?這設計要后面的知識，這里先寫出來，但不進行解釋。User-agent：* Disallow:/。一般來說我們都是允許所有的抓取，如有特殊需要可以自己去斟酌。
在寫好User-agent之后就是寫具體的規(guī)則了，主要有兩種：一種是allow和disallow也就是允許和不允許的意思。這個大家都能理解，我們的網站資源有限，有些東西沒必要抓取的就是不用浪費帶寬，例如JS和CSS文件，還有出于安全考慮，網站后臺目錄也是不允許被抓取的。disallow寫法規(guī)則，禁止抓取某個目錄 disallow：/目錄/ 禁止抓取特定的文件 disallow：.php(.css .js) 禁止抓取圖片 disallow：.jpg(圖片格式)$。。。還有很多鐘用法。在這里我們說明的是。并不是寫的越多越好，要根據實際情況去寫。
常用關鍵字段
User-Agent: 以下規(guī)則適用的機器人（例如“Googlebot”等）
Disallow: 您希望阻止機器人訪問的頁面（根據需要，禁止多行）
Allow: 不需要阻止機器人訪問的頁面
Noindex: 希望搜索引擎阻止和不要索引的頁面（如果先前已建立索引，則將其解除索引）
細節(jié)注意事項
機器人可以忽略你的/robots.txt。特別是在網絡上掃描安全漏洞的惡意軟件機器人以及垃圾郵件發(fā)送者使用的電子郵件地址收集器將不予理睬。
/robots.txt文件是一個公開可用的文件。任何人都可以看到您不希望機器人使用的服務器部分。
robots.txt必須放置在一個站點的根目錄下(后面說)，而且文件名必須全部小寫。
如果”robots.txt”是一個空文件，則對于所有的搜索引擎robot，該網站都是開放的。
第一個英文要大寫，冒號是英文狀態(tài)下，冒號后面有一個空格
如果“/”后面多了一個空格，則屏蔽整個網站
行前不能有空格，如 [空格][空格][空格] User-agent: *
禁止把命令放在一行，像這樣：User-agent: * Disallow:/
生效時間為幾天~幾個月
該文件放在那里
簡單說，只需要放置在web服務器頂級目錄中。
當機器人查找URL的“/robots.txt”文件時，它會從URL中剝離路徑組件（來自第一個單斜杠的所有內容），并將“/robots.txt”放在其位置。
例如，對于“ http://www.baidu.com/shop/index.html” ，它將刪除 /shop/index.html “，并將其替換為” /robots.txt “，最終將以“http://www.baidu.com/robots.txt”。
因此，需要將其放在Web服務器上的正確位置，以便生成該URL。通常，這是您放置網站主要“ index.html ”歡迎頁面的位置。究竟是什么，以及如何將文件放在那里，取決于Web服務器軟件。
注意：使用全文小寫作為文件名：“ robots.txt ”，而不是“ Robots.TXT。
最后就還有一個小技巧了，那就是寫入sitemap地址。我們都知道百度不會給小站開通sitemap權限，所以我們可以在這里寫上。一般我們在根目錄存放好sitemap，格式一般都是XML也有TXT的，寫法如下：Sitemap：http://www.jxfzseo.com/(網站名)sitemap.xml.
SEO是指在了解搜索引擎自然排名機制的基礎上，對網站進行內部及外部的調整優(yōu)化，改進網站在搜索引擎中關鍵詞的自然排名，獲得更多流量，吸引更多目標客戶，從而達到網絡營銷及品牌建設的目標。
搜索引擎檢索原則是不斷更改的，檢索原則的更改會直接導致網站關鍵字在搜索引擎上排名的變化，所以搜索引擎優(yōu)化并非一勞永逸。
搜索引擎蜘蛛是通過鏈接地址來尋找網頁的。搜索引擎蜘蛛名稱隨搜索引擎的不同而不同。它的原理是由一個起始鏈接開始抓取網頁內容，同時也采集網頁上的鏈接，并將這些鏈接作為它下一步抓取的鏈接地址，如此循環(huán)，直到達到某個停止條件后才會停止。停止條件的設定通常是以時間或是數量為依據，可以通過鏈接的層數來限制網絡蜘蛛的爬取。同時頁面信息的重要性為客觀因素決定了蜘蛛對該網站頁面的檢索。站長工具中的搜索引擎蜘蛛模擬器其實它就是這個原理?；谶@蜘蛛工作原理，站長都會不自然的增加頁面關鍵詞出現次數，雖然對密度產生量的變化，但對蜘蛛而言并沒達到一定的變化。這在搜索引擎優(yōu)化過程中應該要避免的。
SEO優(yōu)化是一門技術也可以說是總結的經驗，技術體現站內代碼的優(yōu)化和機構層次上，經驗體對搜索引擎的原理的了解，用戶體驗的友好性，seo優(yōu)化是圍繞用戶尋找需求價值，使古今SEO網站優(yōu)化技術與優(yōu)化經驗相結合的復合學科。
網站優(yōu)化能夠幫助站長們提高網頁的綜合指數，如果站長們的鏈接已經得到提升，繼續(xù)保持高質量反向鏈接數的增加和內容的維護，站長們的左側排名會繼續(xù)保持或提高。除非后期應用了作弊的方式而受到懲罰或停止后期的維護。而競價廣告如果停止了，網站鏈接也就會即刻消失。超過95%的搜索引擎使用者會優(yōu)先考慮搜索引擎給出的常規(guī)結果，這其中絕大部分人只有在左側無法得到滿意結果時才會去瀏覽右側的廣告。
據調查顯示，有87%的網民會利用搜索引擎服務查找需要的信息，而這之中有近70%的搜索者會直接在搜索結果的自然排名的第一頁查找自己所需要的信息。
很多企業(yè)老板和一些朋友經常詢問 SEM/SEO 是什么意思，今天小編正好整理下這方面的資料，讓大家更深入的了解網站推廣里面的一些門道。
SEMSEO 的定義
SEM，即Search Engine Marketing ，也就是搜索引擎營銷。是廣告主通過購買關鍵字，在網民搜索時，展現品牌信息。
SEO，即Search Engine Optimization ，也就是搜索引擎優(yōu)化。是通過采用易于搜索引擎索引的合理手段，提高網站在搜索引擎內的收錄和自然排名。
簡單理解如下圖：
小編認為 SEM、SEO ，對于品牌官網來說都有著重要的意義。如果這兩種營銷方式都做到突出表現，那么企業(yè)品牌官網在互聯(lián)網整體的傳播效果會是最佳的。
SEM，SEO 對于企業(yè)宣傳品牌的意義有哪些呢？
首先，小編給SEM做了一個定義，SEM – 進攻性選手
SEM優(yōu)化結果一般出現在搜索引擎的第1條，最多5條結果，不超過40%占屏比例。但需要購買關鍵詞，投入成本較高，停止付費后，排名馬上即會消失。因此SEM屬于進攻型的營銷策略，適用于特定品牌營銷階段少量核心詞主動推廣宣傳。
其次，SEO優(yōu)化屬于防守型選手
SEO是在品牌網站上做更多的搜索引擎方面的抓取收錄優(yōu)化，提高搜索自然排名，對企業(yè)來說，持續(xù)做好官網SEO是低成本獲取流量的重要手段。SEO優(yōu)化屬于防守型營銷策略，可以覆蓋更多的品牌關鍵詞及產品詞，留住品牌忠實用戶。
知道了SEO和SEM 那么企業(yè)為什么要做搜索營銷與優(yōu)化呢？
據不完全統(tǒng)計，搜索環(huán)境隨著互聯(lián)網發(fā)展變遷，人們在獲取信息時，不僅僅只會通過某一類搜索引擎作為信息來源，而是會通過多種渠道進行查詢，綜合分析后產生購買決策。在泛搜索環(huán)境下用戶認知品牌觸點逐漸多樣化，例如除百度之外的：購物網站、地圖、新聞門戶、微博、旅行網站等。 “搜索”無處不在，這便意味著“用戶”隨時可能獲取。
在移動互聯(lián)網急速發(fā)展的時代，打開手機，找到瀏覽器，在搜索框直接輸入想要信息，這種搜索方式將在未來一直會是用戶獲取各類信息的重要渠道。因此品牌官網的搜索營銷與優(yōu)化依然是必須要的。
那么，我們做搜索優(yōu)化的目標是什么呢？
由搜索結果點擊率分布數據可以得出：只有占位在前三頁才算是有效的信息露出，所以自然搜索優(yōu)化的目標是盡量讓客戶想展示的信息展示在前三頁，不想展示的敏感信息壓制在后三頁。SEMSEO的優(yōu)化目標就是發(fā)揮各自的優(yōu)勢，讓官網或第三方媒體正面信息保持在前三頁占位。
南通力行網絡科技有限公司專業(yè)建站排名17年，在南通網站建設及互聯(lián)網技術服務領域，積累了豐富的項目經驗與技術沉淀。已經形成了一整套從企業(yè)網站搭建到項目上線后持續(xù)的傳播優(yōu)化服務為一體的一站式解決方案，有著成熟的SEO優(yōu)化方法論和工具。
力行科技南通SEO方法論：以技術為基礎，以內容為保障，外鏈輔助優(yōu)化，使企業(yè)品牌官網SEO優(yōu)化更精細、更全面、更優(yōu)質，使流量效果最大化，覆蓋多方面用戶需求，穩(wěn)定持續(xù)提升搜索引擎排名。
力行科技 擁有專業(yè)的SEO技術工具，可以對網站進行全面診斷，對優(yōu)化效果體系全面監(jiān)測，保證服務效果。
力行科技 一直秉持為客戶做好每一個網站，讓每一家企業(yè)的網站能真正給企業(yè)帶來收益。
在未來 力行科技 也仍然堅持“一切為客戶創(chuàng)造價值”的服務理念，為客戶提供全方位的品牌全案服務。