搜索引擎都有自己的“搜索機(jī)器人”（ROBOTS），并通過(guò)這些ROBOTS在網(wǎng)絡(luò)上沿著網(wǎng)頁(yè)上的鏈接（一般是http和src鏈接）不斷抓取資料建立自己的數(shù)據(jù)庫(kù)。今天就給大家講一講比較實(shí)用的SEO技巧之robots.txt文件。

網(wǎng)站所有者使用/robots.txt文件向網(wǎng)絡(luò)機(jī)器人提供有關(guān)其網(wǎng)站的說(shuō)明; 這被稱(chēng)為機(jī)器人排除協(xié)議。

工作原理

機(jī)器人想要訪問(wèn)網(wǎng)站，比如http://cnhakka.com.cn。

在此之前，它首先檢查http://cnhakka.com.cn/robots.txt，robots.txt文件信息。

存在：搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍

不存在：搜索機(jī)器人就沿著鏈接抓取。

首先，在我們寫(xiě)robots之前，我們必須要知道，我們?yōu)槭裁匆獙?xiě)它，這才是問(wèn)題的核心，千萬(wàn)不要因?yàn)閯e人也寫(xiě)了你就也去效仿。robots，人稱(chēng)“君子協(xié)議”，是網(wǎng)站和搜索引擎之間的協(xié)議，搜索引擎在爬行到你網(wǎng)站時(shí)會(huì)第一時(shí)間爬行到這個(gè)文件，然后會(huì)根據(jù)你寫(xiě)的協(xié)議進(jìn)行爬行和抓取。

robots文件寫(xiě)作步驟

在寫(xiě)文件之前，我們需要有以下的權(quán)限，可以上傳文件到網(wǎng)站根目錄，因?yàn)閞obots是放在網(wǎng)站根目錄的。確認(rèn)好我們有權(quán)限之后，先可以開(kāi)始寫(xiě)了。首先創(chuàng)建一個(gè)TXT文件，命名為robots.txt。

打開(kāi)文件第一步要寫(xiě)的就是User-agent:，這代表的是你需要什么搜索引擎抓取你的網(wǎng)站，例如User-agent：*，代表的需要所有搜索引擎、User-agent：Baiduspider，代表的百度可以抓。

那么怎么禁止所有搜索引擎抓取呢?這設(shè)計(jì)要后面的知識(shí)，這里先寫(xiě)出來(lái)，但不進(jìn)行解釋。User-agent：* Disallow:/。一般來(lái)說(shuō)我們都是允許所有的抓取，如有特殊需要可以自己去斟酌。

在寫(xiě)好User-agent之后就是寫(xiě)具體的規(guī)則了，主要有兩種：一種是allow和disallow也就是允許和不允許的意思。這個(gè)大家都能理解，我們的網(wǎng)站資源有限，有些東西沒(méi)必要抓取的就是不用浪費(fèi)帶寬，例如JS和CSS文件，還有出于安全考慮，網(wǎng)站后臺(tái)目錄也是不允許被抓取的。disallow寫(xiě)法規(guī)則，禁止抓取某個(gè)目錄 disallow：/目錄/ 禁止抓取特定的文件 disallow：.php(.css .js) 禁止抓取圖片 disallow：.jpg(圖片格式)$。。。還有很多鐘用法。在這里我們說(shuō)明的是。并不是寫(xiě)的越多越好，要根據(jù)實(shí)際情況去寫(xiě)。

常用關(guān)鍵字段

User-Agent: 以下規(guī)則適用的機(jī)器人（例如“Googlebot”等）

Disallow: 您希望阻止機(jī)器人訪問(wèn)的頁(yè)面（根據(jù)需要，禁止多行）

Allow: 不需要阻止機(jī)器人訪問(wèn)的頁(yè)面

Noindex: 希望搜索引擎阻止和不要索引的頁(yè)面（如果先前已建立索引，則將其解除索引）

細(xì)節(jié)注意事項(xiàng)

機(jī)器人可以忽略你的/robots.txt。特別是在網(wǎng)絡(luò)上掃描安全漏洞的惡意軟件機(jī)器人以及垃圾郵件發(fā)送者使用的電子郵件地址收集器將不予理睬。

/robots.txt文件是一個(gè)公開(kāi)可用的文件。任何人都可以看到您不希望機(jī)器人使用的服務(wù)器部分。

robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下(后面說(shuō))，而且文件名必須全部小寫(xiě)。

如果”robots.txt”是一個(gè)空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開(kāi)放的。

第一個(gè)英文要大寫(xiě)，冒號(hào)是英文狀態(tài)下，冒號(hào)后面有一個(gè)空格

如果“/”后面多了一個(gè)空格，則屏蔽整個(gè)網(wǎng)站

行前不能有空格，如 [空格][空格][空格] User-agent: *

禁止把命令放在一行，像這樣：User-agent: * Disallow:/

生效時(shí)間為幾天~幾個(gè)月

該文件放在那里

簡(jiǎn)單說(shuō)，只需要放置在web服務(wù)器頂級(jí)目錄中。

當(dāng)機(jī)器人查找URL的“/robots.txt”文件時(shí)，它會(huì)從URL中剝離路徑組件（來(lái)自第一個(gè)單斜杠的所有內(nèi)容），并將“/robots.txt”放在其位置。

例如，對(duì)于“ http://www.baidu.com/shop/index.html” ，它將刪除 /shop/index.html “，并將其替換為” /robots.txt “，最終將以“http://www.baidu.com/robots.txt”。

因此，需要將其放在Web服務(wù)器上的正確位置，以便生成該URL。通常，這是您放置網(wǎng)站主要“ index.html ”歡迎頁(yè)面的位置。究竟是什么，以及如何將文件放在那里，取決于Web服務(wù)器軟件。

注意：使用全文小寫(xiě)作為文件名：“ robots.txt ”，而不是“ Robots.TXT。

最后就還有一個(gè)小技巧了，那就是寫(xiě)入sitemap地址。我們都知道百度不會(huì)給小站開(kāi)通sitemap權(quán)限，所以我們可以在這里寫(xiě)上。一般我們?cè)诟夸洿娣藕胹itemap，格式一般都是XML也有TXT的，寫(xiě)法如下：Sitemap：http://www.jxfzseo.com/(網(wǎng)站名)sitemap.xml.

SEO是指在了解搜索引擎自然排名機(jī)制的基礎(chǔ)上，對(duì)網(wǎng)站進(jìn)行內(nèi)部及外部的調(diào)整優(yōu)化，改進(jìn)網(wǎng)站在搜索引擎中關(guān)鍵詞的自然排名，獲得更多流量，吸引更多目標(biāo)客戶(hù)，從而達(dá)到網(wǎng)絡(luò)營(yíng)銷(xiāo)及品牌建設(shè)的目標(biāo)。

搜索引擎檢索原則是不斷更改的，檢索原則的更改會(huì)直接導(dǎo)致網(wǎng)站關(guān)鍵字在搜索引擎上排名的變化，所以搜索引擎優(yōu)化并非一勞永逸。

搜索引擎蜘蛛是通過(guò)鏈接地址來(lái)尋找網(wǎng)頁(yè)的。搜索引擎蜘蛛名稱(chēng)隨搜索引擎的不同而不同。它的原理是由一個(gè)起始鏈接開(kāi)始抓取網(wǎng)頁(yè)內(nèi)容，同時(shí)也采集網(wǎng)頁(yè)上的鏈接，并將這些鏈接作為它下一步抓取的鏈接地址，如此循環(huán)，直到達(dá)到某個(gè)停止條件后才會(huì)停止。停止條件的設(shè)定通常是以時(shí)間或是數(shù)量為依據(jù)，可以通過(guò)鏈接的層數(shù)來(lái)限制網(wǎng)絡(luò)蜘蛛的爬取。同時(shí)頁(yè)面信息的重要性為客觀因素決定了蜘蛛對(duì)該網(wǎng)站頁(yè)面的檢索。站長(zhǎng)工具中的搜索引擎蜘蛛模擬器其實(shí)它就是這個(gè)原理。基于這蜘蛛工作原理，站長(zhǎng)都會(huì)不自然的增加頁(yè)面關(guān)鍵詞出現(xiàn)次數(shù)，雖然對(duì)密度產(chǎn)生量的變化，但對(duì)蜘蛛而言并沒(méi)達(dá)到一定的變化。這在搜索引擎優(yōu)化過(guò)程中應(yīng)該要避免的。

SEO優(yōu)化是一門(mén)技術(shù)也可以說(shuō)是總結(jié)的經(jīng)驗(yàn)，技術(shù)體現(xiàn)站內(nèi)代碼的優(yōu)化和機(jī)構(gòu)層次上，經(jīng)驗(yàn)體對(duì)搜索引擎的原理的了解，用戶(hù)體驗(yàn)的友好性，seo優(yōu)化是圍繞用戶(hù)尋找需求價(jià)值，使古今SEO網(wǎng)站優(yōu)化技術(shù)與優(yōu)化經(jīng)驗(yàn)相結(jié)合的復(fù)合學(xué)科。

網(wǎng)站優(yōu)化能夠幫助站長(zhǎng)們提高網(wǎng)頁(yè)的綜合指數(shù)，如果站長(zhǎng)們的鏈接已經(jīng)得到提升，繼續(xù)保持高質(zhì)量反向鏈接數(shù)的增加和內(nèi)容的維護(hù)，站長(zhǎng)們的左側(cè)排名會(huì)繼續(xù)保持或提高。除非后期應(yīng)用了作弊的方式而受到懲罰或停止后期的維護(hù)。而競(jìng)價(jià)廣告如果停止了，網(wǎng)站鏈接也就會(huì)即刻消失。超過(guò)95%的搜索引擎使用者會(huì)優(yōu)先考慮搜索引擎給出的常規(guī)結(jié)果，這其中絕大部分人只有在左側(cè)無(wú)法得到滿(mǎn)意結(jié)果時(shí)才會(huì)去瀏覽右側(cè)的廣告。

據(jù)調(diào)查顯示，有87%的網(wǎng)民會(huì)利用搜索引擎服務(wù)查找需要的信息，而這之中有近70%的搜索者會(huì)直接在搜索結(jié)果的自然排名的第一頁(yè)查找自己所需要的信息。

今天在關(guān)注Yoast SEO插件的時(shí)候看到一個(gè)名詞：焦點(diǎn)關(guān)鍵詞，以前似乎沒(méi)有關(guān)注過(guò)，小編今天自我學(xué)習(xí)一下！什么是焦點(diǎn)關(guān)鍵詞？這個(gè)可以幫我確定你要優(yōu)化的關(guān)鍵詞有一定的好處。

什么是焦點(diǎn)關(guān)鍵詞？

焦點(diǎn)的關(guān)鍵詞是，你希望你的文章或網(wǎng)頁(yè)，在搜索引擎找到的短語(yǔ)。有時(shí)，它是一個(gè)單詞，但通常由幾個(gè)單詞組成。這就是為什么我們稱(chēng)其為關(guān)鍵短語(yǔ)。

怎么使用焦點(diǎn)關(guān)鍵詞？

例如，如果您希望博客文章對(duì)“SEO優(yōu)化”進(jìn)行排名，則可以針對(duì)該詞優(yōu)化您的文章。您的重點(diǎn)關(guān)鍵詞也可以更長(zhǎng)。例如，您可以撰寫(xiě)一篇專(zhuān)為客戶(hù)們準(zhǔn)備的網(wǎng)站建設(shè)方案文章，并針對(duì)“網(wǎng)站建設(shè)方案SEO優(yōu)化等相關(guān)文章”進(jìn)行優(yōu)化?；虬l(fā)布有關(guān)網(wǎng)站建設(shè)的帖子，并針對(duì)“SEO優(yōu)化”進(jìn)行優(yōu)化。 

簡(jiǎn)單的說(shuō)焦點(diǎn)關(guān)鍵詞就是聚焦關(guān)鍵詞，帶上外鏈之后關(guān)鍵詞能體現(xiàn)出最佳的效果。

如果你使用Yoast SEO的頁(yè)面設(shè)置焦點(diǎn)關(guān)鍵詞，則該插件會(huì)評(píng)估該頁(yè)面的內(nèi)容，并提供有關(guān)如何改進(jìn)內(nèi)容以使其在該搜索字詞中排名更高的反饋。

您可以在帖子下方的Yoast SEO元框中找到焦點(diǎn)關(guān)鍵詞的輸入字段：

為什么要關(guān)注重點(diǎn)短語(yǔ)？

定期向你的網(wǎng)站添加優(yōu)質(zhì)內(nèi)容是一種不錯(cuò)的SEO策略。Google發(fā)現(xiàn)您的網(wǎng)站處于活動(dòng)狀態(tài)，因?yàn)樘砑恿诵滦畔?，并且您增加了?nèi)容量。

但是，將內(nèi)容隨機(jī)添加到你的網(wǎng)站不是很有用，發(fā)布了排名也比較靠后。你必須制定關(guān)鍵字策略，然后根據(jù)該策略創(chuàng)建受眾所需要的高質(zhì)量?jī)?nèi)容。在編寫(xiě)這些文章時(shí)，針對(duì)你要針對(duì)的關(guān)鍵短語(yǔ)進(jìn)行優(yōu)化是很重要的。這就是Yoast SEO可以幫助你的。

如何選擇焦點(diǎn)關(guān)鍵詞

我認(rèn)為，至少應(yīng)該做三件事來(lái)確定以下內(nèi)容優(yōu)化博客文章的關(guān)鍵字或關(guān)鍵詞：

1. 查找人們搜索的焦點(diǎn)關(guān)鍵字
2. 研究搜尋量
3. Google你的關(guān)鍵字

每個(gè)頁(yè)面都應(yīng)該有重點(diǎn)關(guān)鍵詞嗎？

有些用戶(hù)經(jīng)常問(wèn)我們，他們的“關(guān)于”頁(yè)面或“聯(lián)系”頁(yè)面是否應(yīng)具有焦點(diǎn)關(guān)鍵字，如果是，應(yīng)該是什么？

答案很簡(jiǎn)單：并非每個(gè)頁(yè)面都需要一個(gè)焦點(diǎn)關(guān)鍵字。你的聯(lián)系頁(yè)面應(yīng)該易于訪問(wèn)，例如，可能需要對(duì)“ <公司名稱(chēng)>地址”進(jìn)行排名。不過(guò)，將其作為焦點(diǎn)關(guān)鍵字可能沒(méi)有任何意義，而將其保留為空也很好。

另外，問(wèn)問(wèn)自己：我是否希望此職位長(zhǎng)期排名？一些帖子，例如臨時(shí)公告，可能都不值得優(yōu)化。

結(jié)論和進(jìn)一步閱讀

選擇一個(gè)完美的焦點(diǎn)關(guān)鍵字或關(guān)鍵詞并不是一門(mén)精確的科學(xué)。你應(yīng)該針對(duì)搜索受眾實(shí)際使用的單詞組合。力求量大而又適合您的聽(tīng)眾的關(guān)鍵短語(yǔ)。

南通力行網(wǎng)絡(luò)科技有限公司成立于2004年，擁有多年的企業(yè)網(wǎng)站設(shè)計(jì)開(kāi)發(fā)，網(wǎng)站SEO經(jīng)驗(yàn)，包括百度排名優(yōu)化，提升網(wǎng)站收錄，網(wǎng)站文章代更新，谷歌排名優(yōu)化，搜索引擎下拉，網(wǎng)站外鏈運(yùn)維等多項(xiàng)服務(wù)。不單幫你建好網(wǎng)站，更幫你建好多條高速公路直達(dá)您的網(wǎng)站，好的網(wǎng)站應(yīng)該讓更多的人看到！

案例：南通管家婆

很多企業(yè)老板和一些朋友經(jīng)常詢(xún)問(wèn) SEM/SEO 是什么意思，今天小編正好整理下這方面的資料，讓大家更深入的了解網(wǎng)站推廣里面的一些門(mén)道。

SEMSEO 的定義

SEM，即Search Engine Marketing ，也就是搜索引擎營(yíng)銷(xiāo)。是廣告主通過(guò)購(gòu)買(mǎi)關(guān)鍵字，在網(wǎng)民搜索時(shí)，展現(xiàn)品牌信息。
SEO，即Search Engine Optimization ，也就是搜索引擎優(yōu)化。是通過(guò)采用易于搜索引擎索引的合理手段，提高網(wǎng)站在搜索引擎內(nèi)的收錄和自然排名。

簡(jiǎn)單理解如下圖：

小編認(rèn)為 SEM、SEO ，對(duì)于品牌官網(wǎng)來(lái)說(shuō)都有著重要的意義。如果這兩種營(yíng)銷(xiāo)方式都做到突出表現(xiàn)，那么企業(yè)品牌官網(wǎng)在互聯(lián)網(wǎng)整體的傳播效果會(huì)是最佳的。

SEM，SEO 對(duì)于企業(yè)宣傳品牌的意義有哪些呢？

首先，小編給SEM做了一個(gè)定義，SEM – 進(jìn)攻性選手

SEM優(yōu)化結(jié)果一般出現(xiàn)在搜索引擎的第1條，最多5條結(jié)果，不超過(guò)40%占屏比例。但需要購(gòu)買(mǎi)關(guān)鍵詞，投入成本較高，停止付費(fèi)后，排名馬上即會(huì)消失。因此SEM屬于進(jìn)攻型的營(yíng)銷(xiāo)策略，適用于特定品牌營(yíng)銷(xiāo)階段少量核心詞主動(dòng)推廣宣傳。

其次，SEO優(yōu)化屬于防守型選手

SEO是在品牌網(wǎng)站上做更多的搜索引擎方面的抓取收錄優(yōu)化，提高搜索自然排名，對(duì)企業(yè)來(lái)說(shuō)，持續(xù)做好官網(wǎng)SEO是低成本獲取流量的重要手段。SEO優(yōu)化屬于防守型營(yíng)銷(xiāo)策略，可以覆蓋更多的品牌關(guān)鍵詞及產(chǎn)品詞，留住品牌忠實(shí)用戶(hù)。

知道了SEO和SEM 那么企業(yè)為什么要做搜索營(yíng)銷(xiāo)與優(yōu)化呢？

據(jù)不完全統(tǒng)計(jì)，搜索環(huán)境隨著互聯(lián)網(wǎng)發(fā)展變遷，人們?cè)讷@取信息時(shí)，不僅僅只會(huì)通過(guò)某一類(lèi)搜索引擎作為信息來(lái)源，而是會(huì)通過(guò)多種渠道進(jìn)行查詢(xún)，綜合分析后產(chǎn)生購(gòu)買(mǎi)決策。在泛搜索環(huán)境下用戶(hù)認(rèn)知品牌觸點(diǎn)逐漸多樣化，例如除百度之外的：購(gòu)物網(wǎng)站、地圖、新聞門(mén)戶(hù)、微博、旅行網(wǎng)站等。 “搜索”無(wú)處不在，這便意味著“用戶(hù)”隨時(shí)可能獲取。

在移動(dòng)互聯(lián)網(wǎng)急速發(fā)展的時(shí)代，打開(kāi)手機(jī)，找到瀏覽器，在搜索框直接輸入想要信息，這種搜索方式將在未來(lái)一直會(huì)是用戶(hù)獲取各類(lèi)信息的重要渠道。因此品牌官網(wǎng)的搜索營(yíng)銷(xiāo)與優(yōu)化依然是必須要的。

那么，我們做搜索優(yōu)化的目標(biāo)是什么呢？

由搜索結(jié)果點(diǎn)擊率分布數(shù)據(jù)可以得出：只有占位在前三頁(yè)才算是有效的信息露出，所以自然搜索優(yōu)化的目標(biāo)是盡量讓客戶(hù)想展示的信息展示在前三頁(yè)，不想展示的敏感信息壓制在后三頁(yè)。SEMSEO的優(yōu)化目標(biāo)就是發(fā)揮各自的優(yōu)勢(shì)，讓官網(wǎng)或第三方媒體正面信息保持在前三頁(yè)占位。

南通力行網(wǎng)絡(luò)科技有限公司專(zhuān)業(yè)建站排名17年，在南通網(wǎng)站建設(shè)及互聯(lián)網(wǎng)技術(shù)服務(wù)領(lǐng)域，積累了豐富的項(xiàng)目經(jīng)驗(yàn)與技術(shù)沉淀。已經(jīng)形成了一整套從企業(yè)網(wǎng)站搭建到項(xiàng)目上線后持續(xù)的傳播優(yōu)化服務(wù)為一體的一站式解決方案，有著成熟的SEO優(yōu)化方法論和工具。

力行科技南通SEO方法論：以技術(shù)為基礎(chǔ)，以?xún)?nèi)容為保障，外鏈輔助優(yōu)化，使企業(yè)品牌官網(wǎng)SEO優(yōu)化更精細(xì)、更全面、更優(yōu)質(zhì)，使流量效果最大化，覆蓋多方面用戶(hù)需求，穩(wěn)定持續(xù)提升搜索引擎排名。

力行科技 擁有專(zhuān)業(yè)的SEO技術(shù)工具，可以對(duì)網(wǎng)站進(jìn)行全面診斷，對(duì)優(yōu)化效果體系全面監(jiān)測(cè)，保證服務(wù)效果。

力行科技 一直秉持為客戶(hù)做好每一個(gè)網(wǎng)站，讓每一家企業(yè)的網(wǎng)站能真正給企業(yè)帶來(lái)收益。

在未來(lái) 力行科技 也仍然堅(jiān)持“一切為客戶(hù)創(chuàng)造價(jià)值”的服務(wù)理念，為客戶(hù)提供全方位的品牌全案服務(wù)。