最近頁面抓取的相當(dāng)不理想，短短的三個月內(nèi)抓取的還沒有上兩位數(shù)，真的是對于這個抓取的相當(dāng)費(fèi)解，其他的網(wǎng)站無論從抓取量及外鏈上都有一定的提升，但是總有一兩個站是相當(dāng)不如意。

    我們都知道，robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式，用來指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容。

    百度官方是推薦所有的網(wǎng)站都使用robots文件，以便更好地利用蜘蛛的抓取。其實(shí)robots不僅僅是告訴搜索引擎哪些不能抓取，更是網(wǎng)站優(yōu)化的重要工具之一。

    在網(wǎng)站優(yōu)化方面，利用robots文件告訴搜索引擎哪些是重要的內(nèi)容，不重要的內(nèi)容均推薦用robots文件來禁止抓取。不重要的內(nèi)容的典型代表：網(wǎng)站的搜索結(jié)果頁面。

    對于靜態(tài)網(wǎng)站來說，我們可以利用Disallow: /*?*來禁止動態(tài)頁面抓取。但對于動態(tài)網(wǎng)站來說，就不能簡單地這樣做了。不過對于動態(tài)網(wǎng)站的站長來說，也無需過于擔(dān)心，搜索引擎現(xiàn)在可以正常地抓取動態(tài)頁面。那么在寫的時候，就要注意了，我們可以具體到搜索文件的名稱來寫。比如你的站是search.ph?后面一大串，那么可以這樣寫：

    這樣就可以屏蔽搜索結(jié)果頁面了，寫好了可以到百度站長平臺檢測robots一下，看看有沒有錯誤！可以輸入網(wǎng)址檢測一下，是不是正常生效了。