(1)不要忽略
淮南網(wǎng)站優(yōu)化中網(wǎng)站的robots文件，個(gè)別情況下系統(tǒng)robots是禁止搜索引擎抓取的，所以當(dāng)網(wǎng)站即將上線時(shí)注意查看robots文件的正確性，網(wǎng)站日常維護(hù)過(guò)程中也要注意定期檢查。
User-agent: *
Disallow: /
禁止所有搜索引擎抓取網(wǎng)站
User-agent: Baiduspider
Allow: /
僅允許百度抓取網(wǎng)站
User-agent指示以下規(guī)則針對(duì)哪個(gè)搜索引擎，*代表所有搜索引擎;Disallow和Allow分別代表禁止和允許
(2)建立網(wǎng)站sitemap文件、死鏈文件，并及時(shí)通過(guò)百度站長(zhǎng)平臺(tái)進(jìn)行提交
在robot文件中指明sitemap文件位置
(3)合理利用站長(zhǎng)平臺(tái)提供的robots、sitemap、索引量、抓取頻次、死鏈提交、網(wǎng)站改版等工具。
符合搜索引擎抓取習(xí)慣的網(wǎng)站是在根本上提升了搜索引擎的喜歡程度，從而幫助網(wǎng)站實(shí)現(xiàn)快速收錄。兩者間的區(qū)別就好比，前者是你把糖送到搜索引擎嘴邊，而后者卻是讓搜索引擎習(xí)慣性的問(wèn)你要糖吃。
