robots.txt和nofollow都可以禁止搜索引擎抓取頁(yè)面，如果你同時(shí)使用了robots.txt文件和robots meta標(biāo)簽，如果robots.txt和meta標(biāo)簽有沖突，googlebot將使用限制更嚴(yán)的。具體來說：
如果你在robots.txt里禁止了某一頁(yè)，Googlebot永遠(yuǎn)也不會(huì)去索引那一頁(yè)，也不會(huì)讀取那一頁(yè)的任何標(biāo)識(shí)。南京大金空調(diào)維修
如果你在robot.txt中允許，但是在頁(yè)面中使用 meta 標(biāo)簽對(duì)其進(jìn)行限制，那么Googlebots會(huì)訪問那一頁(yè)，讀取里面的標(biāo)簽，但不會(huì)對(duì)其進(jìn)行索引。
如果你在robots.txt里禁止了某一頁(yè)，Googlebot永遠(yuǎn)也不會(huì)去索引那一頁(yè)，也不會(huì)讀取那一頁(yè)的任何標(biāo)識(shí)。南京大金空調(diào)維修
如果你在robot.txt中允許，但是在頁(yè)面中使用 meta 標(biāo)簽對(duì)其進(jìn)行限制，那么Googlebots會(huì)訪問那一頁(yè)，讀取里面的標(biāo)簽，但不會(huì)對(duì)其進(jìn)行索引。
