用戶在額外的頁面上不會找到任何對自己有用的信息。最有可能的是，他根本不會造訪這些頁面，或不會在這些頁面上停留太久；
搜尋引擎結果包含相同的頁面，但 英國手機號碼 地址不同（即內容重複）；
搜尋機器人必須花費大量時間來索引完全不必要的頁面。他們不會對有用的內容建立索引，而是會毫無用處地在網站上閒逛。由於機器人無法索引整個資源並逐頁進行索引（因為有很多網站），因此在發出請求後可能無法很快找到您希望收到的必要資訊；
伺服器負載非常重。
在這方面，建議阻止搜尋機器人存取某些網路資源頁面。
哪些文件和資料夾可以被禁止建立索引：
搜尋頁面。這是一個有爭議的點。有時，為了建立相關頁面，需要在網站上使用內部搜尋。但這並不總是能做到。搜尋的結果通常是出現大量重複頁面。因此，建議關閉搜尋頁面進行索引。
購物車和下訂單/確認訂單的頁面。建議對使用訂單的線上交易網站和其他商業資源關閉它們。這些頁面被包含在搜尋引擎索引中是非常不想要的。
分頁頁面。通常，它們的特點是自動註冊相同的元標記。此外，它們用於發布動態內容，因此搜尋結果中會出現重複內容。在這方面，應該關閉分頁以進行索引。
過濾器和產品比較。線上商店和目錄網站需要關閉它們。
註冊和授權頁面。由於使用者在註冊或授權期間輸入的資料的機密性，它們需要關閉。 Google 將評估這些頁面是否無法建立索引。
系統目錄和檔案。網路上的每個資源都包含大量資料（腳本、CSS 表、管理部分），這些資料不應該被機器人查看。
robots.txt 檔案將幫助您關閉檔案和頁面以進行索引。
robots.txt 是一個純文字文件，其中包含搜尋機器人的說明。當搜尋機器人登陸網站時，它首先會找到 robots.txt 檔案。如果它丟失（或為空），那麼機器人將轉到免費可用的資源（包括系統頁面）的所有頁面和目錄，並嘗試對它們建立索引。但是，不能保證您需要的頁面將被索引，因為它可能無法到達那裡。
robots.txt 可讓您將搜尋機器人導向必要的頁面，而不是那些不應該被索引的頁面。該文件可以同時指示所有機器人，也可以單獨指示每個機器人。如果網站頁面被關閉索引，它將永遠不會出現在搜尋引擎結果中。建立 robots.txt 檔案至關重要。
