問題
- 一部のページでロボットを無効にする方法と、ロボットのインデクサーが環境にアクセスできないようにする方法。
Environment
- DXP 7.0
- DXP 7.1
- DXP 7.2
- DXP 7.3
- DXP 7.4
- Liferay エクスペリエンス クラウド
解決策
- robots.txt でロボット インデックス サイトの構成を定義できます。
- de robots インデックス作成を無効にするには、robots 設定で Disallow: / パラメータを使用して定義できます。
たとえば、パブリック ページの構成から、すべてのページのインデックスを無効にするには:
- 個々のページを非表示にするには:
-
Disallow: /page-name
-
- これは、ロボットのインデクサーがサイトとその情報にアクセスできることを意味しますが、構成ポリシーのために、ロボットのインデクサーは定義されたページのインデックスを作成しません。
-
Liferay Experience Cloud では、ロボットが認証レイヤーのある環境に到達することを簡単に拒否できます。 このレイヤーは、ロボットがサイトに到達できないことを保証します。 単なるインデクサー ポリシーではありません。
Web サーバーから、 .conf ファイルの次のプロパティを使用して、サイトに到達する前に承認レイヤーを定義できます。
auth_basic "Authentication Required";
auth_basic_user_file /var/www/html/.htpasswd;
追加情報