問題
- SemrushBot/7~blのウェブクローラーから来るリクエストがサイト上で複数確認され、1週間以内に50万リクエストに達する可能性があること
- リクエスト数が多いため、スキャン中の安定性が懸念されることがある
環境
- Liferay DXP 7.2
- LXC-SMクラウド
解像度
- これらのボットは無害ですが、いくつかのLiferay Cloudのサイトをスキャンしています。
- これらのボットの詳細については、こちらをご覧ください： https://www.semrush.com/bot/
- クロールされないようにするには、サイトの指示に従い、robots.txtファイルを使用し、適用するサイトやツールの使用例に応じて、正しい内容や構文を追加してください
- ツールを適用しない場合は、以下を使用してSemrushBotsのクロールをブロックしてください：
User-agent: SiteAuditBot
Disallow: /