SEO 改善: robots.txt に User-agent を追加

[nabbisen]

概要(Overview・Refs Issue)

Lighthouse のテストで "robots.txt is not valid" が出たので修正しました。

方針(Policy)

https://web.dev/robots-txt/
に従って、/robots.txt に対して "User-agent" 定義を追加しました。

実装に関する補足(Appendix)

（ありません。）

テスト（Test)

セルフホストしている EC-CUBE 4.0.4 のサイトに適用して、次のことを確認しました:

1. Lighthouse のテスト結果が改善された。

次の動作確認も行いました:

1. トップページの初期表示に一見しておかしなところが無い。
2. Console にエラーが出力されていない。

相談（Discussion）

（ありません。）

マイナーバージョン互換性保持のための制限事項チェックリスト

• 既存機能の仕様変更
• フックポイントの呼び出しタイミングの変更
• フックポイントのパラメータの削除・データ型の変更
• twigファイルに渡しているパラメータの削除・データ型の変更
• Serviceクラスの公開関数の、引数の削除・データ型の変更
• 入出力ファイル(CSVなど)のフォーマット変更

レビュワー確認項目

• 動作確認
• コードレビュー
• E2E/Unit テスト確認(テストの追加・変更が必要かどうか)
• 互換性が保持されているか
• セキュリティ上の問題がないか

[kiy0taka]

ありがとうございます。
Lighthouseのレポートで No user-agent specified エラーが改善されたことを確認できました。