Optimization
ご覧のページは、お客様の利便性のために一部機械翻訳されています。また、ドキュメントは頻繁に更新が加えられており、翻訳は未完成の部分が含まれることをご了承ください。最新情報は都度公開されておりますため、必ず英語版をご参照ください。翻訳に問題がある場合は、 こちら までご連絡ください。

A/Bテスト分析

A/B テストでは、バリアント デザインをコントロール デザイン (つまり、オリジナル) に対してテストすることで、コンテンツ ページの有効性を評価します。 このプロセスには、ページ バリアントを作成し、指標 (クリック数など) を使用してテストし、最も効果的なバリアントを公開することが含まれます。 これらのテストは、サイトのユーザーにとって最適なエクスペリエンスを選択するのに役立ちます。

A/B テストの作成とコンテンツページ用の設定の詳細については、Liferay DXP の A/B テストのドキュメントを参照してください。

Analytics Cloudは、Liferay DXPで実行されたA/Bテストのすべての結果を追跡します。 作成されると、テストは Analytics Cloud と自動的に同期されます。 A/B テストを表示するには、左側のメニューで テスト をクリックします。

メトリックは、Analytics Cloud ワークスペースのタイムゾーンで午前 1 時頃からダッシュボードに表示され始めます。

[テスト]メニューには、サイトのために作成・定義されたすべてのA/Bテストが表示されます。

下書きの A/B テストでは、次の詳細を表示できます。

  • ターゲット: エクスペリエンスとユーザーセグメント
  • メトリクス: 追跡する目標(バウンス率やクリック率など)。
  • バリアント: ユーザーが操作するページのバリアント。

A/B テストが設定され、実行できる状態になりました。

DXP で A/B テスト ページを表示するには、 [レビュー]をクリックします。 A/B テストを削除するには、 削除をクリックします。

A/Bテストが実行されると、Analytics Cloudはこれらのレポートを提供し、その進捗を常に把握することができます。

重要

Liferayインスタンスで ステージング が有効になっている場合、A/Bテストはサポートされません。

概要

[Summary]パネルでは、完了率、実行時間(日数)、訪問者の総セッション数など、テストの詳細の概要を確認することができます。

また、メトリックの詳細と、バリアントとコントロールのパフォーマンスの比較の概要も簡単に示します。

概要パネルにはテストの概要が表示されます。

バリエーション レポート

バリアント レポート パネルには、バリアントがコントロールに対してどのようなパフォーマンスを示しているかの詳細な内訳が表示されます。

バリアント レポート パネルには、バリアントとそのパフォーマンスの詳細な内訳が表示されます。

報告された指標は以下の通りです。

中央値: サンプル値セット内の中央の数値。 これは、典型的なユーザーの行動を推定します。

直帰率またはクリックスルー率: コントロールとバリアントの直帰率またはクリックスルー率のパーセンテージ。 表示されるメトリックは、選択した A/B テストの種類によって異なります。

信頼区間: 母集団の真の平均を含むと期待される値の範囲。 例えば、95信頼区間とは、システムが真の平均値を含むことを95%確信している値の範囲のことです。 これは、測定された目標に対してもっともらしいと思われる値の範囲を与えます。

改善: 対照群からの相対的な改善。 このメトリックは、リフトとしても知られています。 例えば、コントロールページの保持率が15%で、バリアントページの保持率が16%だったとします。 改善の計算は、 ((16 - 15) / 15) = ~6.67% 改善となります。 これは、変化の影響を示しています。 わずかな改善しかないのであれば、その変更を実施する価値はないかもしれません。

勝利確率: バリアント型がコントロール型に勝つ可能性を予測します。 複数のメトリクスを比較して表示します。 例えば、競馬を考えてみましょう。各馬には、何千回もレースをシミュレーションして算出された勝率(=オッズ)がレース前に掲示されています。 これと同じ方法で、バリアントもA/Bテストに勝つ確率を計算します。

ユニークビジター: バリアントに貢献している訪問者の数。 ランダムにバリアントを割り当てられた訪問者は、テストが終了するまで常に同じバリアントを見ています。 このメトリクスは、ページにアクセスするトラフィックの量を知る以外にも、A/Bテストの設定上の問題点を判断するのに役立ちます。 例えば、ある Variant に行くトラフィックが多すぎる可能性があります (通常、Segment の設定ミスが原因です)。

重要

テスト データを報告するには、バリアントごとに少なくとも 5 つの成功と 5 つの失敗が必要です。 このしきい値が満たされない場合、テスト データは報告されません。

テストセッション

[Test Sessions]パネルには、1日あたりのテストインプレッションの閲覧セッション数が時系列で表示されます。 これにより、オーディエンスがA/Bテストのインプレッションに誘導されていることを確認することができます。 また、テスト開始前と比較して、テストがページへのトラフィックにどのような影響を与えるかも示しています。

[Test Sessions]パネルには、1日あたりのテストインプレッションの閲覧セッションが時系列で表示されます。

テストステータス

A/B テストが開始されると、次のいずれかのステータスになります。

テストを実行中

テストは実行中ですが、必要な信頼度レベルに達して勝者を宣言する前に、より大きなサンプル サイズが必要です。 現在の結果を表示できます。

テストは実行中ですが、現在の結果を表示できます。

テストの実行中に、概要バーから テストの終了 を選択してテストを終了できます。

[Terminate Test]をクリックして、実行中のテストを終了します。

重要

A/B テストを正常に実行するには、大量のトラフィック (1 日に数千ヒットなど) が予想されます。 これにより、一般公開されているサイトはテストに適しています。 社内サイトやポータルの場合、テスト終了までにかなり時間がかかる場合があります。

勝者宣言済み

A/B テストが正常に終了すると、勝者が宣言されます (つまり、バリアントまたはコントロールが勝ちました)。 ここから、次のアクションを実行できます。

  • 優勝者をデフォルトのエクスペリエンスとして公開します。
  • 変更を公開せずにテストを削除します。

A/Bテスト終了後に勝者を公開することができます。

明確な勝者がいません

場合によっては、バリアントのパフォーマンスがコントロール ページよりも大幅に優れていないために、Analytics Cloud で勝者を決定できないことがあります。 この場合でも、 公開をクリックしてバリアントを公開することができます。 または、 削除をクリックして A/B テストを削除します。

バリアントによるパフォーマンスの不足は、明確な勝者がいないA/Bテストにつながる可能性があります。

テスト終了

A/B テストが勝者を決定する前に終了した場合、テスト ステータスは終了として表示されます。

早期に終了したテストは、終了したテストとして表示されます。

終了した A/B テストは指定された信頼度レベルに達しなかったため、結果の信頼性は本質的に低くなります。

公開 ボタンをクリックすると、バリアントを公開することもできます。 または、 削除をクリックして A/B テストを削除します。