A_Bテストキャンペーンのタッチポイント
Optimizelyマニュアル｜キャンペーンのタッチポイントのA/Bテストを検討して、Optimizelyのデータ駆動型プラットフォームとのエンゲージメントを最適化します。
注記
2023 年 4 月より前にキャンペーンにアクセスしていた場合、Optimizely はタブ名を [キャンペーン]から[アクティベーション]に更新しました。 すべての機能は同じままです。
Optimizely Data Platform (ODP) でキャンペーン ターゲットに対して複数のバージョンのコンテンツをテストすることで、エンゲージメントを最大化できます。
何をテストするか
コンテンツのあらゆる側面を最大 5 つのバリエーションでテストできます。 Optimizely では、より決定的な結果を得るために、2 つまたは 3 つのバリエーションのみを使用することをお勧めします。 バリアントでの変更を検討できる内容は次のとおりです。
件名– 長さ、トーン、またはパーソナライズのレベルを変更します。
プロファイルの送信– 一般的な会社や部門のアドレスではなく、従業員の電子メール アドレスから電子メールを送信します。
オファー– ホワイトペーパーやビデオなど、さまざまなタイプのオファーを使用します。
形式– 段落や箇条書きなどのコンテンツの形式をExperiment。
画像– さまざまな写真やグラフィックを使用して、エンゲージメントに影響を与えるかどうかを判断します。
A/B テストを構成する
[アクティベーション] > [エンゲージ] > [新しいキャンペーンの作成]に移動します。
[ワンタイム] 、 [動作] 、または[トランザクション]を選択します。
既存のキャンペーンを選択するか、 「最初から作成」をクリックします。
[タッチポイント]セクションを展開し、タッチポイントを編集します。
次のセクションを使用して、テストのオプションを構成します。
テストの種類
現在、次の 2 つのテスト方法が利用可能です。
自動– ODP は、キャンペーンのセグメントの小さなサンプルにさまざまなバージョンのコンテンツを送信し、事前に選択された基準に基づいて勝者を決定します。 優勝したコンテンツは残りのすべての顧客に送信されます。この 2 段階のアプローチは、一部の顧客が他の顧客より先にコンテンツを受信することを意味します。 時間に敏感なキャンペーンは、このテスト方法には適していません。
手動– ODP は、合計が 100% になる指定されたセグメントのパーセンテージにコンテンツを送信します。 タッチポイントは単一フェーズであり、二次的な勝者フェーズはありません。 ODP は 2 つのバージョンを比較し、勝者を決定します。 このオプションを選択すると、バリエーション スライダーのみを設定できます。
テスト期間 (自動テストのみ)
この設定により、テスト期間の長さが決まります。 各バリエーションに割り当てられたパーセンテージによって、キャンペーン開始時に送信される電子メールの割合が決まります。 テスト期間の後、ODP は勝者を決定し、セグメントの残りの部分に勝者のコンテンツを送信します。
明確な勝者を決定するには、顧客がキャンペーンに行動する (メールを開いてクリックする) ための十分な時間を確保する必要があります。 Optimizely では、少なくとも 4 時間の継続時間を推奨します。
定期的なキャンペーンをテストする場合、ODP は開始時からテスト期間中まですべての電子メールをテストし、その後のキャンペーン実行で使用する優勝コンテンツを決定します。
勝利基準 (自動テストのみ)
ODP は、選択した勝利基準に基づいてテストを評価します。
開封数– 電子メールを開いた一意の受信者の数を合計送信数で割ったもの。
クリック数– 電子メールをクリックした一意の受信者の数を合計送信数で割ったもの。
開封のクリック率– 電子メールをクリックした一意の受信者の数を、電子メールを開いた一意の受信者の数で割ったもの。
コンテンツの変更によっては、ある指標が別の指標よりも関連性が高くなる場合があります。 たとえば、件名行とプリヘッダーを変更した場合は、opens を使用するとよいでしょう。 電子メールの本文やオファーを変更する場合は、開封のクリック率を使用することもできます。
デフォルトの勝者 (自動テストのみ)
バリエーションが勝者となり得るのは、変更の勝敗基準値の差が統計的に有意である場合のみです。 テストが決定的でない場合、代わりにセグメントの残りの部分がデフォルトの勝者になります。
2 つのコンテンツ間のテストの場合、勝利基準に一致するテスト グループの 2 つの割合の Z スコアを計算することによって、統計的有意性が決定されます。 具体的には、メッセージ A はテスト期間中にn a 人の受信者に送信され、端数p aが勝利基準に一致し、メッセージ B はテスト期間中にn b人の受信者に送信され、端数p bが勝利基準に一致します。 Z スコアは、 p aとp b が偶然の結果を表すのではなく、ある程度の誤差の範囲内で勝利基準に一致する結果の真の差異を表すという信頼度を計算します。 統計的に有意な勝利を得るには、Z 値 1 または 68% の信頼レベルが発生する必要があります。
テストに 3 つ以上のバリアントがある場合、ODP は各コンテンツの結果を相互に比較します。 テストされた他のすべてのコンテンツに対して統計的に有意であれば、勝者は統計的に有意です。
バリエーションスライダー
自動テストの場合– スライダーは、テスト期間中に各バリエーションを送信するキャンペーン セグメントの割合を示します。 Optimizely では、テスト結果が統計的に有意である可能性を高めるために、1 回限りの自動テストには 10% を推奨します。 小規模セグメント (100,000 未満) の場合は、この割合を 20 ～ 25% に増やすことを検討してください。 各バリエーションに同じパーセンテージを使用する必要があります。
定期的なキャンペーンの自動テストの場合、ODP はテスト期間中の電子メール送信を 100% でテストします。また、各バリエーションを受信する登録顧客の割合を変更する機能も備えています。
手動テストの場合- ODP はセグメントの 100% をターゲットにし、内訳を変更できます。 各コンテンツに同じ割合を使用するようにしてください。
考慮事項
A/Bテストはあらゆる状況で利用できるわけではありません。
A/Bテストは、 API トリガーのプッシュ キャンペーンでは利用できません。
イベントトリガー型キャンペーンでは手動テストのみが利用可能です。
キャンペーンのオーディエンスは、A/B テストの種類に基づいて異なる方法で計算されます。 ODP は、テスト期間の開始時と勝利フェーズの時点でキャンペーン セグメントを決定します。 例えば、顧客Aがキャンペーン開始時点ではキャンペーンセグメントに存在していなかったが、勝ちフェーズの時点ではキャンペーンセグメントにいた場合、勝ちフェーズの対象となる。
レビュー結果
[アクティベーション] > [エンゲージ]に移動します。
確認したい A/B テスト済みキャンペーンを選択します。
パフォーマンス指標にアクセスするためにテストされたキャンペーン タッチポイントを選択します。
自動テストの場合– 結果を並べて比較できます。 ラベルは、テスト期間中に勝者が決定されたかどうかを指定します。 統計的に有意な場合、バリアントには「勝者」ラベルが付けられます。
テスト期間中に ODP が明確な勝者を決定できなかった場合、バリアントには「デフォルト勝者」ラベルが付けられます。
手動テストの場合 –結果を並べて比較できます。 ODP が勝者を選択しなかったため、タッチポイントには勝者ラベルがありません。 代わりに、バリアントの相対的なパフォーマンスによって勝者と今後のキャンペーンのポイントが決まります。
