Adapty Mail の A/B テスト

Adapty Mail の A/B テストは、2 つ以上のメールキャンペーン全体を比較します。各バリアントは独立した完全なキャンペーンです。ユーザーがフロー内のテストのセグメントに一致すると、Adapty Mail は設定されたウェイトに基づいていずれかのバリアントにルーティングし、バリアントごとの配信数・エンゲージメント・収益を追跡します。

バリアントとは

各バリアントは完全なキャンペーンです。コピー、ヒーロー画像、トーン、シーケンスの長さ、メール間の送信タイミングなど、キャンペーンで変更できるものならすべて異なる設定にできます。A/B テスト自体にこれらの設定項目が直接あるわけではなく、それぞれのキャンペーンを個別に作成してバリアントとして追加します。

A/B テストを作成する

まず Campaigns でキャンペーンを作成します。各バリアントにそれぞれのキャンペーンが必要です。
Adapty Mail で A/B Tests に移動し、Create をクリックします。
各キャンペーンをバリアントとして追加し、ウェイトを設定します。ウェイトの合計は 100% になる必要があります。
テストを適用するユーザーを制御するためのセグメントを割り当てます。
保存します。

テストは draft（下書き） として保存され、この時点ではまだ何も送信されません。公開するにはフローに追加する必要があります。

フローから起動する

A/B テストは A/B Tests ページからは起動できません。起動と終了はどちらもフローの行内で行います。

Adapty Mail で Flows に移動し、テストを実行したいトリガーを開きます。
新しい行の Create をクリックします。ダイアログで Content type を A/B Test に設定し、保存したテストを選んで Save をクリックします。
行上で Launch A/B test をクリックします。

テストのステータスが draft から live に移行し、セグメントに一致する新規ユーザーへのバリアントルーティングが始まります。フローの行について詳しくはフローを作成するを参照してください。

ルーティングの仕組み

ユーザーがフローのトリガーに到達し、A/B テストのセグメントに一致すると、Adapty Mail は加重ランダム選択を使ってバリアントを決定します。各バリアントのウェイトが抽選のシェアを決めます。ルーティングはユーザー単位で決定論的ではありません。

結果を確認する

A/B Tests ページでは、各バリアントの生の集計数値と導出されたレートが表示されます：

Delivery（配信）: Sends（送信数）、Deliveries（到達数）、Bounces（バウンス数）
Engagement（エンゲージメント）: Opens（開封数）、Clicks（クリック数）、Unsubs（配信停止数）
Revenue（収益）: Purchases（購入数）、Revenue（収益）

各指標の計測方法や収益のアトリビューションについては、キャンペーン分析を参照してください。

テストを終了する

起動と同様に、終了も A/B Tests ページではなくフローの行から行います。

テストが実行中のフローの行を開きます。
Finish A/B test をクリックします。
Finish A/B test ダイアログで、Replace with campaign ドロップダウンから勝者キャンペーンを選択します。空のままにするとセグメントをフローから完全に削除します。
確認します。

いずれかのバリアント（勝者・敗者問わず）のシーケンス途中にいるユーザーは、引き続きスケジュールされたメールを受け取ります。勝者に切り替わることはありません。

ライフサイクル

A/B テストは 4 つのステータスを経由します：

Draft（下書き）: 作成済み、まだライブのフロー行に追加されていない。
Live（公開中）: 追加・起動済みで、入力ユーザーをルーティング中。
Finished（終了）: Finish A/B test によって停止済み。
Archived（アーカイブ）: リストからソフト削除済み。