QA開発チームの今井です。
サイト改善について考えるとき、多くの人が、こんなところで立ち止まります。
- 何から手をつければいいのか分からない
- まだ判断できるほどデータが揃っていない
- でも、このまま何もしないのは不安
新しいデザインに変えたばかりのサイトや、まだアクセス数が多くない段階では、「これが正解だ」と言い切れる材料は、そもそもありません。
それでも、
- いまの状態の中で、できるだけ良い形にしたい
- まずは一つ、迷わず進める状態を作りたい
そう考える場面は、とても多いと思います。
この記事は、そんな場面に直面したとき、分析に慣れているとは言えない開発側の視点で、どう考え、どう判断しようとしたかの記録です。
分析に詳しい人のための話ではなく、迷いながら改善を考えている側の視点です。
データがあっても、判断に迷う理由
QA Assistants を使うと、ヒートマップやクリック、スクロールなど、ユーザーの行動をさまざまな角度から見ることができます。
ただ、実際にデータを見始めると、「見えたからすぐ改善できる」という状態には、意外となりません。
- どこから見ればいいのか
- 何を基準に判断すればいいのか
- そもそも、今は動くべきなのか
データが足りないというより、判断の軸が定まっていないことが原因だと感じました。
迷いを減らすには、比べられる形が必要だった
そこで考えたのが、「比べられたら、判断しやすくなるのでは？」ということでした。
今の状態を一つに決め打ちするのではなく、いくつかの案を並べて見る。
そうすれば、
- 正解を当てにいく
- 勘で選ぶ
という状態から、少し距離を置けます。
この考え方は、一般に A/Bテスト と呼ばれています。
2つの案を同時に試し、ユーザーの行動の違いから考える方法です。
難しいことをするわけではありません。
どちらが自然に使われたかを、あとから落ち着いて見られるようにする。
それだけです。
A/Bテストでも、「どう分けるか」でまた迷う
ただ、A/Bテストといっても、やり方は一つではありません。
- ページ内の一部を変える
- ボタンやコピーだけを差し替える
- ページごと分ける
最初は、WordPressでA/Bテストができるプラグインを中心に、一通り調べてみました。
多くは、ページ内の文言や要素を差し替えて比較する設計で、今回考えていた「ページごとに分けて、行動を並べて見る」という用途とは、少し前提が違う印象でした。
シンプルに、リダイレクトでページを振り分ける形のものは見当たらなかったため、この前提に合わせて作ることにしました。
QA Assistantsは「データ駆動アシスタント」という考え方
ここで、「データ駆動アシスタント」という言葉について、少しだけ。
QA Assistants は、データを自動で答えに変えてくれるツールではありません。
データを材料にして、次に何を考えればいいかを手助けする存在として設計しています。
- どこを見ると良さそうか
- 何を比べると判断しやすいか
そうした「考える前段」を支えるのが、アシスタントの役割だと考えています。
今回のA/Bテストも、単なるテスト機能ではなく、考えるためのデータ駆動アシスタントの一つという位置づけです。
だから、ページを分けて考えることにした
QA Assistants は、ページ単位でユーザー行動を見るツールです。
だから、
- ページA
- ページB
を分けたほうが、その強みをそのまま活かせると考えました。
ページごとに行動を見られれば、
- データが混ざらない
- 比較する対象がはっきりする
- 次に考えるポイントが見えやすい
考えるためのアシスタントとして、とても自然な形だと感じています。
今回は、文言だけを変えるところから始めた
今回のA/Bテストでは、
- レイアウトは変えない
- ボタンの色も変えない
- 文言だけを変える
という、とても小さな差分にしています。
■ before
■ after
理由はシンプルで、何が影響したのかを後から考えやすくするためです。
いきなり大きく変えてしまうと、結果が動いたとしても、「なぜそうなったのか」が分かりにくくなります。
まずは判断しやすい状態を作ることを優先しました。
また、小さな差分から始めるのは、一度で最善の形を決めたいからではありません。
判断しやすい形で試行を重ねることで、結果として、より良い形に近づいていける。
そう考えています。
大きな改善を一手で当てにいくよりも、迷いなく続けられる改善を積み重ねていくほうが、長い目で見て、サイトにとって自然だと思っています。
今回のA/Bテストも、単なるテストではなく、改善を止めずに考え続けるためのアシスタントの一部として位置づけています。
年内は、実際に回せるところまで進めた
年内の段階で、
- A/Bテスト用のプラグインは完成
- 比較用の固定ページも2つ用意
- 実際にテストを回し始められる状態
まで進めました。
結果を急ぐというより、考えられる状態を作ることを優先しています。
年明けに見るのは、結論ではない
年明けに見たいのは、一つの結論を出すことではありません。
ページごとの行動の違いや、どちらのほうが考えやすかったか。
そこから、次に何を考えたくなったか。
そうした変化を、落ち着いて見ていきたいと考えています。
このA/Bテストも、単独のプラグインとして使うものではなく、改善を前に進めるためのアシスタントの一部として位置づけています。
また進展があれば、その続きを整理して書いてみようと思います。