NPS® を使用して
機能に優先順位を付ける方法

アジャイル フレームワークで仕事をするプロダクト マネージャーとして、担当製品に関するフィードバックをお客様から得る方法はいくつかあります。たとえば、顧客インタビュー、アンケート、サポート リクエストなどです。その他に、耳にされたことがあるかもしれませんが、NPS もそうです。

聞いたことがない方のために説明すると、NPS とは、ネット プロモーター スコアのことです。NPS は、顧客ロイヤルティの計測指標で、製品に関する顧客感情と、その結果に関する対応策を定量化します。 製品の導入拡大が口コミマーケティングに大きく依存している私のような PM にとって、これは特に有益な顧客フィードバックの仕組みです。顧客満足度調査など、エンゲージメントを定量的に測定する他のツールと比較して、NPS の優れた点は、一貫した、測定可能な結果を提供するフィードバックを短期間で収集することが非常に簡単であることです。たった一つの質問で、スコアを他の製品と比較評価できます。

本稿では、NPS を測定基準としてだけでなく、ソフトウェアチームによる機能の優先順位付けに役立つ強力なツールとしても使用する方法を説明します。

NPS アンケートには、単純な 1 つの質問しかありません。「友人や同僚に <当社製品> をどの程度勧めたいと思いますか?」

Atlassian 製品での表示例を以下に示します。

NPS アンケートで有意な数の回答を収集した後、回答を推奨者 (9–10、Promoters)、中立者 (7–8、Passives)、および批判者 (0–6、Detractors) の 3 つのグループに分類します。

次に、推奨者の割合 (%) から、批判者の割合 (%) を引いて NPS を算出します。 たとえば、100 人の回答者のうち、推奨者 40 人、中立者 25 人、批判者 35 人の場合、NPS は (40% - 35%) = +5% となります。NPS の範囲は -100% から +100% です。

Atlassian では、顧客フィードバックがすべての取り組みの指針です。NPS は、当社の製品に対するお客様の感情を理解するために利用する最も重要な指標のひとつです。しかし、NPS は数値にすぎないので、お客様が当社の製品に満足または不満足な理由はわかりません。

このため、スコア選択後にその理由についてフィードバックをお願いしています。

このような回答を "Verbatim (逐語フィードバック)" と呼び、ここで興味深い情報を得ます。以下で、このフィードバックを実施可能なインサイトへと変換するステップを説明します。

私たちは毎月、数千件の逐語フィードバックを受け取ります。お客様からのフィードバックを最大限に活用するため、逐語フィードバックを具体的なテーマに自動分類します (テキスト分析を使用)。これはフィードバックを最大限に活用できるチームにフィードバックを渡すのに役立ちます。

しかし、特定のユースケースや問題点を識別しているプロダクトマネージャーであれば、高額なソフトウェアを購入したり、構築したり、学習する必要はありません。独力で、ソフトウェア並みに簡単に逐語フィードバックを読み取り、分類できます。

手作業で逐語フィードバックを読み取り、分類する作業であなたとチームは多大な価値を得られます。お客様を満足させることや、不愉快にさせることを簡単に把握できます。ある特定の問題や機能に関して考え方が変わることさえあるかもしれません。

以下では、Atlassian のチーム コラボレーション製品である Confluence に関して私たちが得た一部の逐語フィードバックを例に挙げ、機能に優先順位を付けるプロセスで、私たちがその逐語フィードバックをどのように使用しているかを説明します。

最初の逐語フィードバックは読んでうれしいものですが、すぐに実施可能な新たな情報はまったく得られません。一方、2 件目の逐語フィードバックにはお客様の具体的な不満が記されています。これには "ユーザビリティ" と "フォーマット" のラベルをタグ付けできます。これは、スプレッドシート (またはデータベース) で以下のように表すことができます。

別の逐語フィードバックを見てみましょう。

この逐語フィードバックには別の２つのラベルを追加します。

さらに逐語フィードバックを追加していきながら、必要に応じてカテゴリーやラベル付けを追加します。ルールとして、好意的なフィードバックにはラベルを追加しません。たとえば、「表の機能は最高! でも Confluence がもっと高速だったらいいのに」という逐語フィードバックには「パフォーマンス」のタグ付けをしますが、「表」のタグ付けはしません。

たくさんの逐語フィードバックを分類しましたが、取り組む価値があるものをどのように判断するのでしょうか。Atlassian では、数量と具体的な体験を記したお客様の感情 (センチメント) を検証します。この２つの情報の組み合わせが NPS 逐語フィードバックの分析に役立っています。

以下では、手作業で分類することにした場合、その努力に見合う最大の価値が得られるものを見分け、お客様に満足していただける製品を作るうえで役立つヒントをいくつか紹介します。

まず、各カテゴリーのフィードバック項目の数を数えます。

たとえば、以下のような結果を得たとします。

(とりあえず) 下位タグを除去して並び替えると、上位優先項目がすぐにわかります。

この他に情報がない場合は、パフォーマンスを指摘したコメント数が一番多いので、パフォーマンス改善が一番の案件であることがすぐにわかります。しかし、本当にこれが取り組むべき最重要課題でしょうか。パフォーマンスに取り組めば最大の価値をお客様にもたらすことができるのでしょうか。

各カテゴリーの NPS スコアを計算することで、この疑問に答えることができます。

パフォーマンスへの指摘が多くありますが、その NPS スコアは比較的高い値です。すべてのリソースをパフォーマンスに投入した場合、全体的な NPS スコアはあまり変わらない可能性が高いといえます。同様に、新機能の追加も目立った変化をもたらさないでしょう。しかし、表の機能不足に不満な人と、ユーザビリティの低さに不満を持っている人は多くいるようです。

(メモ: ちなみに、サンプル数が小さい時は結論を導き出す時に注意が必要です。上記の数値は単なる例であり、大きな誤差があるかもしれません。)

ここまでのステップで逐語フィードバックを分類し、最も効果の大きい案件を特定しました。お客様から直接得たフィードバックは非常に価値のあるものですが、ひとつの情報に過ぎないので、最も重要な体験を改善していると確信するためには他の顧客データ (調査、製品フィードバック、サポート問い合わせ、製品を乗り換える人々からのフィードバックなど) と比べて徹底的に確認すべきです。このすべてのデータを使用してバックログにある機能の優先順位を強く主張できますが、NPS データは次に何を開発すべきかを示しているわけではないことに留意してください。利用できる多くの情報のひとつにすぎません。

難しいのはここからです。ソリューションを見つけ、それを実装することです。

朗報は、問題の理解に役立つ、お客様からの多数のフィードバックがすでにあることです。機能リクエストを通じて、インタビューのために連絡できるお客様がいる可能性さえあります。NPS がバックログにある機能の優先順位付けに役立つだけでなく、記載された逐語フィードバックもお客様の問題を特定するのに役立ちます。計測可能なスコアと顧客フィードバックのこの組み合わせは、プロダクトマネージャーにとってはまさに宝です。