正解のない「面白さ」をいかに数値で計測するか？ サイゲームスのデータ分析者が「最高のコンテンツ」のためにしていること
サイゲームスでは、ゲームを始めとする自社コンテンツをより良いものにするために、各種データを集め、分析しています。その業務を専門に請け負っているのが、データマイニングチームです。運用中のスマートフォン向けゲームやマンガ配信サービスの分析の他、TVCMの効果測定なども行っています。
今回は、データマイニングチームの中でも「プロジェクト専属」「プロジェクト横断」「人材育成」と異なる役割を担う3名に話しを聞きました。実際の業務事例や、「最高のコンテンツ」のためにどんなことを考えてデータ分析に取り組んでいるかをご紹介します。
- データマイニング サブマネージャー（人材育成・プロジェクト横断）ケンタ
- 2015年新卒入社。プロジェクトマネージャーやプランナー職を経てチームに加入。現在は同チームのサブマネージャーとして、主に人材の育成を担当している他、プロジェクトを横断しての知識共有、問題解決などに努めている。
- データマイニング（『Shadowverse』専属）トモヤ
- SI企業における進行管理などを経て、第二新卒としてサイゲームスに入社。データ分析に興味があったためデータマイニングチームに配属。現在は『Shadowverse』専属で分析を担当している。
- データマイニング（プロジェクト横断）コウメイ
- データ分析の専門会社でデータサイエンティストを務めたのち、サイゲームスに入社。現在は複数のプロジェクトを横断的に見たり、プロモーション案件の分析に対応したりしている。
データマイニングチームが果たしている役割
チームの業務概要と、みなさんの担当業務について教えてください。
ケンタ チームとしては、ゲームやコミックなどの運用コンテンツだけでなく、プロモーションや経理に関するデータなど、ありとあらゆるデータを収集・分析して、サービスの改善に繋げるのが主たる業務です。データ分析の仕事はさまざまありますが、やはり運用タイトルに関する業務が多いため、各タイトルに専属の分析者が付いています。それに加えて、プロジェクトのデータを横断的に分析したり、各部署から不定期に上がってくる分析の相談や依頼などに対応したりするメンバーがいます。
私自身はサブマネージャーとして主に人材育成を担当しています。データマイニングチームに新規で合流してくるスタッフの中にはデータ分析未経験者もいますし、経験者でもゲームの分析をしてきたスタッフはほとんどいません。そのため、まずは「ゲーム分析とは？」の基礎知識や分析手法を伝えています。その他、知識の共有や問題解決などを、プロジェクトを横断するかたちで見ています。
トモヤ 私は運用プロジェクトの専属として、2年ほど『Shadowverse（以下、シャドバ）』のデータ分析をしています。運用型のゲームタイトルおよびマンガ配信サービスの「サイコミ」には、私のような専属の分析者が複数名付いています。
コウメイ 私はプロジェクト横断チームに所属して、ケンタさんと同じようにプロジェクト間の知識共有や課題解決などに携わっています。私の場合は、最近は遊撃部隊的な動きをすることが多くて、スポットで運用タイトルの分析をしたり、TVCMの効果測定などを請け負ったりしています。
トモヤさんのような、運用プロジェクト専属の分析者は、どのような業務を行うのでしょうか？
トモヤ 大まかに言うと各ゲームの特性に合わせて仮説を立てて、分析をするのが仕事です。同じスマホで遊べるゲームでもRPG、DCG（デジタルカードゲーム）、リズムゲームなどジャンルによって見るべきデータが変わるので、それぞれに合わせた対応をしていきます。
業務はどのような流れで進むのでしょうか？
トモヤ 基本的には、ディレクターやプランナーなど、施策を立案する人と話しをすることから分析者の仕事が始まります。
実施した施策を振り返る中で、新たな発見や課題が見えてきます。その課題の原因や理由について仮説を立て、どういったデータでその裏付けができるのかを考えながら、データを詳細に分析していきます。そして調査したデータの可視化や資料化をし、それを基に改善や次の施策に繋げる提案を行う、というのがざっくりとした流れです。
ケンタ 「どんなデータを見るか」は難題で、最初に立てた仮説がばっちりハマることってあまりないんですよ。データを調べても仮説を裏付けるような数字が出てこない場合もありますし、調べていくうちに思いもよらない角度から突破口が見えてくることもあります。
トモヤ そうですね。だから仮説は立てるけれども、あくまで「仮説」なので、実際のデータを見ながらそれを修正していきます。その修正した仮説を基にさらに調査を進めて、また修正して……といった作業の繰り返しですね。そうやって徐々に核心に近付いていく感じです。
ケンタさんやコウメイさんのようなプロジェクト横断チームの業務はどうでしょう？
ケンタ トモヤさんを含む運用プロジェクトのスタッフが得た知見をチーム全体で共有し、共通化できる部分を抽出したり、他のプロジェクトに応用したりするのがプロジェクト横断型の分析者です。俯瞰して見る役目を担っています。
コウメイ プロモーション施策といったゲーム以外の案件を扱う場合もありますが、仕事の進め方は基本的に運用プロジェクト専属型と同じです。分析にまつわる相談を受けることから始まり、課題解決のためにどのようなデータを調べれば良いのか、分析結果からどのような改善策がとり得るか、といったことを考えます。対象とするデータが都度変わるだけですね。
ケンタ 運用プロジェクトの場合は「こうすれば良い」と解決策が立てやすいことが多いです。しかし、ゲーム以外の案件の場合はゲームとは違う見方や知識が必要とされることもありますので、経験を十分に積んでおり、特定の技術に特化したベテランスタッフが担当するケースが多いです。
ゲーム分析で重要なのは
「公正さ」「楽しさ」
プロジェクトが抱える課題を発見したり、解決策を考えたりする上で、大切にしていることは何ですか？
ケンタ データ分析は課題解決の1つの手段に過ぎないということです。データ分析の手法にもトレンドがあり、新しい技術も次々と登場していますが、目的はあくまで課題解決です。「どんな技術を使うか」はあまり重要ではなくて、「どうすればより面白くなるか」を依頼者と一緒に考えることが大事です。色々な手法を検討した結果、必要と判断すれば、古典的なやり方や地道な手法も採用します。
コウメイ ゲーム分析の場合、ユーザーの方々に対して公正であることが最も重要で、一般的なデータ分析とは異なる部分もあります。例えば効果測定の手法の1つに、複数の施策パターンを用意して、どちらがより効果があるかを計測する「A/Bテスト」というものがありますが、ゲーム分析では基本的には使用しない手法です。なぜかというとゲームにおいて施策のパターンを変えると、ユーザーの方々によって異なる体験を与えることになり、不公平が生じてしまうからです。公正さを担保するために、使える手段が限定されるのは、ゲーム分析特有と言えるかもしれません。
特徴的なゲーム分析の事例はありますか？
トモヤ 『シャドバ』を運用しながら、自分たちもプレイヤーとしてプレイする中で、新規ユーザーの方々にとって「デッキ編成」が課題になるのでは？という、ユーザー目線での仮説をデータから検証・分析した事例があります。
『シャドバ』は40枚で構成されるデッキを自ら編成して対戦するゲームですが、使用できるカードの種類はアップデートの度に増えていきます。数多く存在するカードの中から対戦相手に勝てるデッキを編成するのが『シャドバ』の面白さの1つですが、不慣れな方にとってはこの奥深さが課題になってしまうのではないか？と考え、その視点から、初心者の方々がしっかりとデッキを強くできているのかを検証しました。
実際に初心者の方が使用しているデッキを調べてみると、徐々にデッキを強くできている場合もあるものの、カードのバリエーションや能力が幅広くなり、昔と比べてデッキを強くできていない方が増えている状況が見受けられたのです。
カードゲームの場合、対戦相手に勝った方が楽しいものですが、「デッキ編成」がゲームを楽しむ上でのハードルとなり得ることがわかったため、現在はその解消に向けたサポート施策を検討しています。
なるほど。ゲーム以外のコンテンツに関してはどうでしょうか？
コウメイ 私が担当したTVCMの分析は、プロモーションの部署から依頼がありました。予算に対してどのくらいの効果があったのかをデータマイニングの手法を使って測定できないか、という相談でした。これまでも費用対効果の調査はしていたのですが、データを分析して気付いたところや改善できそうな点があれば提案してほしいと。ゲーム内の情報とは異なり、誰が、いつ、どのTVCMを閲覧したかが直接分かるデータはないですし、そもそも「効果」とは何か定義するところから進めていく必要がありました。
TVCMはいつ放送したかわかりますし、ゲーム側にはアプリのダウンロード数といったデータが残っています。そこで、TVCMを放送していない期間のゲーム側のデータを活用し、機械学習によってTVCM放送期間のダウンロード数を推定しました。これによりTVCMを「放送しなかった場合のダウンロード数」と「放送した場合のダウンロード数」が比較できるようになり、その差分を「TVCMの効果」であると定義した上で分析を進め、プロモーション部門へレポーティングしました。
ケンタ TVCMには、ゲームに興味を持たせダウンロードしてもらう短期的な目的と、ゲームや会社のブランディングをする長期的な目的があります。CM放送後のダウンロード数の変化は、短期的な効果を検証するものと言えます。ただ、CMを打つタイミングはゲームの周年記念や何らかのキャンペーン施策のタイミングであることが多いので、どこまでがCMの効果であるかを判定するのが難しいというのはあります。現状の方法でもある程度効果の切り分けはできていますが、より正確に効果測定を行うことが今後の課題ですね。
ゲーム、コミック、TVCMなど各種のコンテンツや施策を分析する中で、どんなところが面白かったり、あるいは難しかったりしますか？
ケンタ 分析対象のジャンルを問わず、ディレクターやプランナーといった依頼者と自分たちの分析が施策の改善に繋がり、その結果ユーザーのみなさんに楽しんでもらえることが、データマイニングのやりがいだと思います。
コウメイ 先ほどお話ししたTVCMの事例だと、ゲーム分析の知見が活かせないことも多く、そこに難しさがありました。苦心しましたが、プロモーション側も我々の分析結果を大いに評価してくれて、次回もお願いしたいという話になったので、一緒に「最高のコンテンツ」を作っているというやりがいを感じますね。
トモヤ 初めから明確な答えがないのが難しいところですね。仮説を立ててデータを集め、分析した結果、それが正しかったときやゲームの面白さの向上に繋がったときには達成感があります。自分の分析結果が依頼者に感謝されて、次の施策に活かしてもらえたら、大きなモチベーションになります。
プロジェクト専属として分析を続けることで、仮説を立てる精度が上がった実感はありますか？
トモヤ それはありますね。正直に言うと最初の頃は、誰もがすぐに思い付くような仮説しか立てられませんでした。でも、専属として2年ほど同じゲームの分析を担当することで「聞いたことがある」「知っている」ではなく、実体験として積み重なり、ゲームをプレイしているからこその仮説を立てられるようになりました。基本は「仮説を立てる・分析する・修正する」の繰り返しではありますが、プレイヤーとして、分析者としての視点を兼ね備え、短時間で正解に近付けるようになったかなと。
ケンタ ゲームの運用は早いサイクルで回っていくので、担当するタイトルを深く知り、仮説・検証のスピードを重視して進めていくのが大事ですね。
データ分析の精度を高めるには
「みんなでたくさんゲームをやる」
データマイニングチームでは、サイゲームスのミッションステートメントの中でも、特に「みんなでたくさんゲームをやる」を重視しているそうですね。プレイする上で意識していることがあれば教えてください。
ケンタ なぜたくさんゲームをやる必要があるかというと、自分の実体験や体感がないと、ユーザーの方々を数字でしか見られなくなってしまう懸念があるからです。対象となるゲームをしっかりプレイして、ユーザーの方々と同じ視点を持つことが良い分析に繋がると考えています。プロジェクト専属の分析者を多く配置している理由もここにあり、彼らには担当のゲームをしっかりとプレイしてもらっています。
トモヤ 『シャドバ』ユーザーの方々も、初心者からベテランまで幅広くいらっしゃいますが、どちらの気持ちもわかることが大事だと思っています。我々はどうしてもベテランユーザー視点になりがちですが、長く続けていても初心者の視点を忘れないようにしています。
同じゲームを長く続けていると、初心者のときの気持ちをキープするのが難しい気がします。多様な視点を持つために工夫していることはありますか？
トモヤ 自社のものに限らず、新作ゲームをプレイすると、初心者の気持ちを振り返ることができます。例えば新作のDCGをプレイすると、『シャドバ』を始めた頃の気持ちを思い出せますよね。「あのとき自分はこう思った」と、結構詳細に記憶がよみがえります。
コウメイ それはありますね。私の場合は、自分の好みに関係なく、巷で話題になっているゲームはとにかく触るようにしています。なぜ人気なのかを考えながらプレイすることで、色々な人の視点を探っています。
ケンタ みんなでやること、つまりみんなで同じゲームをプレイして交流を持つのも大事です。初心者やベテラン、最近復帰した人など、さまざまな立場の人と話すと多様な視点を持つことができます。実際、データマイニングチームの週例では、プレイの感想を言い合っています。
精度の高い分析をするためにゲーム分析者がすべきことは何ですか？
ケンタ 分析対象のゲームを熟知し、その上で各種施策の仕様や目的までを理解していることです。仕様書を見て、どんな設計なのかを把握するのに加えて、その施策で何を実現しようとしているのか、ディレクターの意図まで理解できるのが理想です。そうしないと、例えば新規ユーザーの方向けの施策なのに、既存ユーザーの方を分析してしまうといったミスが起こります。
トモヤ 新規ユーザーの方へ向けた施策でも、調べてみたら既存の方のほうが遊んでくれたということもありますが、スタート時点で見当違いの仮説を立てることは避けなくてはなりません。もちろん、仮説と違うデータが出たら、なぜそうなったかを分析します。
コウメイ ディレクターやプランナーはユーザー動向や数字を毎日チェックしていますが、見過ぎていることで逆に良いこと・悪いことを見落としてしまう場合もあります。例えば、短期の数字に一喜一憂していると「長い目で見ると良いところ・良くないところ」が見えなくなりがちです。そういう意味で、データ分析者は少し離れた立場から数字を見て、意見を言うことも大事です。
「最高のコンテンツ」のために
声なき声を拾い面白さを数字で表現する
データ活用によってゲームの面白さはどのように変わっていくと思いますか？
トモヤ SNSなどで率直に感想や要望をおっしゃる方もいれば、思っていても表現しない方もいらっしゃいます。また、誰もが感じているけれども言語化されていない評価や潜在的なニーズもあります。データ分析を活用することで、今後さらに、「声なき声」がデータとして現れるようになると思います。そんな声を拾って改善に繋げ、ユーザーのみなさんに最高に楽しんでもらえるコンテンツづくりに貢献したいですね。
コウメイ 「面白い」の評価は定性的なものなので、定量化は難しいです。そこを何とかして数字として表現することが我々の仕事だと思っています。「評判が良い」だけでなく、実際にどんな数字に評判の良さが現れているかを提示することで、さらに向上していくにはどうしたら良いか、という議論も可能になります。
ケンタ 定性的なものを定量的に表現するというのは、永遠のテーマですね。例えば、ある施策をプレイしたユーザー数が多かったとしても、必ずしも「ユーザー数が多い＝面白い」とは限りません。報酬がもらえるので、面白さは感じていなくても義務的にプレイしているだけかもしれません。では、どんな数字を見れば、ユーザーのみなさんが「面白い」と感じているかを測れるのか。施策後のログイン日数なのか、あるいはプレイ時間の伸びなのか……。そんなことを、ディレクターやプランナーなどと議論し、「最高のコンテンツ」に貢献するのが使命だと思っています。
ゲームを深く知り、ユーザーのみなさんの動向を数字のみで語らない姿勢を保ちつつ、「最高のコンテンツ」のために面白さの定量化をする━━。サイゲームスのデータ分析者には、そのバランス感覚が必要だというのが、今回インタビューしたスタッフ全員から語られたことでした。
ゲームや漫画などエンターテインメントコンテンツのデータ分析の仕事をしたいというみなさんからのご応募をお待ちしています。
★あわせて読みたいデータマイニングの記事
