LINEヤフー Tech Blog

LINEヤフー株式会社のサービスを支える、技術・開発文化を発信しています。

「LINEヤフー Data Science Share #2」を開催しました!(イベントレポート)

こんにちは!LINEヤフー 分析ユニット LINE Service Analytics Divisionの柳です。

8月20日にデータサイエンス関連の事例を共有するイベントを開催しました。本記事では、イベントの様子や発表内容を紹介していきます!

イベント概要

8月20日(木)に、「LINEヤフー Data Science Share #2」と称してイベントを開催いたしました。「LINEヤフー Data Science Share」は、データサイエンスに関する知見や実践事例を共有するためにLINEヤフーが主催しているイベントで、今回が2回目の開催となります。

今回は「3社の実践から学ぶデータサイエンスの現場」をテーマに、LINEヤフー、株式会社ZOZO、株式会社ブレインパッドから1名ずつ登壇し、ベイジアンA/Bテスト、AI時代のデータアナリストのあり方、因果推論手法の実装と幅広い事例が紹介されました。

発表終了後は、参加者と登壇者で交流を行うための懇親会を開催しました。発表に関する話題だけでなく、各社でのAI活用の現状や、効果検証で直面している課題について意見交換が行われ、大いに盛り上がりました。

全体風景

発表紹介

ここからは、イベントで行われた発表をそれぞれご紹介します!

発表1:「やはり俺のベイジアンA/Bテストはまちがっている。」

はじめに、LINEヤフーの佐野より「やはり俺のベイジアンA/Bテストはまちがっている。」というタイトルで発表がありました。

LINE公式アカウントには、ユーザーごとにパーソナライズされたおすすめのLINE公式アカウントが表示される枠があります。本発表では、この枠の推薦ロジックを改善するA/Bテストにおいて、LLMを活用してベイジアンA/Bテストを行った際の落とし穴が事例として共有されました。

発表1_様子

分析指標の集計値が新ロジックで改善していたことに加え、結果をLLMに渡してベイジアンA/Bテストを依頼したところ、新ロジックの採用を推奨するという結果が返ってきたそうです。しかし、実際はランダム化の単位と分析の単位が異なっており、使用したモデルの仮定が満たされていないという問題が見過ごされていました。

発表では、ベイジアンA/Bテストにおける対応策とともに、分析手法の仮定をデータが満たしているかの確認が重要であると話されていました。AIによる分析の自動化が進む中でも、手法の仮定や理論を理解しておく重要性を感じました。

発表2:「AI時代にZOZOのデータアナリストが大事にしていること」

次に、株式会社ZOZOの佐々木さんより「AI時代にZOZOのデータアナリストが大事にしていること」というタイトルで発表がありました。

AIの台頭により分析の速度は向上したものの、その分析によって事業貢献につながる意思決定を支えられているのか?という問いから、ZOZOの分析者が大切にしている姿勢が語られました。

AIの大量のアウトプットをそのまま受け入れ、表面的な理解のまま意思決定を行おうとすると、かえって成果から遠ざかってしまいます。発表では、分析の価値向上の分かれ目として「主導権を持ってAIを使えているかどうか」が重要であると話され、具体的な行動指針が紹介されました。

発表2_様子

コードを書くといった行為がAIに代替される中で、データアナリスト・データサイエンティストに求められる価値をあらためて考えるきっかけとなるような発表でした。

発表3:「アウトカムが二値のデータに対するCausal Impact」

最後に、株式会社ブレインパッドの久野さんより「アウトカムが二値のデータに対するCausal Impact」というタイトルで発表がありました。

本発表では、店舗に広告を設置した結果、各商品の売上にどのように影響したかを事後的に検証した事例が紹介されました。A/Bテストが実施できない状況であったため、データを用いて「広告を設置しなかった場合の売上」を予測し、実測との差分で効果を推定するCausal Impactが分析手法として選択されました。

しかし、ある商品の日次売上が0か1の二値をとるため、通常のCausal Impactでは扱えないという課題に直面したそうです。そこで、Causal Impactの元論文を参考に、観測を二値にしたベイズ構造時系列モデルを実装し、通常のCausal Impactと同様のプロセスで施策効果を推定したとのことでした。

今回の実装ではLLMを活用し、データの整形から分析・報告までを1ヶ月で実行したそうです。LLMによって実装工数が下がり、多くの手法が選択肢に入るようになったことで、幅広い分析手法から適切なものを選択する分析設計能力や、アウトプットを解釈・レビューできる能力の重要性はむしろ向上しているとのことでした。

発表3_様子

さまざまな手法を形にする部分はLLMが担ってくれるようになったからこそ、与えられた問題にどんなアプローチが最適かを考えられるよう、理論的な学習に励む必要があると感じました。

懇親会

発表終了後には懇親会が開催されました。発表内容に関して参加者が登壇者に質問をしたり、参加者同士で意見交換をしたりと非常に盛り上がっていました。今回の3つの発表はいずれも「AI・LLMの活用」というテーマに触れていたため、各社でのAIの活用状況や、分析の品質をどのように担保しているかといった話題で会話が弾んでいたように思います。

おわりに

「LINEヤフー Data Science Share #2」は、多くの参加者にお越しいただき盛況のうちに終了しました。効果検証の手法からAI時代のデータアナリスト・データサイエンティストのあり方まで、さまざまな話題について事例を発表していただき、交流の場を設けることで、ご参加いただいた皆さまにとって役に立つ情報が少しでも得られた会になっていれば幸いです。

「LINEヤフー Data Science Share」は今後も継続して開催していきたいと考えておりますので、ぜひ次回以降の参加をご検討ください!