本記事は、Tech-Verse 2026で発表したセッション「AIを入れても、なぜ業務量は思ったほど減らないのか――Human-in-the-loopの限界とAI-Readyな業務設計」の内容を、LINEヤフー Tech Blog向けに加筆・再構成したものです。
私たちはここ数年、Yahoo!オークション・Yahoo!フリマの商品パトロール業務にAIを活用してきました。AIの仕組みを提供する側と、実際に業務へ導入・運用する側が一体となり、現場で検証と改善を重ねています。
AIの導入によって、審査効率や判断品質は大きく向上しました。一方で、人が確認や判断に費やす時間は、その改善幅に見合うほどには減りませんでした。
なぜ、AIは効いたのに、業務量は思ったほど減らなかったのでしょうか。
本記事では、商品パトロールにおけるAI活用の変遷と、そこから見えてきたHuman-in-the-loopの限界、そしてAIを前提に業務全体を見直すAI-Readyな業務設計について紹介します。
1. 商品パトロールをAIでどう変えてきたか
Yahoo!オークション・Yahoo!フリマでは、ユーザーが安心して利用できるマーケットを維持するため、商品パトロールを行っています。
商品パトロールには、大きく「見つける」と「判断する」という2つの要素があり、それぞれに異なる難しさがあります。
「見つける」とは、日々出品される膨大な商品の中から、ガイドラインに違反する可能性のある商品を探し出すことです。違反商品の出品方法や表現は変化し続けるため、決まったキーワードや条件だけで安定して見つけ続けることは簡単ではありません。
「判断する」とは、見つけた商品が実際にガイドライン違反に該当するかを判断することです。商品名や説明文、画像、カテゴリなどを確認し、文脈も踏まえながら、300を超える審査基準と照らし合わせます。
AI導入前は、数千件の検索クエリを使って違反 候補を抽出し、ヒットした商品を人が確認していました。どのようなクエリで探すか、どの観点から商品を確認するか。その両方が、担当者の知識や経験に大きく依存していました。
私たちは、この「見つける」と「判断する」の両方に、段階的にAIを導入してきました。
AIフィルターとAIプレ審査で「見つける」と「判断する」を改善する
最初に導入したのが、分類モデルによるAIフィルターです。
過去の審査結果から学習した分類モデルで商品ごとの違反の可能性を推定し、可能性の高い商品を優先的に審査対象として抽出しました。これにより、人が確認する対象を、より違反の可能性が高い商品へ絞り込めるようになりました。
さらに、確認すべき違反観点の候補も提示しました。経験の浅い担当者には審査の手がかりとなり、経験者には観点の抜け漏れを防ぐ支援となりました。
ただし、AIフィルターが示せるのは、「どの商品を見るべきか」「どの観点で見るべきか」までです。商品のどの記載が、どの基準に照らして、なぜ問題となる可能性があるのかを整理し、判断する作業は人に残っていました。
この判断作業を支援するため、AIフィルターの後段にLLMを組み合わせたAIプレ審査を構築しました。
AIプレ審査では、分類モデルが抽出した商品について、商品情報やガイドライン、判断基準をLLMに渡します。LLMは、商品のどの箇所が問題となる可能性があるのか、どの基準に関係するのか、なぜそのように考えられるのかを整理し、審査担当者に素案として提 示します。
これにより、審査担当者は、商品情報と複数の基準を読み比べながら違反理由をゼロから組み立てるのではなく、AIが提示した素案を起点に確認できるようになりました。確認すべき箇所や関連する基準を探す負担が減り、判断に必要な情報を整理しやすくなりました。
一方で、AIが提示する内容はあくまで素案です。そのため、商品情報や基準に照らして内容が妥当かを確認し、最終的な判断を下す役割は、引き続き人が担っていました。
2つの施策を継続的に改善するAutoLearning
AIフィルターとAIプレ審査は、一度構築すれば完成するものではありません。違反商品の傾向や出品方法は変化し続けるため、実際の審査結果をもとに、モデルやプロンプトを継続的に改善する必要があります。
この改善を支えているのが、社内ツールのAutoLearningです。分類モデルの学習・評価・推論に加え、AIプレ審査で使用するワークフローやプロンプトも管理・検証できます。
私たちは、AIを作って現場に渡して終わりにするのではなく、業務をよく知る現場担当者が改善の中心に入ることを重視してきました。規約だけでは表現しきれない現場の知見を言語化し、AIが扱える条件へ変換しながら、モデルやプロンプトへ反映してきました。
2. AIは効いた。それでも業務量は減らなかった
こうした改善の効果は 、数字にも表れました。
審査した商品のうち、実際に削除などの措置につながった割合を「審査効率」とすると、クエリ時代を1とする指数で、AIフィルターの対象全体では約26倍、AIプレ審査を導入したカテゴリでは約50倍まで向上しました。
より少ない審査で、より多くの違反商品への対応につなげられるようになり、AIが判断理由や確認箇所を示すことで、見落としや観点漏れを防ぐ効果もありました。
しかし、商品パトロールに費やす業務時間は、審査効率と同じようには減りませんでした。
AIの精度が上がったことで、人の審査に回る明らかに問題のない商品は減りました。一方で、違反の可能性が高く、判断の難しい商品の割合が高まり、見る件数が減っても、1件あたりの判断負荷は高くなりました。その結果、人はより難しい商品を丁寧に判断できるようになりましたが、業務時間の削減には直結しませんでした。
また、AIが提示するコメントはあくまで判断材料であり、最終判断の責任は人に残っていました。担当者は商品情報と基準を照合し、AIが提示した内容の妥当性まで確認する必要があります。
つまり、AIによる支援が進んでも、人が最後にすべてを確認する業務構造そのものは変わりませんでした。
ここに、Human-in-the-loopの限界がありました。
3. AIを前提に、業務そのものを再構築する
このHuman-in-the-loopの限界を超える ため、私たちは方針を切り替えました。既存のパトロール業務にAIを追加するのではなく、AIがあることを前提に業務そのものを再構築するのです。
最大のボトルネックは、人による最終確認でした。前段の処理をAIで効率化しても、すべての商品を最後に人が確認する限り、業務全体にかかる時間は大きく減りません。そこで私たちは、人が介在せずAIだけで完結できる領域を設けることを目指しました。
人が介在しないといっても、すべてをAIに任せるわけではありません。ユーザーやサービスへの影響が大きい領域については、人が確認・判断する領域として残すことも含めて設計します。AIだけで完結できる領域を少しずつ広げることで、人は境界事例や例外、新しい違反傾向の分析、AIの改善といった仕事に集中することができます。
AIに判断を任せても、組織としての責任がなくなるわけではありません。AIの精度を確認するだけでなく、そもそもどの領域をAIの判断に委ねるのか、判断権限と責任をどう分担するのか、誤りが生じた場合にリカバリーできるのかなど、パトロール業務だけでなくその前後のフローも含めて設計する必要があります。
この方針について、関係部門の理解を得るのは容易ではありませんでした。これまで人が担ってきた判断をAIに委ねる以上、その必要性と妥当性を説明しなければなりません。
私たちはまず、AIプレ審査を導入して個々の審査を効率化しても、すべての案件を人が最終確認する限り、業務全体にかかる時間は大きく減らないことを実際の業務データで示しました。
次に、人とAIの判断品質の比較を行いました。「人の判断は正しい」という前提を疑い、AIと人の判断が食い違ったケースについては、関係部門とともに判断基準に照らしながら、その解釈や適用のあり方を検証しました。その結果、AIの誤りではなく、人の見落としだったケースもありました。これにより「AIの判断は人より品質が低い」という一律の見方を見直すことができました。
さらに、業務そのものを再構築する必要性を示すため、人向けに作られた業務指示書を詳細に確認し、AIが判断しにくい箇所を洗い出しました。これらを示したことで、AIの判断だけで完結できる領域について、実現可能性の検証を進めることで合意できました。ここから、AI-Readyな業務設計が始まりました。
4. 業務指示書に潜む3つの課題
AI-Readyな業務設計とは、プロンプトの書き方だけを指すものではありません。業務全体がAIに判断しやすく、人がその仕組みを持続的に運用・改善できる状態になっていることが必要です。
では、AI-Readyな業務はどのように設計すればよいのでしょうか。その第一歩は、人が行っている業務を紐解くことです。
人向けの業務指示書は、人が文脈を補いながら判断することを前提に作られています。多少曖昧な表現があっても、担当者は経験や周囲とのコミュニケーションによって補えますし、指示書に書かれていない運用ルールがあっても、その場で確認しながら対応できます。
AIに判断させる場合、この前提は通用しません。
私たちが業務指示書を確認したところ、主に3つの課題がありました。
1つ目は、曖昧な表現です。例えば「出品物と関係のないカテゴリ」という記述があっ ても、何をもって「関係がない」とするのかが定義されていなければ判断は安定しません。また、複数のルールが優先順位なく並んでいる場合も、どれを優先すべきかを一貫して判断できません。
2つ目は、暗黙知やローカルルールです。長年の運用の中では、文書に書かれていない判断条件や、文書上のルールとは異なる実務上の扱いが生まれることがあります。人は周囲に確認できますが、AIは与えられた情報の外にあるルールを参照できません。今後も必要な情報なのかを見極めたうえで、残すべきものを選び、明文化する必要があります。
3つ目は、判断手順の複雑さです。業務は運用していくうちに手順が継ぎ足され、複数の文書や確認先を行き来する構造になりがちです。人が苦労しながら回している複雑なプロセスを、そのままAIに移しても安定した運用にはつながりません。不要な分岐や重複を整理し、業務フロー自体をシンプルにする必要があります。
これは現場の業務が悪いという話ではありません。人だから補えていた文脈があり、人同士のコミュニケーションを前提に成立していた業務だったということです。AIに任せるなら、その文脈を明文化・構造化しなければなりません。
5. AI-Readyな業務設計に必要な5つの条件
こうした分析を踏まえ、私たちはAI-Readyな業務を、次の5つの要素で整理しました。
-
目的やゴールが明確である
サービスとして守りたい状態を明確にし、AIに何を達成させたいのかを定めます。 -
判断基準が明文化されている
AIが参照すべき基準、基準間の優先順位、判断に使う 情報を明確にします。 -
必要な情報が構造化されている
商品情報、画像、カテゴリ、関連するガイドラインなどをAIが扱いやすい形で渡します。 -
例外や境界が定義されている
ルールの例外や判断の境界にあるものに対する基準を整理します。 -
業務フローがシンプルである
AIによる判断と人へのエスカレーションを含む流れを整理し、継続的に運用しやすい構造にします。
この5つは独立したチェック項目ではありません。目的が定まれば、必要な判断基準が見えてきます。判断基準が定まれば、例外や境界が明確になります。そして、それらを実行する業務フローを設計できます。どれか一つが曖昧なままでは、プロンプトだけを改善しても、業務全体を安定させることはできません。
6. プロンプトは業務判断をAIに渡す設計図
AI-Readyな業務を生成AIで実現するうえで、プロンプトは重要な役割を果たします。プロンプトはモデルへの単なる命令文ではなく、業務上の判断をAIに渡すための設計図です。
商品パトロールのプロンプトでは、「何を見て」「どの基準で」「どう判断し」「どのように説明するか」を定義します。人向けの業務指示書をそのままプロンプトに貼り付けるのではなく、AIに必要な情報のみ抽出し、例外や境界とともに整理します。
ここで課題となったのが、膨大な規約と付随情報を、どこまでAIに与えるかという問題でした。すべてをAIに渡すのは情報過多ですが、情報を削りすぎると判断に必要な根拠が不足します。
もう一つの課題は、プロンプトを作成・ 管理する体制です。プロンプト化の対象となる規約や付随情報は膨大で、一人で扱える規模ではありません。複数人で分担する必要がありますが、担当者ごとに記述の仕方や判断基準の考え方が異なれば、最終的に一貫して機能するプロンプトにはなりません。
さらに、プロンプトは一度作って終わる成果物ではありません。規約や運用が変われば、それに合わせて更新する必要があります。作成時の効率だけでなく、継続的に更新できる構造を最初から設計しておかなければなりません。
そこで私たちは、すべてに共通する規約と、特定のカテゴリや商品だけに関係する規約を分けて管理しました。共通部分は多くの担当者が個別に変更すると不整合が生じやすいため、ごく少数の管理者が作成・管理します。一方、個別部分は各々の担当者が並行して作成・改善します。これにより、全体の一貫性を保ちながら、複数人で効率的に作業を進められるようになりました。
AI-Readyな業務設計を進めると、人の役割も変化します。これまでは、人が商品を確認し、AIがその判断を支援していました。今後は、人の役割は定型的な全件確認から、判断基準の検討、AIの判断品質の管理およびプロンプトの改善へと移っていきます。これは人の時間を、より人の知識や経験が必要な仕事へ振り向けるための変化です。
そして、この役割を担うのは現場です。現場で得られた知見を起点に、誤りの原因がどこにあるのかを見極め、 次の運用へ反映します。AIの判断を利用するだけでなく、AIが判断する仕組みそのものを現場が継続的に改善していくのです。この改善サイクルを回し続けるうえでも、AutoLearningは重要な役割を果たしています。
7. おわりに
Yahoo!オークション・Yahoo!フリマの商品パトロールでは、AIフィルターとAIプレ審査によって、審査効率を大きく改善できました。一方、人が最後にすべてを確認する構造を残したままでは、商品パトロールにかかる業務時間は大きく減りませんでした。
この経験から得た学びは、AIを導入するだけでは業務は変わらないということです。
AIの価値を引き出すには、業務そのものを見直さなければなりません。AIだけで完結できる領域と、人が判断すべき領域を切り分けます。さらに、判断品質だけでなく、権限、責任、誤りが生じた場合のリカバリーまで含め、業務の前後を一つのフローとして設計する必要があります。
AI活用の本質は、単にAIを既存業務へ組み込むことではありません。AIが本来の価値を発揮できるように、業務そのものを再設計することにあります。それが、私たちの考えるAI-Readyな業務です。
本記事のもとになったTech-Verse 2026のセッションページでは、発表資料とアーカイブ動画を公開しています。ぜひ、あわせてご覧ください。
