技術管理CBU 技術支援ユニット Webエンジニアリング推進ディビジョンの爲本雄亮です。
この記事は、社内ワークショップ Orchestration Development Workshop（以下ODW）#14 の内容を紹介します。ODWは、複数のAIを組み合わせ、登壇者の操作を追いながら自ら手を動かして試すハンズオンの場です。#14では、私たち技術支援ユニットが日頃取り組んでいる「AI活用のセルフチェック」を参加者に体験してもらいました。
AIツールが日々の業務に浸透するなか、現場ではこんな声をよく聞きます。
「今月AIをどう使ったか、と聞かれても具体的に答えられない」
「自分の使い方がうまいのか、そうでもないのか、判断する物差しがない」
物差しがなければ、せっかく良い使い方をしていても、本人はそれに気づかず、外にも出さないまま終わります。この記事では、セルフチェックで自分の使い方を測り、そこで見つけたうまい使い方をチームで共有して組織の知見に変えていく取り組みを紹介します。
なぜ良い使い方は共有されないのか
自分の使い方がうまいかどうか判断できないと、困ったことが起きます。優れた使い方を編み出しても、本人は「これは知っていて当然だ」と思い、共有しようという発想が浮かびません。逆に、もっと良い方法があっても「特に困っていない」と感じ、変えるきっかけを持ちません。この2つが重なると、価値ある使い方は個人の中に閉じたまま、本人が誰にも渡さずに終わります。
自分では当たり前になっている使い方は、あらためて見直す機会を持ちにくいものです。使い方を外から測るために、私たちは2つのスキルを用意しました。1つは個人の会話ログを解析して自分の使い方を測るもの、もう1つはチーム全員の結果を集約して傾向をつかむも のです。
セルフチェックで自分の使い方を測る
個人向けのスキルでは、会話ログを分析し、自分の使い方の傾向や、他の人にも共有できる工夫を見つけます。結果には、使い方の特徴を示すスコアと、役立つ使い方の具体例・再現手順が含まれます。これを振り返りやチームでの共有に使います。
採点項目は、次の4つです。
- 環境設定：AIが力を発揮できる土台を整えているか。指示書を用意しているか、MCP（Model Context Protocol）サーバーに接続しているか、スキルや権限を適切に設定しているか。
- プロンプト品質：AIに渡す情報が十分か。前提や文脈を渡せているか、やり取りを重ねて要件を詰めているか。同じモデルでも、渡す情報の量と構造で結果は大きく変わります。
- 活用度：AIの機能をどこまで使いこなせているか。ツールを1種類で済ませていないか、サブエージェントのような一歩進んだ機能まで使えているか。
- 成果物：最終的なアウトプットに結びついたか。コミットやファイルといった実際の成果物として出力されたか。
スコアは、指示書の行数、MCPサーバーの数、指示の構造化率、サブエージェントの利用回数、AIと作ったコミット数などを集計し、あらかじめ定めたルールに従って算出します。点数とその内訳を、自分の使い方を振り返るきっかけにしています。
スキルはスコアに加えて、「あなたのベストプラクティス」として、他者に共有できそうな使い方を抽出し、再現手順まで付けて返します。私のログから抽出された1件を、そのまま引用します。
pr-reviewスキルによる大規模PRレビューの自動化
PRのURLを渡すだけで、差分・関連ドキュメント・テストを横断的に調べ、レビューコメントの文案まで生成する。
人手では1回90分かかっていたレビューが、AIに任せると30分。月4回として、月あたり約4時間の削減。
ここでの作業時間と削減時間は、AIによる推定値です。
自分では少し便利なスキルとしか捉えていなかった使い方が、再現手順つきで返ってきました。「知っていて当然」と見落としていたものが、実は同僚の時間を節約するかもしれないといった発見があり、数字を見るまで、私自身それに気づけていませんでした。抽出されるベストプラクティスは「作業を速くする工夫」「AI環境を育てる工夫」「チームを底上げする工夫」に分類され、それぞれに再現手順が添えられます。手順があるおかげで、個人の工夫はそのまま他者へ渡せる形になります。
4軸で振り返って意外だったのは、自分のプロンプト品質の低さでした。環境設定と活用度、成果物は高いスコアが出た一方、プロンプト品質だけが際立って低いです。内訳を見ると、指示を見出しや箇条書きで構造化できていた割合は7.6%、冒頭でゴールや制約を明示できていた割合は32.7%、大きな依頼 をいきなり投げず調べて合意してから実装へと段階的に渡せていた割合は22.8%。指示書やMCP、スキルといったAI環境づくりには手をかけていたのに、肝心の頼み方そのものは整えていなかったわけです。数字で突きつけられて初めて気づきました。
個人の気づきをチームの資産にする
一人が自分の偏りに気づくだけでは、「良い使い方が個人の中で失われる」問題は解決しません。気づきをチームの資産に変えるには、結果を持ち寄って見せ合う場が要ります。
私が所属する技術支援ユニットでは、この場を月に一度の定例に組み込んでいます。各自がセルフチェックで自分の傾向を可視化し、それを持ち寄り、他者の良い使い方を取り入れる。これを毎月繰り返しています。チーム全体を見渡す役割は、2つ目のスキルが担います。全員分の結果をまとめると、次のようなサマリーが自動で生成されます。
サマリーを見れば「このチームは頼み方に伸びしろがある」と分かり、来月どこに取り組むかまで決められます。
共有によって組織のやり方そのものが変わった例もあります。あるメンバーは、自作したスキルの改善を「良くなった気がする」で終わらせず、スキルあり／なしを並列で複数回実行し、採点専用のAIに比較・スコアリングまでさせて、改善の有無を数値で判断していました。この評価手法を、すでにスキル開発プロセスに組み込んでいるチームもあります。一人の工夫が、チームのやり方へと広がったわけです。
毎月続けているメンバーからは「気づいていなかった削減効果が数字で表れた」という声もありました。可視化して見せ合うことで、自分だけでは気づけなかった使い方に出会えます。
おわりに
AI活用のセルフチェックをすると、自分の偏りに気づけるだけでなく、当たり前だと思っていた工夫を人に渡せる形に変えられます。一人ひとりの小さな気づきを持ち寄れば、個人のノウハウはチームの知見になっていきます。私たちは、月に一度、セルフチェックの結果を持ち寄る取り組みを続けています。まずは、自分の会話ログをひとつ振り返ることから始めてみませんか。最後までお読みいただき、ありがとうございました。
