本ブログは、こちらに掲載されている英文ブログの意訳です。内容に相違がある場合は、原文が優先されます。
AIは、多くの組織が適応できる速度をはるかに上回るスピードで、エンジニアリングチームの働き方を変えつつあります。コーディングアシスタントはすでに日々のワークフローに定着し、エージェントがタスクをエンドツーエンドで担当するようになり、ソフトウェアの提供方法もリアルタイムで再定義されつつあります。
こうした変化に伴い、エンジニアリングリーダーたちは新たな課題に直面しています。これらのツールは実際に成果を向上させているのか？どこに課題があるのか？どのチームが価値を実感しており、どのチームがそうでないのか？そして、すべての開発者に毎日影響を与えながらも、その効果が見えにくい投資のROIを、どのように報告すればよいのか？
リーダーがこれらの疑問に答えられるよう、DXは最近、エンジニアリング組織がAIネイティブなソフトウェアデリバリーへの移行を円滑に進められるよう支援する、4つの主要な新機能と製品をリリースしました。これには、データと対話するためのAIチャットインターフェース、AIによって生成されたコード量の可視化、SLAに基づくプロアクティブなアラート、そしてエージェントの有効性を測定し、ギャップを埋めるためにどこに投資すべきかを判断する新しい方法が含まれます。
各リリースの概要はこちらです。
AI Code Insights：AI生成コードへの深い洞察
AIコーディングツールの導入が進む中、エンジニアリングリーダーにとっての重要な課題は、AIが効果的に活用されているか、そしてその投資に見合う成果が得られているかという点です。
リーダーたちは、既存のツールでは答えを出すのが難しい重要な課題に直面しています。開発者は実際にこれらのツールをどのように利用しており、トークンにどれだけのコストを費やしているのでしょうか？チームは、有用な出力を生成するために、AIに十分なコンテキストと明確な指示を提供できているでしょうか？コードベースは、AIが効果的に処理できる構造になっているでしょうか？
AI Code Insightsは、AIツールの利用状況や課題点を組織にリアルタイムで可視化します。主に以下の3つのレポートで構成されています：
AI生成コードの帰属。どのコミットやプルリクエスト（PR）にAI生成コードが含まれているかを正確に把握できます。「AIコード概要」レポートでは、各PRにおけるAIの割合ごとに分類された重要なSDLC（ソフトウェア開発ライフサイクル）指標を分析できるため、AI生成コードが人間の書いたコードとはどのように異なる形で開発プロセスを進んでいるのかを理解し始めることができます。
エージェント体験のインサイト。セッション中にボトルネックが発生している箇所（コンテキストの欠如、曖昧な指示、コードベースの構造的な障壁など）について、AIエージェントから直接インサイトを引き出します。これは根本的に新しいシグナルです。出力から有効性を推測するのではなく、エージェント自身からの声を直接聞くことができるのです。エージェント体験レポートでは、組織全体のエージェント有効性スコアをチーム別にフィルタリングして表示し、セッションごとの詳細なビューも提供します（詳細は後述）。
AIドルインパクト。AIドルインパクトレポートを活用して、これらすべてを統合しましょう。このレポートは、AIツールへの投資額を推定純利益額に換算します。AIが「費用対効果に優れているか」という抽象的な議論をするのではなく、リーダーは投資がもたらす具体的な財務的成果を把握できるため、取締役会への報告や予算に関する議論が大幅に容易になります。
AI Code Insightsは、macOS、Windows、Linuxの各開発者マシン上で動作する、軽量でセルフホスト型のCLIデーモンによって駆動されます。主要なAIコーディングツールをすべてサポートしています。
エージェント体験：エージェントの有効性を測定する新しい方法
過去10年間で、業界は開発者の有効性が主に個人に依存するものではないことを学びました。重要なのは環境です。つまり、短いフィードバックループ、明確なコンテキスト、よく構造化されたシステム、そして摩擦の最小化です。これらの条件に投資する組織は、そうでない組織よりも一貫して優れた成果を上げています。エージェントも例外ではありません。
明確な指示が記載された、文書化が十分でモジュール化されたコードベースを扱うエージェントは、ドキュメントが乏しくプロンプトが曖昧なモノリシックなシステムを扱う同じエージェントよりも、劇的に優れたパフォーマンスを発揮します。その差は、モデルそのものよりも、モデルが動作する環境条件によるものです。
DXは、開発者の生産性を測定する最良の方法は開発者に直接聞くことであるというシンプルな原則に基づいて設立されました。私たちは、その同じ考え方をエージェントにも適用しました。「エージェント体験（Agent Experience）」は、エージェントが業務中に直面する状況を把握し、組織がエージェントの成否を左右する環境を体系的に改善できるようにするものです。
摩擦を明らかにするためにアンケートやサンプリングを必要とする人間の開発者とは異なり、エージェントはすでに自身のコンテキストを完全に把握しています。ドキュメントが不足しているか、指示が曖昧か、コードベースのナビゲーションが困難か、といったことを彼らは知っています。
エージェント体験は、セッションごとに評価される3つの要素を通じてこのシグナルを捕捉します。各要素にはスコアが付けられ、エージェントが遭遇した状況を説明する定性的なコメントが添えられます：
- 要件。セッションの目標は明確に定義されていたか？また、開始時のプロンプトは、目標に向かって作業を開始するのに十分なコンテキスト（ファイル、パターン、規約、例）を提供していたか？
- 誘導。セッションが進むにつれ、開発者は有益なフィードバックを提供し、目標に向かって前進し続けるために必要な追加のコンテキストを提供してくれたか？
- スコープ。 セッションの範囲は適切だったか、それとも広すぎたり、断片的すぎたり、あるいは流動的すぎたりしなかったか？
すべてのセッションについて、総合スコアと3つの構成要素ごとのスコアが算出され、それぞれにエージェント自身のコメントが添えられます。
このデータはあらゆるレベルで活用可能です。プラットフォームチームは、ドキュメントの改善、コンテキストファイルの追加、コードの再構築など、AI導入に向けた投資すべき領域を特定するためにこのデータを活用します。エンジニアリングリーダーは、エージェントによるデリバリーに対する組織の準備状況を把握するための指標として活用します。個々の開発者は、このデータを活用して、プロンプトの作成方法、リポジトリの構成、そしてセッションごとのエージェントの誘導方法を改善します。
Pulse：シグナルを直接配信
現場のエンジニアリングマネージャーは、かつてないほど多くのデータにアクセスできます。ダッシュボード、レポート、レビューサイクルなど、シグナルは存在しますが、それを見つけるには時間がかかり、多くのマネージャーにはその余裕がありません。
Pulseは、この問題に特化して構築されたプロアクティブなアラート機能です。毎週、チームにとって最も重要な指標とシグナルを集約した単一の統合アラートが、SlackやTeamsに直接配信されます。
毎週配信されるPulseアラートは、チーム全体のデータにおいて何が変化したか、何に注意が必要か、どのような傾向が見られるかを示します。1つのチームを率いる場合でも、複数のチームにまたがる部門を統括する場合でも、Pulseはあなたが自ら探す必要なく、掘り下げるべき領域をインテリジェントに抽出します。
Pulseのアラートで調査すべき事項が提示された場合、DX AIを通じて即座に詳細を確認できます。文脈に沿ったフォローアップ質問を行うことで、根本的な要因を把握し、アクションプランを策定できます。
エンジニアリングマネージャーは、DX AIのサイドバーから、または組織管理者の招待を通じてPulseを有効化できます。有効化されると、週次アラートが直ちに配信されます。マネージャーはアラートの内容、配信頻度、設定をカスタマイズし、最も重要なシグナルに焦点を当てることができます。
DX AI：DXデータを探索するためのインターフェース
データの価値は、それを理解し、行動に移す能力によって決まります。ダッシュボードは有用な概要を提供しますが、特定のトレンドを深く掘り下げたり、突発的な疑問に答えたりするには、通常、コンテキストの切り替えや手動での分析が必要となります。
DX AIは、システム報告データと自己報告データの両方に直接アクセスできる対話型インターフェースです。DXプラットフォーム全体で利用可能な新しいサイドバーから表示されます。指標の調査、投資のビジネスケース作成、最新のスナップショット結果の分析など、どのような場面でも会話を開始すれば、文脈に応じた回答を即座に得ることができます。
開始方法は2つあります。サイドバーを開いて直接質問するか、Pulseのアラートから始めることができます。Pulseが調査価値のある事象（サイクルタイムの急上昇、スループットの低下、開発者のセンチメントの変化など）を検出した際、それを開いてすぐに追跡質問を開始できます。
DX AIでできること：
- 異常の調査。メトリクスの低下や急上昇の背後にある要因について質問します。
- チームを比較。異なるエンジニアリンググループ間のデータポイントを対比します。
- 定性的なフィードバックを分析。何百もの回答を手作業で読み込むことなく、アンケートコメントで開発者が実際に述べている内容を要約します。
- データを可視化。質問への回答としてチャートが最適な場合、AIが会話内で直接生成します。すべての可視化データはCSVとしてダウンロードしたり、Data Studioのダッシュボードにコピーしたりできます。
始め方
AIから最大の成果を得られる組織とは、何が機能しているかを理解し、AIを取り巻く環境を体系的に改善する組織です。
そのためには、能動的なシグナル、対話形式での調査、AIツールの有効性に関するリアルタイムの可視化、そしてエージェント自身からの根本的に新しいフィードバックチャネルが必要です。
これらのリリースについて詳しく知りたい方は、getdx.comでデモをご請求ください。