Microsoft Agent Frameworkで作るマルチエージェント:Workflow(静的フロー)× Magentic(動的オーケストレーション)

Microsoft Agent Framework では、手順が決まった処理は Workflow(静的フロー)で、実行しながら進め方が変わる協調タスクは Magentic(動的オーケストレーション)で実装できます。本記事では、Pythonのサンプルコードを通して両者の実装方法と、実務での…

Agent Framework を使って Microsoft Foundry の MCP ツール を利用するエージェントを開発する

本記事では、Microsoft Foundry と Agent Framework(Python) を利用して、Model Context Protocol (MCP) ツールを扱えるエージェントを開発する方法を紹介します。Agent Framework からMicrosoft Foundry のエージェントを利用することで、複数エージェン…

Microsoft Agent Framework を利用し、MCPツールを利用するAIエージェントやマルチエージェントシステムを構築する

本記事では、Microsoft Agent Framework を利用して AI エージェントを作成する方法を紹介します。 Microsoft Agent Framework の概要 実行環境 環境変数の設定 MCPツールを利用するAIエージェントの構築 コード 実行結果 マルチエージェントのオーケストレ…

Azure Functions × Semantic Kernelで複数エージェントの回答をストリーミング配信するエンドポイントの実装

先日、Semantic Kernelを使って、複数エージェントからの回答をストリーミングで返す方法を試してみました。今回は、Azure Functions でエンドポイントを実装し、エージェントの回答をストリーミングで送信する方法を紹介します。 実装環境 Azure Functions…

Azure AI Foundry Agent ServiceでMCP toolを利用するエージェントを作成する

先日、Azure AI Foundry Agent ServiceでModel Context Protocol (MCP)をtoolとしての利用がサポートされたので、試してみました。今回は、Python SDKを使い、MCP toolを利用するエージェントの実装方法を記載します。 環境変数の設定 実装 コード 実行結果 …

OpenAI Agents SDKでAIエージェントを構築する

今回はOpenAI Agents SDKを使い、AIエージェントを構築する基礎的な部分をご紹介します。また、Azure OpenAIのリソースをOpenAI Agents SDKで利用する方法と、MCPを利用する方法をそれぞれ記載します。 OpenAI Agents SDKとは 実装準備 Azure OpenAIの利用 …

Azure AI Foundry Agent Serviceでマルチエージェントを構築する

Azure AI Foundry Agent Serviceで、シングルエージェントだけでなくマルチエージェントがサポートされていたので、実装方法をご紹介します。 実行環境 事前準備 エージェントの作成 マルチエージェントの作成 コード 実行結果 おわりに 実行環境 Python 3.1…

Semantic Kernel Agent Frameworkを使ったマルチエージェントのオーケストレーション、並列での複数エージェントの実行

先日、Semantic Kernel Agent Frameworkが一般提供(GA)開始となりました。Agent FrameworkはSemantic KernelのAIエージェント向けのフレームワークです。アップデートによりマルチエージェントのオーケストレーション機能も強化されたため、本記事ではSemant…

Semantic KernelでエージェントにMCPのプラグインを実装する

先日、Semantic KernelのSDKがModel Context Protocol(MCP)へ対応しました。公開されているMCPを利用することで、独自にfunctionやtoolを定義することなく簡単にエージェントに新しい機能を追加できるようになります。今後MCPの利用がさらに広がる可能性があ…

AutoGen v0.2, v0.4でマルチエージェントを構築する

AutoGen v0.2とv0.4でのマルチエージェントの構築を試したので、実装方法を紹介します。以前、Semantic Kernelで構築したマルチエージェントをもとに、AutoGenで同様のシステムを構築します。Semantic Kernelでのマルチエージェントの構築は以下の記事をご確…

AutoGen v0.4.7によるマルチエージェントの並列処理

今回は、複数エージェントの並列処理を含む、マルチエージェントを構築に関して記載します。マルチエージェントの構築はAutoGen v0.4.7のフレームワークを利用して行います。Semantic Kernelでのエージェントの並列処理に関しては、次の記事に記載しています…

Semantic Kernelによるマルチエージェントの並列処理

今回は、複数エージェントの並列処理を含む、マルチエージェントの構築に関して記載します。マルチエージェントの構築は、Semantic Kernelのフレームワーク(Agent Framework)を利用して行います。※ AutoGen v0.4.7でのエージェントの並列処理に関しては、下…

Semantic Kernel Agent Frameworkでマルチエージェントを構築する(2/2):マルチエージェントの構築

Senamtic Kernelを使い、マルチエージェントの開発を行ったので構築方法に関して記載します。今回は、前回の記事で構築したSemantic kernelのプラグインをもとに、Semantic Kernel Agent Frameworkを利用しマルチエージェント構築します。それぞれのエージェ…

Semantic Kernel Agent Frameworkでマルチエージェントを構築する(1/2):プラグインの実装と関数処理内容の確認

Senamtic Kernelを使ったマルチエージェントの開発を行いました。構築方法に関して2回に分けて記載します。1. プラグインの実装と関数処理内容の確認 2. マルチエージェントの構築本記事では、マルチエージェント構築の準備として、Sematic Kernelのpluginを…

Azure AI TranslatorのDocument Translation機能で構造を保ったままドキュメントを翻訳する

業務でAzure AI Translatorを利用する機会があり、Document Translationの機能を試したので内容を記載します。Document Translationを活用することで、元のドキュメント構造とデータ形式を維持しながら、サポートされている言語でドキュメントを翻訳すること…

【自動運転AIチャレンジ2024】壁を考慮した障害物回避

自動運転AIチャレンジ2024へ参加し、車両が障害物を回避するコードの開発を行ったので実装方法をご紹介します。大会の詳細は以下のリンクでご確認いただけます。www.jsae.or.jp 前提 障害物回避の概要 壁の位置を考慮した障害物回避 処理の追加 障害物回避の…

【自動運転AIチャレンジ2024】C++のROSパッケージをPythonのパッケージに修正する

自動運転AIチャレンジ2024に参加する中で、C++のROS2パッケージをPythonパッケージに書き換える機会があったので実装方法を記載します。自動運転AIチャレンジで利用しているコードはC++で記載されていますが、既存のpythonコードをサブモジュールとして活用…

【自動運転AIチャレンジ2024】Rvisに追加の情報を表示する

ROS2やロボット制御の技術習得を目的に「自動運転AIチャレンジ」という大会に参加したので、開発で取り組んだ一部を記載します。ROSや車両制御に関しては、ほとんど知識ゼロでの参加になります。大会の詳細は以下のリンクでご確認いただけます。 2024大会 開…

Isaac SimでNavigation2を実行する

今回はIsaac SimでNavigation2を使いJetBotを動かすことを試しました。本記事は、以下のチュートリアルをもとに、Nova_CarterをJetBotに変更してNavigation2で動かした内容になります。 ROS2 Navigation — Omniverse IsaacSim latest documentation※Navigati…

NVIDIA Isaac Simで生成した合成データでAIモデルをトレーニングする

NVIDIA Isaac Simを利用することで、AIモデルのトレーニングに活用可能な合成モデルの生成やAIモデルのテスト・シミュレーションを行うことができます。Road Followingを行うResNet18のNavigationのモデルを、仮想空間で生成した合成データを使いトレーニン…

NVIDIA Isaac Simを使い3D仮想環境でロボットのシミュレーションを行う

JetBotというロボットのシミュレーションをIsaac Simで行ったので、概要をまとめました。Isaac Simはロボティクスシミュレーションアプリケーション、および合成データ生成ツールです。Isaac Simを利用することで、フォトリアリスティックな仮想環境でAI ベ…

DjangoでServer-Sent Eventsを使いwebアプリの画面を定期的に自動更新する

PythonのDjangoでServer-Sent Events(SSE)を使い表示画面を自動で更新する方法をまとめました。SSEはWebブラウザとサーバーの間で、サーバーからの一方向のリアルタイムイベントストリームを確立するための技術です。SSEを使用することで、リアルタイムな情…

Form RecognizerやAI Builderで名刺読み取りアプリを作成する

はじめに Form RecognizerやAI Builderを使いPower Appsで名刺読み取りアプリを作成したので、記事にまとめました。Power AppsでForm Recognizerのコネクタを利用する詳しい方法は以下の記事に記載しています。Power AppsでForm Recognizerを利用する - JBS …

Power AppsでForm Recognizerを利用する

はじめに先日Power AppsでForm Recognizerの機能を活用することができるForm Recognizer Connectorに、Analyze Document for Prebuilt or Custom models (v3.0 API)が追加されていました。カスタムコネクタ(プレミアムライセンス)を使用せずにForm Recognize…

エッジAIで空席状況を可視化

はじめに AITRIOS(アイトリオス)/ IMX500とは AIモデル作成 Custom Visionモデル作成・精度改善 物体検出モデルのドメイン選択 モデルのトレーニング モデルの精度改善 結果の可視化 はじめに 日本マイクロソフト株式会社(以下、マイクロソフト)とソニー…

Azure Percept Audioでカスタムコマンドを試す

この記事では、Azure Percept Audioでカスタマイズしたキーワード・コマンドを使用する方法を紹介します。カスタムコマンドを作成することで、任意の指示を与え認識されることができるようになります。 ※先にAzure Percept Audioで音声アシスタント作成の記…

Azure Percept Audioで音声アシスタント作成

Azure Percept Audioを利用し、音声アシスタントのデモを試しました。 今回は用意されているシナリオから、倉庫の管理を音声でコントロールする、という事を試してみたいと思います。 左:Azure Percept Audio 右:Azure Percept DK 使用リソース テンプレー…

Azure Perceptで駐車場車両検出ソリューション

車両検出を行うサンプルモデルをAzure Perceptにデプロイし、駐車場の車の台数や車両の種類を識別するデモを作成しました。 使用リソース デモシナリオ 車両検出モデル Azure Perceptで車両検出 Stream Analyticsで検出結果の処理 車両の検出結果をPower BI…

Azure PerceptでノンコーディングビジョンAIソリューション

Azure PerceptとAzure Percept Studioを使い、ノンコーディングでビジョンAIのデモを作成しました。 Azure Percept Studioでサンプルモデルをデプロイし、Power BIで推論結果の可視化を行っています。 Microsoft Tech Communityにて紹介されているデモシナリ…

Azure perceptでエッジAIソリューションを試す

MicrosoftのAzure Perceptを使い、セットアップからAIモデルの活用を試しました。 セットアップ後、サンプルモデルをデプロイするだけで物体検出を試すことができたので、実行方法を共有します。 目次 Azure Perceptとは必要なリソースAzure perceptのセット…