Python

Google Cloud Platform(GCP)でナレッジ検索の基盤を構築する

本記事では、Google Cloud Platform(GCP)を利用して、資料を格納し、それを検索するアプリケーションを構築する手順をご紹介します。具体的には、Cloud Storageを使用してCSVファイルをアップロードし、Agent Builderを活用して検索機能を実装します。

Boto3のPaginatorを利用したデータ取得方法

本記事ではAWS LambdaのPythonプログラムでBoto3のPaginatorを利用する方法について紹介します。Paginatorを活用することで、AWSリソースからのデータ取得がより効率的に行えるようになります。

Azure Machine Learning AutoMLで作成したAIモデルをプログラムから読み込む方法

本記事では、Azure Machine LearningのAutoML機能を活用して、機械学習モデルの再推論のプロセスを効率化する方法を解説します。 AutoMLはデータ前処理からモデル評価までを自動化し、専門知識が少ないユーザーでも高品質なモデルを作成できます。本記事では…

SharePoint OnlineのコンテンツをGraph APIで取得する方法

Microsoft Graph APIを使用してSharePoint Online(SPO)のコンテンツを取得する方法を説明しています。

NVIDIA Isaac Simで生成した合成データでAIモデルをトレーニングする

NVIDIA Isaac Simを利用することで、AIモデルのトレーニングに活用可能な合成モデルの生成やAIモデルのテスト・シミュレーションを行うことができます。Road Followingを行うResNet18のNavigationのモデルを、仮想空間で生成した合成データを使いトレーニン…

Pythonで構築したAzure Functions関数を事前ビルドして閉域環境にデプロイする

アウトバウンドが制限された環境でAzure Functionsの環境構築を実施する際、裏側でpipコマンドを実行した時に、外部pypiのサーバなどに接続しようとして、エラーが発生してしまいます。本記事では事前にローカル環境で環境構築を行い、Azure Cloud Shellを使…

Raspberry PiからのデータをMicrosoft Azure IoT HubとMicrosoft Azure App Serviceでリアルタイム可視化 3

Raspberry Piから取得したデータをMicrosoft Azure IoT Hubに送信し、Microsoft Azure App Serviceを使ってリアルタイム可視化をする方法について紹介します。

Raspberry PiからのデータをMicrosoft Azure IoT HubとMicrosoft Azure App Serviceでリアルタイム可視化 2

Raspberry Piから取得したデータをMicrosoft Azure IoT Hubに送信し、Microsoft Azure App Serviceを使ってリアルタイム可視化をする方法について紹介します。

Azure Data Lake Storage Gen2を用いたAzure AI Searchのセキュリティフィルター

RAGでユーザー権限に応じた検索もとのファイルについて制御する方法を説明します。

Raspberry PiからのデータをAzure IoT HubとAzure App Serviceでリアルタイム可視化 1

Raspberry Piから取得したデータをMicrosoft Azure IoT Hubに送信し、Microsoft Azure App Serviceを使ってリアルタイム可視化をする方法について紹介します。

Azure OpenAI Assistants APIで自社のデータをチャット形式で分析する

この記事では、Azure OpenAI Studioに実装されたAssistants APIの使い方、コードインタープリター機能を活用したデータ分析を解説します。また実際のデータを使用してAssistantsを構築・機能のテストを行い、使用するまでの一連の流れを紹介します。

GPT-4 Turbo with Vision: Azure OpenAI Service マルチモーダルな新モデルの概要と使用方法

OpenAI DevDayで発表されたGPT-4のマルチモーダルモデルであるGPT-4 Turbo VisionがAzure OpenAIでもプレビュー機能として使用できるようになりました。今回の記事ではその概要と、簡単な使用方法に触れていきます。

OpenAIでシステム開発する上で知っておくべきテクニカルな問題とその解決法

本記事では、OpenAIを使用したシステム構築時に遭遇しやすい問題を解説しています。具体的には、消費トークンの計算方法、AIが生成した文章が途中で途切れたときの対策、そしてタイムアウト時間の設定について詳細に説明します。これらのテクニカルな問題を…

Azure環境でWhisperモデルを活用して音声ファイルを文字起こしする

Azure上で音声を文字起こしするためのAIモデルが使用できるようになりました。 本記事ではAIモデル「Whisper」を使用するまでの手順を解説します。また簡単な検証を行ったため、検証内容についても触れます。

Azure OpenAI ServiceでInstructGPTモデルを使用して文章生成を行う

Azure OpenAI Serviceに文書生成モデルのgpt-35-turbo-instructが実装されました。本記事ではデプロイから使用方法、また旧モデルと出力結果との違いを検証したため、その結果について記載します。

Azure OpenAI ServiceのFunction callingを活用する

ChatGPTのAPIで利用できるFunction calling機能の活用方法について、例を交えて紹介します。

DjangoアプリケーションをAzureにデプロイする

小規模ながらDjangoアプリケーションをAzureにデプロイする機会がありましたので、備忘録も兼ねて勘所をまとめました。 本記事では次のAzureサンプルDjangoアプリケーションを、Github Actionsを用いてAzure App Serviceにデプロイします。 github.com リポ…

DjangoでServer-Sent Eventsを使いwebアプリの画面を定期的に自動更新する

PythonのDjangoでServer-Sent Events(SSE)を使い表示画面を自動で更新する方法をまとめました。SSEはWebブラウザとサーバーの間で、サーバーからの一方向のリアルタイムイベントストリームを確立するための技術です。SSEを使用することで、リアルタイムな情…

さまざまなファイルの中から、指定した文字が入ったPowerPointのファイルを抽出してみる

さまざまなファイルの中から重要なキーワードの入ったファイルだけを抽出したいことはありませんか? キーワードがあるかないかを、ファイルを一つずつ開いて、検索をかけて見つけるのはとても苦痛です。面倒でしかありません。指定した文字(極秘や社外秘等…

Azure Machine LearningデータセットのMLTableについて学ぶ

Azure Machine Learning上では複数のデータセット形式が用意されています。 mltable形式は表形式でデータを使用することができます。学習・推論を行う際にこの形式を使用することになることがありますが、プログラム上から表形式でデータ登録・更新を行う場…

Azure OpenAI ChatGPTを使って社内ナレッジをチャット形式で検索する

企業が自社のデータベースに蓄積した固有情報を検索する場合、モデル自体が固有の情報を知らないため、うまく回答を返すことができないという課題があります。 本記事では蓄積されたFAQ情報を用いて、チャット形式で情報を引き出すような仕組みを構築します。

Azure OpenAI ServiceでAzure AD認証を使用してGPTモデルにアクセスする

Azure OpenAIにはOpenAI社の提供するAPIとの相違点として、Azureに統合されたAD認証を使用してAPIを呼び出すことができるという大きな特徴があります。 本記事ではこれを用いて、セキュアな環境でAzure OpenAI Serviceにアクセスするまでの手順を解説します。

Azure OpenAIで消費されるトークン数を計算する方法

本記事ではGPT系の自然言語モデルで必ず計算しなければならないトークンについて、考え方や計算方法、実際の計算結果などを示しながら解説を行います。

Azure OpenAI ChatGPTのAPIをPythonから使用してみた - GPT-4モデル版

本記事では2023年4月よりAzure OpenAIで利用可能になったGPT-4についての概要と、申請から実際に使用するまでの手順を解説します。

Azure OpenAI ChatGPTのAPIをPythonから使用してみた

本記事ではPythonからChatGPT APIを使用する方法を解説します。 ChatGPTで生成する会話内容をAPIから制御する方法についても解説します。

Azure OpenAI(GPT-3)と自動機械学習を組み合わせて自然言語からナレッジベースを構築する

Azure OpenAI Serviceではチャットのような対話に限らず幅広い自然言語処理のタスクに応用することができます。 今回の記事では一例として「業務メールを必要なものと不要なものに振り分ける」分類タスクをGPT-3のAIに解かせます。

OpenAIのChatGPTとBlenderで機械学習用の画像データを作成する方法

OpenAIのChatGPTを使用して、機械学習用の画像データを作成してみました。

GitHub ActionsとGitHub APIでOrginizationのプライベートメンバーを取得する

GitHub ActionsとGitHub APIを使って、一般から閲覧できない組織(Organization)のPrivateメンバーを動的に取得します。認証トークンはGitHub Appsで発行します。

Azure Machine LearningワークスペースをCLIv2で操作する 応用編2-自動デプロイパイプラインの構築

Azure Machine Learning CLIv2を使用してデプロイパイプラインを構築する方法を紹介します。

Azure Machine LearningワークスペースをCLIv2で操作する 応用編1-自動学習パイプラインの構築

Azure Machine Learning CLIv2を使用して学習パイプラインを構築する方法を紹介します。

Azure Machine LearningワークスペースをCLIv2で操作する 入門編2-推論エンドポイント立ち上げ

Azure Machine Learning CLIv2を使用して推論エンドポイントをデプロイする方法を紹介します。

Azure Machine LearningワークスペースをCLIv2で操作する 入門編1-機械学習モデル作成

Azure Machine LearningワークスペースをCLIv2を使って操作するチュートリアルです。自動化の前段階、CLIv2を使って学習操作を実施するまでの手順を示します。

AutoMLを使用して自然言語からナレッジベースを構築する

自然言語処理AIを使って、重要な業務メールにフラグ付けをする手法について解説します。一部、AzureMachineLearningの自動ML機能を使用して学習を行います。

ディープラーニングを使用してファッションアイテムの画像を分類する(後編)

はじめに データセット モデル バージョン・環境 実装 結果 まとめ 参考リンク はじめに 後編では、PyTorchというフレームワーク上で畳み込みニューラルネットワーク(CNN)を使ったディープラーニングの手法を利用して、実際にファッションアイテムの画像を…

ディープラーニングを使用してファッションアイテムの画像を分類する(前編)

はじめに 画像分類とは 画像分類モデルの実装 データセットの作成 モデル(ネットワークの作成) 損失関数や最適化手法の設定 学習 テスト ビジネス活用例 不動産情報サイト レシピ記録アプリ がんの画像診断 参考リンク はじめに 本記事では、ディープラー…

自然言語処理AIを用いてニュース記事から重要なワードを抽出する

はじめに 自然言語処理(NLP)とは? 達成目標 使用する環境・データセット PCスペック バージョン情報 学習用データセット 検証用データセット 重要単語抽出までの流れ ニュースコーパスWord2Vec学習結果 重要単語の抽出 単語抽出概要 K-means法 例文記事 …