機械学習

OpenAIでシステム開発する上で知っておくべきテクニカルな問題とその解決法

本記事では、OpenAIを使用したシステム構築時に遭遇しやすい問題を解説しています。具体的には、消費トークンの計算方法、AIが生成した文章が途中で途切れたときの対策、そしてタイムアウト時間の設定について詳細に説明します。これらのテクニカルな問題を…

Azure環境でWhisperモデルを活用して音声ファイルを文字起こしする

Azure上で音声を文字起こしするためのAIモデルが使用できるようになりました。 本記事ではAIモデル「Whisper」を使用するまでの手順を解説します。また簡単な検証を行ったため、検証内容についても触れます。

Azure OpenAI ServiceでInstructGPTモデルを使用して文章生成を行う

Azure OpenAI Serviceに文書生成モデルのgpt-35-turbo-instructが実装されました。本記事ではデプロイから使用方法、また旧モデルと出力結果との違いを検証したため、その結果について記載します。

Azure Machine LearningデータセットのMLTableについて学ぶ

Azure Machine Learning上では複数のデータセット形式が用意されています。 mltable形式は表形式でデータを使用することができます。学習・推論を行う際にこの形式を使用することになることがありますが、プログラム上から表形式でデータ登録・更新を行う場…

Azure OpenAI(GPT-3)と自動機械学習を組み合わせて自然言語からナレッジベースを構築する

Azure OpenAI Serviceではチャットのような対話に限らず幅広い自然言語処理のタスクに応用することができます。 今回の記事では一例として「業務メールを必要なものと不要なものに振り分ける」分類タスクをGPT-3のAIに解かせます。

OpenAIのChatGPTをチートシートとして利用できるか検証してみた

仕事の現場で使われ始めているChatGPTを製品のチートシートとして利用した時、技術情報の分かりやすさと正しさについて確認してみました。本記事では自分が業務で使用しているAzure Machine Learningをベースに質問をします。

Azure Machine Learning ラベル付けプロジェクトで適切なユーザー権限を割り振る

Azure Machine Learningでは登録したデータに対してワークスペース上でラベル付けを行うことができます。 RBACによって機能制限して、ラベル付けのみを行う形でユーザーを参加させることができます。 本記事ではラベル付けユーザーの種類と権限ごと機能につ…

Azure Machine Learningにおけるデータセット種類まとめ

Azure Machine Learningでは学習やテストに使用するデータをワークスペース上に登録して保管・共有することができます。 登録設定の際にいくつか選択肢が出てくるため、本記事で解説を行います。

Azure Machine LearningワークスペースをCLIv2で操作する 応用編2-自動デプロイパイプラインの構築

Azure Machine Learning CLIv2を使用してデプロイパイプラインを構築する方法を紹介します。

Azure Machine LearningワークスペースをCLIv2で操作する 応用編1-自動学習パイプラインの構築

Azure Machine Learning CLIv2を使用して学習パイプラインを構築する方法を紹介します。

Azure Machine LearningワークスペースをCLIv2で操作する 入門編2-推論エンドポイント立ち上げ

Azure Machine Learning CLIv2を使用して推論エンドポイントをデプロイする方法を紹介します。

Azure Machine LearningワークスペースをCLIv2で操作する 入門編1-機械学習モデル作成

Azure Machine LearningワークスペースをCLIv2を使って操作するチュートリアルです。自動化の前段階、CLIv2を使って学習操作を実施するまでの手順を示します。

AutoMLを使用して自然言語からナレッジベースを構築する

自然言語処理AIを使って、重要な業務メールにフラグ付けをする手法について解説します。一部、AzureMachineLearningの自動ML機能を使用して学習を行います。

ディープラーニングを使用してファッションアイテムの画像を分類する(後編)

はじめに データセット モデル バージョン・環境 実装 結果 まとめ 参考リンク はじめに 後編では、PyTorchというフレームワーク上で畳み込みニューラルネットワーク(CNN)を使ったディープラーニングの手法を利用して、実際にファッションアイテムの画像を…

ディープラーニングを使用してファッションアイテムの画像を分類する(前編)

はじめに 画像分類とは 画像分類モデルの実装 データセットの作成 モデル(ネットワークの作成) 損失関数や最適化手法の設定 学習 テスト ビジネス活用例 不動産情報サイト レシピ記録アプリ がんの画像診断 参考リンク はじめに 本記事では、ディープラー…

自然言語処理AIを用いてニュース記事から重要なワードを抽出する

はじめに 自然言語処理(NLP)とは? 達成目標 使用する環境・データセット PCスペック バージョン情報 学習用データセット 検証用データセット 重要単語抽出までの流れ ニュースコーパスWord2Vec学習結果 重要単語の抽出 単語抽出概要 K-means法 例文記事 …

3Dモデルから機械学習用の画像データを作成する方法

機械学習用の画像データについて 3Dモデルを作成する方法 3Dモデルから画像データを作成する方法 Azure Cognitive ServicesのCustom Visionでテストした結果 機械学習用の画像データについて 機械学習で使用する画像データは、多数用意する必要があります。 …