本記事ではGPT系の自然言語モデルで必ず計算しなければならないトークンについて、考え方や計算方法、実際の計算結果などを示しながら解説を行います。

WebAPI を開発・保守していると特殊な文字（制御文字）が入力に紛れ込んでいて、その場面では問題にはならないけれども後続処理でエラーが発生する。。。なんてことがよくあります。入力から特殊文字を削除する簡単な方法としては API それぞれに対する特殊…