ブログ

LLMのtemperatureとtop_pとは？用途別の設定目安を解説

LLM APIのtemperatureとtop_pは、モデルが次のトークンを選ぶ「揺らぎ」を決めるパラメータです。仕組み、用途別の設定目安、よくある誤解を、コード例つきで解説します。

システムプロンプトとは、会話全体に効く「前提の指示」を渡すためのメッセージです。userメッセージとの違い、具体的な書き方のビフォー・アフター、コード例、注意点を開発者向けに解説します。

Function callingとは、LLMが「この関数をこの引数で呼んでほしい」と構造化して返す仕組みです。リクエストとレスポンスの形、2往復の実装、MCPとの関係をコード例つきで解説します。

コンテキストウィンドウとは、LLMが一度に扱えるトークンの上限です。何が枠を消費するのか、超えるとどうなるのか、履歴の削り方からモデル選びまで対処法をコード例つきで解説します。

LLM APIの課金単位「トークン」とは何か。文字でも単語でもない分割の仕組み、入力・出力の数え方、レスポンスのusageでの確認方法、コンテキストウィンドウや料金との関係を解説します。

LLM APIのレートリミットとは何か、429エラーが返る2つの原因（リクエスト過多と残高切れ）の見分け方、指数バックオフや同時実行制限といった正しい対処法をPythonのコード例つきで解説します。

MCPとは、LLMに外部のツールやデータを標準化された方法で接続するためのプロトコルです。仕組み・登場の背景・LLM APIとの関係を、開発者向けに分かりやすく解説します。

Chat Completions APIとは、LLMに会話形式でリクエストを送るための事実上の標準インターフェースです。messages配列とrole、レスポンスの読み方、主要パラメータをコード例つきで解説します。

AIゲートウェイとは、複数のLLMを一つのAPIでまとめて使えるようにする中間層です。仕組み・主な機能・従来のAPIゲートウェイとの違いを、具体例つきで解説します。

LLM APIのコスト削減は、やる順番でほぼ決まります。効果が最大のモデル選定から、出力・推論トークン、キャッシュ、日本語対策まで、実測にもとづいて効果の大きい順に整理しました。

95件中 1-10件を表示