LangSmith の統合

このドキュメントは AI によって自動翻訳されています。不正確な部分がある場合は、英語版 を参照してください。

1 LangSmith とは#

LangSmith は LLM アプリケーションの開発、コラボレーション、テスト、デプロイ、監視などのツールを提供するプラットフォームです。

2 LangSmith の使い方#

1. LangSmith の公式サイトから登録し、ログインする。#

2. LangSmith からプロジェクトを作成します#

ログイン後、ホームページの New Project をクリックし、新たな プロジェクトを作成します。このプロジェクトは、Dify 内の アプリと連動したデータモニタリングに使用されます。

作成する後、プロジェクトの中にチェクできます。

3. プロジェクト認証情報の作成#

左のサイドバーでプロジェクト 設定 を見つける。

Create API Key をクリックし，新たな認証情報を作ります。

Personal Access Token を選び，のちほとの API 身分証明の時使えます。

新たな API key をコピーし、保存します。

4. Dify アプリの中に LangSmith を設定します#

監視用のアプリのサイトメニューの 監視 ボタンをクリックし，設定 をクリックします。

それから，LangSmith から作った API Key と プロジェクト名を 設定の中に貼り付け、保存します。

保存に成功すると、現在のページで監視状態を見ることができます。

LangSmith でのモニタリングデータの表示#

Dify 内のアプリケーションからデバッグや製品データを設定することで、LangSmith にてそのデータをモニタリングすることができます。

LangSmith に切り替えると、ダッシュボード上で Dify アプリケーションの詳細な操作ログを見ることができます。

LangSmith を通じて得られる詳細な大規模言語モデル（LLM）の操作ログは、Dify アプリケーションのパフォーマンスを最適化するために役立ちます。

モニタリングデータリスト#

Workflow/Chatflow のトレース情報#

Workflow や Chatflow を追跡するために使用されます。

ワークフロートレース情報

• workflow_id：ワークフローの固有識別子
• conversation_id：会話 ID
• workflow_run_id：現在の実行 ID
• tenant_id：テナント ID
• elapsed_time：現在の実行にかかった時間
• status：実行ステータス
• version：ワークフローのバージョン
• total_tokens：現在の実行で使用されるトークンの合計数
• file_list：処理されたファイルのリスト
• triggered_from：現在の実行を引き起こしたソース
• workflow_run_inputs：現在の実行の入力データ
• workflow_run_outputs：現在の実行の出力データ
• error：現在の実行中に発生したエラー
• query：実行中に使用されたクエリ
• workflow_app_log_id：Workflow アプリケーションログ ID
• message_id：関連メッセージ ID
• start_time：実行の開始時間
• end_time：実行の終了時間
• workflow node executions：ワークフローノード実行に関する情報
• メタデータ
  • workflow_id：ワークフローの固有識別子
  • conversation_id：会話 ID
  • workflow_run_id：現在の実行 ID
  • tenant_id：テナント ID
  • elapsed_time：現在の実行にかかった時間
  • status：実行ステータス
  • version：ワークフローのバージョン
  • total_tokens：現在の実行で使用されるトークンの合計数
  • file_list：処理されたファイルのリスト
  • triggered_from：現在の実行を引き起こしたソース

メッセージトレース情報#

大規模言語モデル（LLM）関連の会話を追跡するために使用されます。

メッセージトレース情報

• message_id：メッセージ ID
• message_data：メッセージデータ
• user_session_id：ユーザーセッション ID
• conversation_model：会話モード
• message_tokens：メッセージ中のトークン数
• answer_tokens：回答のトークン数
• total_tokens：メッセージと回答の合計トークン数
• error：エラー情報
• inputs：入力データ
• outputs：出力データ
• file_list：処理されたファイルのリスト
• start_time：開始時間
• end_time：終了時間
• message_file_data：メッセージに関連付けられたファイルデータ
• conversation_mode：会話モード
• メタデータ
  • conversation_id：会話 ID
  • ls_provider：モデルプロバイダ
  • ls_model_name：モデル ID
  • status：メッセージステータス
  • from_end_user_id：送信ユーザーの ID
  • from_account_id：送信アカウントの ID
  • agent_based：メッセージがエージェントベースかどうか
  • workflow_run_id：ワークフロー実行 ID
  • from_source：メッセージのソース

モデレーショントレース情報#

会話のモデレーションを追跡するために使用されます。

モデレーショントレース情報

• message_id：メッセージ ID
• user_id：ユーザーID
• workflow_app_log_id：Workflow アプリケーションログ ID
• inputs：モデレーションの入力データ
• message_data：メッセージデータ
• flagged：コンテンツに注意が必要かどうか
• action：実行された具体的なアクション
• preset_response：プリセット応答
• start_time：モデレーション開始時間
• end_time：モデレーション終了時間
• メタデータ
  • message_id：メッセージ ID
  • action：実行された具体的なアクション
  • preset_response：プリセット応答

提案された質問トレース情報#

提案された質問を追跡するために使用されます。