反向调用模型

本文档由 AI 自动翻译。如有任何不准确之处，请参考英文原版。

插件可以反向调用 Dify 内部的 LLM 能力，涵盖平台内的所有模型类型和功能，例如 TTS 和 Rerank。若不熟悉反向调用的基础知识，请先阅读反向调用 Dify 服务。

每次调用模型都需传入一个 ModelConfig 类型的参数。它的结构定义在通用规范定义中，并会因模型类型而略有差异。

例如，LLM 类型的模型还需要 completion_params 和 mode 参数。你可手动构建该结构，也可使用 model-selector 类型的参数或配置。

调用 LLM#

入口点#

    self.session.model.llm

接口#

    def invoke(        self,        model_config: LLMModelConfig,        prompt_messages: list[PromptMessage],        tools: list[PromptMessageTool] | None = None,        stop: list[str] | None = None,        stream: bool = True,    ) -> Generator[LLMResultChunk, None, None] | LLMResult:        pass

如果你调用的模型不具备 tool_call 能力，这里传入的 tools 不会生效。

使用示例#

以下示例在 Tool 中调用 OpenAI 的 gpt-4o-mini 模型：

from collections.abc import Generatorfrom typing import Anyfrom dify_plugin import Toolfrom dify_plugin.entities.model.llm import LLMModelConfigfrom dify_plugin.entities.tool import ToolInvokeMessagefrom dify_plugin.entities.model.message import SystemPromptMessage, UserPromptMessageclass LLMTool(Tool):    def _invoke(self, tool_parameters: dict[str, Any]) -> Generator[ToolInvokeMessage]:        response = self.session.model.llm.invoke(            model_config=LLMModelConfig(                provider='openai',                model='gpt-4o-mini',                mode='chat',                completion_params={}            ),            prompt_messages=[                SystemPromptMessage(                    content='you are a helpful assistant'                ),                UserPromptMessage(                    content=tool_parameters.get('query')                )            ],            stream=True        )        for chunk in response:            if chunk.delta.message:                assert isinstance(chunk.delta.message.content, str)                yield self.create_text_message(text=chunk.delta.message.content)

注意，代码会从 tool_parameters 中取出 query 参数。

最佳实践#

避免手动构建 LLMModelConfig，而应让用户在 UI 中选择想要的模型：在工具的参数列表中添加一个 model 参数即可。

identity:  name: llm  author: Dify  label:    en_US: LLM    zh_Hans: LLM    pt_BR: LLMdescription:  human:    en_US: A tool for invoking a large language model    zh_Hans: 用于调用大型语言模型的工具    pt_BR: A tool for invoking a large language model  llm: A tool for invoking a large language modelparameters:  - name: prompt    type: string    required: true    label:      en_US: Prompt string      zh_Hans: 提示字符串      pt_BR: Prompt string    human_description:      en_US: used for searching      zh_Hans: 用于搜索网页内容      pt_BR: used for searching    llm_description: key words for searching    form: llm  - name: model    type: model-selector    scope: llm    required: true    label:      en_US: Model      zh_Hans: 使用的模型      pt_BR: Model    human_description:      en_US: Model      zh_Hans: 使用的模型      pt_BR: Model    llm_description: which Model to invoke    form: formextra:  python:    source: tools/llm.py

由于 model 参数的 scope 为 llm，用户只能选择 llm 类型的模型。此时，前面的使用示例可改写为：

from collections.abc import Generatorfrom typing import Anyfrom dify_plugin import Toolfrom dify_plugin.entities.model.llm import LLMModelConfigfrom dify_plugin.entities.tool import ToolInvokeMessagefrom dify_plugin.entities.model.message import SystemPromptMessage, UserPromptMessageclass LLMTool(Tool):    def _invoke(self, tool_parameters: dict[str, Any]) -> Generator[ToolInvokeMessage]:        response = self.session.model.llm.invoke(            model_config=tool_parameters.get('model'),            prompt_messages=[                SystemPromptMessage(                    content='you are a helpful assistant'                ),                UserPromptMessage(                    content=tool_parameters.get('prompt')                )            ],            stream=True        )        for chunk in response:            if chunk.delta.message:                assert isinstance(chunk.delta.message.content, str)                yield self.create_text_message(text=chunk.delta.message.content)

调用 Summary#

此接口使用当前工作空间内的系统模型来总结一段文本。

入口点#

    self.session.model.summary

接口#

    def invoke(        self, text: str, instruction: str,    ) -> str:

text：要总结的文本。
instruction：额外的指令，让你可控制摘要的风格。

调用 TextEmbedding#

入口点#

    self.session.model.text_embedding

接口#

    def invoke(        self,        model_config: TextEmbeddingModelConfig,        texts: list[str],        input_type: EmbeddingInputType = EmbeddingInputType.QUERY,    ) -> TextEmbeddingResult:        pass

调用 Rerank#

入口点#

    self.session.model.rerank

接口#

    def invoke(        self, model_config: RerankModelConfig, docs: list[str], query: str    ) -> RerankResult:        pass

调用 TTS#

入口点#

    self.session.model.tts

接口#

    def invoke(        self, model_config: TTSModelConfig, content_text: str    ) -> Generator[bytes, None, None]:        pass

tts 接口返回的 bytes 流是 mp3 音频字节流，每次迭代返回一个完整的音频片段。若需更深入的处理，请选择合适的音频库。

调用 Speech2Text#

入口点#

    self.session.model.speech2text

接口#

    def invoke(        self, model_config: Speech2TextModelConfig, file: IO[bytes]    ) -> str:        pass

其中 file 是以 mp3 格式编码的音频文件。

调用 Moderation#

入口点#

    self.session.model.moderation

接口#

    def invoke(self, model_config: ModerationModelConfig, text: str) -> bool:        pass

返回值为 true 表示 text 中包含敏感内容。

调用 LLM#

入口点#

接口#

使用示例#

最佳实践#

调用 Summary#

入口点#

接口#

调用 TextEmbedding#

入口点#

接口#

调用 Rerank#

入口点#

接口#

调用 TTS#

入口点#

接口#

调用 Speech2Text#

入口点#

接口#

调用 Moderation#

入口点#

接口#

相关资源#