> ## Documentation index
> Fetch the complete documentation index at: https://dify-docs.docs7.io/llms.txt
> Ask it with GET https://dify-docs.docs7.io/ask?q=<keywords or question>. Short keywords rank best.
> Use these to discover all available pages before exploring further.

# 多模态检索

> 所选模型如何影响知识库中图片的索引与检索

> 本文档由 AI 自动翻译。如有任何不准确之处，请参考 [英文原版](/en/cloud/use-dify/knowledge-base/multimodal-retrieval)。

检索能否处理图片，取决于知识库所选的模型。可以先确定你希望检索怎样处理图片：

- **以文搜图**：用文字提问，按画面内容找到知识库中的图片。

    选择支持视觉的 **嵌入模型**。这样一来，像「组织架构图」这样的问题，即使对应的图表没有图注或替代文本，也能按画面内容匹配到它。

- **以图搜图**：用附加的图片，找到知识库中外观相似的图片。

    选择支持视觉的 **嵌入模型**，相似的图片即使没有共同的文字，也能相互匹配。

- **以图搜文**：用附加的图片，找到相关的文本分段。

    选择支持视觉的 **推理模型**。它会用文字描述图片，再用这段描述检索文本。

三种方式都需要时，嵌入模型和推理模型都要选择支持视觉的。两个模型之后都可在 **设置** > **检索** 中更换。更换嵌入模型会重新索引所有文档，并消耗 token。

<Note>
如果原先两个模型都只支持文本，切换完成后，需在每个含图片的文档上点击 **重新索引**。
</Note>

## 模型对图片处理的影响

| | 提取图片 | 以文搜图 | 以图搜文 | 以图搜图 |
|:--|:--|:--|:--|:--|
| **两者都支持视觉** | 是 | 按画面内容，以及图注或替代文本 | 「深度」和「研究」：是。<br/><br/>「快速」：否，图片查询只能找到图片。 | 是 |
| **仅嵌入模型支持** | 是 | 按画面内容，以及图注或替代文本 | 否 | 是 |
| **仅推理模型支持** | 是 | 仅按图注或替代文本 | 是 | 否 |
| **两者都不支持** | Markdown 和 HTML：仅保留图注或替代文本。<br/><br/>Office 文件：否。 | 仅按图注或替代文本 | 否。<br/><br/>只含图片的查询会失败，文字查询中附带的图片会被忽略。 | 否 |

无论选择哪种模型，Markdown 和 HTML 文件中图片的图注和替代文本都能被检索到。因此，只要源内容的图注写得好，任何模型组合下的图片检索效果都会更好。

<Info>

- 只要任一模型支持图片输入，就会读取 PDF 文件中图片里的文字。
- Word、PowerPoint 和 Excel 文件中图片里的文字不会被读取，因此用户可能会搜索的内容，应写在图片周围的正文中。

</Info>