本文档由 AI 自动翻译。如有任何不准确之处,请参考 英文原版。
检索能否处理图片,取决于知识库所选的模型。可以先确定你希望检索怎样处理图片:
-
以文搜图:用文字提问,按画面内容找到知识库中的图片。
选择支持视觉的 嵌入模型。这样一来,像「组织架构图」这样的问题,即使对应的图表没有图注或替代文本,也能按画面内容匹配到它。
-
以图搜图:用附加的图片,找到知识库中外观相似的图片。
选择支持视觉的 嵌入模型,相似的图片即使没有共同的文字,也能相互匹配。
-
以图搜文:用附加的图片,找到相关的文本分段。
选择支持视觉的 推理模型。它会用文字描述图片,再用这段描述检索文本。
三种方式都需要时,嵌入模型和推理模型都要选择支持视觉的。两个模型之后都可在 设置 > 检索 中更换。更换嵌入模型会重新索引所有文档,并消耗 token。
Note
如果原先两个模型都只支持文本,切换完成后,需在每个含图片的文档上点击 重新索引。
模型对图片处理的影响#
| 提取图片 | 以文搜图 | 以图搜文 | 以图搜图 | |
|---|---|---|---|---|
| 两者都支持视觉 | 是 | 按画面内容,以及图注或替代文本 | 「深度」和「研究」:是。 「快速」:否,图片查询只能找到图片。 | 是 |
| 仅嵌入模型支持 | 是 | 按画面内容,以及图注或替代文本 | 否 | 是 |
| 仅推理模型支持 | 是 | 仅按图注或替代文本 | 是 | 否 |
| 两者都不支持 | Markdown 和 HTML:仅保留图注或替代文本。 Office 文件:否。 | 仅按图注或替代文本 | 否。 只含图片的查询会失败,文字查询中附带的图片会被忽略。 | 否 |
无论选择哪种模型,Markdown 和 HTML 文件中图片的图注和替代文本都能被检索到。因此,只要源内容的图注写得好,任何模型组合下的图片检索效果都会更好。
Info
- 只要任一模型支持图片输入,就会读取 PDF 文件中图片里的文字。
- Word、PowerPoint 和 Excel 文件中图片里的文字不会被读取,因此用户可能会搜索的内容,应写在图片周围的正文中。