预览网站抓取

抓取网站数据源，并暂存找到的页面供你挑选，不导入任何内容。返回运行。用其 id 轮询获取数据源运行，直到 state 为 preview_ready、zero_results、failed 或 canceled。

数据源必须是 web 类型。抓取的页面数量取决于数据源的抓取设置。抓取返回超过 1,000 个页面时会失败，因此需先收窄这些设置。

在你从预览导入或用取消数据源运行取消之前，预览一直算作数据源的当前运行，因此不打算导入的预览应取消。启动预览前，先等该数据源上的其他运行结束。

先预览后导入的流程，详见导入网站页面。

1 min read

post/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-preview

Request example

curl --request POST \
  --url https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-preview \
  --header 'Authorization: Bearer <token>' \
  --header 'Idempotency-Key: <string>'

import requests

url = "https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-preview"
headers = {
    "Authorization": "Bearer <token>",
    "Idempotency-Key": "<string>",
}

response = requests.request("POST", url, headers=headers)

print(response.text)

const response = await fetch('https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-preview', {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <token>',
    'Idempotency-Key': '<string>'
  }
});

const data = await response.json();
console.log(data);

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => 'https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-preview',
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_CUSTOMREQUEST => 'POST',
  CURLOPT_HTTPHEADER => [
    'Authorization: Bearer <token>',
    'Idempotency-Key: <string>',
  ],
]);

$response = curl_exec($curl);
curl_close($curl);

echo $response;

package main

import (
	"fmt"
	"io"
	"net/http"
)

func main() {
	url := "https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-preview"

	req, _ := http.NewRequest("POST", url, nil)
	req.Header.Add("Authorization", "Bearer <token>")
	req.Header.Add("Idempotency-Key", "<string>")

	res, _ := http.DefaultClient.Do(req)
	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))
}

HttpRequest request = HttpRequest.newBuilder()
    .uri(URI.create("https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-preview"))
    .header("Authorization", "Bearer <token>")
    .header("Idempotency-Key", "<string>")
    .method("POST", HttpRequest.BodyPublishers.noBody())
    .build();

HttpResponse<String> response = HttpClient.newHttpClient()
    .send(request, HttpResponse.BodyHandlers.ofString());

System.out.println(response.body());

require 'uri'
require 'net/http'

url = URI('https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-preview')

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = url.scheme == 'https'

request = Net::HTTP::Post.new(url)
request['Authorization'] = 'Bearer <token>'
request['Idempotency-Key'] = '<string>'

response = http.request(request)
puts response.read_body

Response

{
  "canceled_at": null,
  "checkpoint": "queued",
  "completed_at": null,
  "created_at": "2026-10-20T10:00:00Z",
  "cursor": null,
  "execution_attempts": 0,
  "failure": null,
  "id": "e1f2a3b4-c5d6-4e7f-8a9b-0c1d2e3f4a5b",
  "kind": "crawl-preview",
  "knowledge_space_id": "0a9d3c2e-5b6f-4e1a-8c7d-2f3e4a5b6c7d",
  "last_error_code": null,
  "max_execution_attempts": 5,
  "progress_completed": 0,
  "progress_failed": 0,
  "progress_skipped": 0,
  "progress_total": null,
  "source_id": "6f1c2b0e-3d0b-4a5e-9f4c-1c0e6a7b8d90",
  "state": "queued",
  "updated_at": "2026-10-20T10:00:00Z"
}

{
  "code": "knowledge_fs_invalid_request",
  "message": "Agent Knowledge Base request is invalid.",
  "status": 400,
  "violations": [
    {
      "field": [
        "idempotency-key"
      ],
      "type": "string_too_short"
    }
  ]
}

{
  "code": "knowledge_fs_invalid_request",
  "message": "Agent Knowledge Base request is invalid.",
  "status": 400
}

{
  "code": "knowledge_fs_invalid_request",
  "failure": {
    "category": "validation",
    "code": "KNOWLEDGE_FS_INVALID_REQUEST",
    "message": "The Agent Knowledge Base request is invalid.",
    "retryPolicy": "never",
    "traceId": "7f3c1a90-2e64-4b7d-8a51-6c0d9e2f4b83"
  },
  "message": "The Agent Knowledge Base request is invalid.",
  "status": 400
}

{
  "code": "knowledge_fs_invalid_credential",
  "message": "Invalid Agent Knowledge Base service credential.",
  "status": 401
}

{
  "code": "unauthorized",
  "message": "Access token is invalid",
  "status": 401
}

{
  "code": "forbidden",
  "message": "Sorry, you have reached the knowledge base request rate limit of your subscription.",
  "status": 403
}

{
  "code": "knowledge_fs_access_denied",
  "message": "Agent Knowledge Base operation is not allowed.",
  "status": 403
}

{
  "code": "knowledge_fs_resource_not_found",
  "failure": {
    "category": "not_found",
    "code": "KNOWLEDGE_FS_NOT_FOUND",
    "message": "The requested Agent Knowledge Base resource was not found.",
    "retryPolicy": "never",
    "traceId": "7f3c1a90-2e64-4b7d-8a51-6c0d9e2f4b83"
  },
  "message": "The requested Agent Knowledge Base resource was not found.",
  "status": 404
}

{
  "code": "not_found",
  "message": "The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.",
  "status": 404
}

{
  "code": "knowledge_fs_upstream_unavailable",
  "failure": {
    "action": "contact_admin",
    "category": "internal",
    "code": "KNOWLEDGE_FS_INTERNAL_ERROR",
    "message": "Agent Knowledge Base could not complete the operation. Try again, or contact an administrator with the error reference.",
    "retryPolicy": "manual",
    "traceId": "5e2a9c17-3b4d-4f60-8a1b-2c3d4e5f6a7b"
  },
  "message": "Agent Knowledge Base could not complete the operation. Try again, or contact an administrator with the error reference.",
  "status": 502
}

{
  "code": "knowledge_fs_upstream_unavailable",
  "message": "Agent Knowledge Base is unavailable.",
  "status": 502
}

{
  "code": "knowledge_fs_operation_unavailable",
  "message": "Agent Knowledge Base operation is not available.",
  "status": 503
}

{
  "code": "knowledge_fs_operation_unavailable",
  "failure": {
    "action": "retry",
    "category": "dependency",
    "code": "KNOWLEDGE_FS_UNAVAILABLE",
    "message": "A service required by Agent Knowledge Base is temporarily unavailable.",
    "retryPolicy": "manual",
    "traceId": "5e2a9c17-3b4d-4f60-8a1b-2c3d4e5f6a7b"
  },
  "message": "A service required by Agent Knowledge Base is temporarily unavailable.",
  "status": 503
}

post/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-preview

Authorization

Authorizationstringheaderrequired#

每个请求都通过 API Key 认证：Authorization: Bearer {API_KEY}。应用接口使用应用 API Key，知识库接口使用知识库 API Key（快速开始）。

API Key 应保存在服务端，切勿嵌入客户端代码。缺失或无效的 Key 会返回 HTTP 401（unauthorized）。

Path parameters

knowledge_base_idstringrequired#

知识库 ID：即知识库 API 访问 对话框中所示服务 API 端点的最后一段（…/knowledge-fs/spaces/<knowledge base ID>），也是地址栏中 /datasets/new/ 之后的那一段。

source_idstringrequired#

数据源 ID，通过获取数据源列表获取。

Headers

Idempotency-Keystringrequired#

用同一个 API 密钥对同一个数据源重复发送相同的键，会返回原运行及其当前状态，不会启动新的运行。每打算启动一次预览，都使用新的键。使用可打印 ASCII 字符，首尾不得有空白。

Length: 8–255

Responses

application/json

运行，其中 kind: crawl-preview、state: queued。

canceled_atstring#

取消运行的时间。仅当 state 为 canceled 时有值，否则为 null。

checkpointstring#

运行已到达的最后一步：queued、provider-read、preview-staged、selection-frozen、materialized、cleanup-staging 或 source-committed。无论运行停在哪个检查点，重试数据源运行都会从头开始运行。

completed_atstring#

运行结束（completed、zero_results、failed 或 canceled）的时间，ISO 8601 格式。运行期间为 null。

created_atstring#

创建时间，ISO 8601 格式。

cursorstring#

运行恢复时所用的提供商游标。运行尚未翻页时为 null。

execution_attemptsinteger#

工作进程领取该运行的次数，包括重试数据源运行之后的领取，重试不会重置该值。

failureobject#

state 为 failed 时的错误详情。其中 stage 为失败时运行的 checkpoint，traceId 为运行 ID。其他情况下为 null。

Show child attributes

actionstring#

建议的下一步操作（如有）：configure_model、configure_parser、configure_source、contact_admin、reupload 或 retry。不适用时为 null。HTTP 错误响应体中不包含此字段。

categorystring#

失败类别：authorization、canceled、configuration、conflict、dependency、internal、not_found、rate_limit、timeout 或 validation。

codestring#

稳定的错误码，采用大写蛇形命名，例如 KNOWLEDGE_FS_CONFLICT 或 SOURCE_CREDENTIAL_TEST_FAILED。

messagestring#

错误码或失败类别对应的公开消息。不会暴露提供商的错误详情。

parametersobject#

描述失败细节的值，最多 8 个，键取自 attempt、currentRowVersion、documentCount、expectedRowVersion、fileSizeBytes、limit、maxFileSizeBytes、maxItems、modelType、providerKind、retryAfterSeconds 和 status。没有时为 null。HTTP 错误响应体中不包含此字段。

retryPolicystring#

重试是否有用：automatic（服务会自动重试）、manual（需自行重试）、after_configuration（先在 Dify 中修正知识库配置）或 never（需修改请求）。

stagestring#

失败所在的阶段，例如 query_generation 或 credential-test。不适用时为 null。HTTP 错误响应体中不包含此字段。

traceIdstring#

联系管理员时需提供的参考编号。在包含失败详情的成功响应中可能为 null，在 HTTP 错误响应体中可能不出现。

idstring#

运行 ID，可传给获取数据源运行、取消数据源运行或重试数据源运行。

kindstring#

运行的类型：

sync：由同步数据源、更新数据源、定时同步或 Dify 发起。
crawl-preview：由预览网站抓取发起。导入所选页面从该预览导入时，类型保持不变。
crawl-import：由导入网站页面发起。
online-document-import、online-drive-import：由导入数据源条目发起。

在 Dify 中添加或编辑数据源时，Dify 也会发起预览和导入。

knowledge_space_idstring#

知识库的内部 ID，并非路径中的知识库 ID。

last_error_codestring#

state 为 failed 时为 failure.code 的值，否则为 null。

max_execution_attemptsinteger#

execution_attempts 的上限。达到上限后，重试数据源运行返回 409。

progress_completedinteger#

已处理完的项数，包括同步时检查过但未变化的项。

progress_failedinteger#

数据源运行始终为 0：任一项失败都会导致整个运行失败。

progress_skippedinteger#

数据源运行始终为 0。

progress_totalinteger#

运行预计处理的项数：导入请求的页面或条目数、抓取预览目前已暂存的页面数，或同步列出数据源条目后的条目数。确定之前为 null。

导入网站页面的运行抓取 URL 期间，progress_completed 和 progress_total 都统计目前已抓取的页面数。所有 URL 抓取完成后，进度从 0 重新开始计，总数变为 URL 的数量。

source_idstring#

运行所属的数据源。

statestring#

运行的进度。

进行中的状态：

queued：等待工作进程处理
crawling：抓取预览正在获取页面
preview_ready：抓取预览正在等待导入所选页面或取消数据源运行
importing：正在导入并索引条目
syncing：正在刷新数据源的文档

终态：

completed：所有条目均已导入或刷新、完成索引并生效
zero_results：抓取预览未找到任何页面
failed：详见 failure
canceled

failed 或 canceled 之后，重试数据源运行会再次执行该运行，同步数据源则会发起新的同步。

updated_atstring#

最后变更时间，ISO 8601 格式。

同步数据源获取抓取预览页面列表