ウェブサイトのページをインポート

既知の URL をウェブサイトソースにインポートし、実行を返します。state が completed、failed、canceled のいずれかになるまで、その id でソースの実行を取得をポーリングしてください。

各 URL は個別にクロールされ、すべての URL のクロールが終わるとインポートが始まります。ページを返さない URL があると、ページがインポートされる前に実行が失敗し、ソースのドキュメントは変更されません。

実行が完了すると、sourceUrls がソースのページリストになります。インポートのたびにリスト全体が設定されるため、ソースに残したい URL はすべて送信してください。

ソースは web ソースである必要があります。1 つのソースで同時に実行できる同期、プレビュー、インポートは 1 つだけです。別の実行を開始する前に、アクティブな実行が終わるのを待ってください。インポートしないクロールプレビューはキャンセルしてください。

ウェブサイトのページをインポートする 2 つの方法については、ウェブサイトのページのインポートを参照してください。

1 min read

post/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-import

Request example

curl --request POST \
  --url https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-import \
  --header 'Authorization: Bearer <token>' \
  --header 'Idempotency-Key: <string>' \
  --header 'Content-Type: application/json' \
  --data '{
  "replaceExistingSelection": true,
  "sourceUrls": [
    "https://docs.example.com/guides/billing",
    "https://docs.example.com/pricing"
  ]
}'

import requests

url = "https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-import"
headers = {
    "Authorization": "Bearer <token>",
    "Idempotency-Key": "<string>",
    "Content-Type": "application/json",
}
payload = {
    "replaceExistingSelection": True,
    "sourceUrls": [
        "https://docs.example.com/guides/billing",
        "https://docs.example.com/pricing"
    ]
}

response = requests.request("POST", url, headers=headers, json=payload)

print(response.text)

const response = await fetch('https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-import', {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <token>',
    'Idempotency-Key': '<string>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    "replaceExistingSelection": true,
    "sourceUrls": [
      "https://docs.example.com/guides/billing",
      "https://docs.example.com/pricing"
    ]
  })
});

const data = await response.json();
console.log(data);

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => 'https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-import',
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_CUSTOMREQUEST => 'POST',
  CURLOPT_POSTFIELDS => '{
  "replaceExistingSelection": true,
  "sourceUrls": [
    "https://docs.example.com/guides/billing",
    "https://docs.example.com/pricing"
  ]
}',
  CURLOPT_HTTPHEADER => [
    'Authorization: Bearer <token>',
    'Idempotency-Key: <string>',
    'Content-Type: application/json',
  ],
]);

$response = curl_exec($curl);
curl_close($curl);

echo $response;

package main

import (
	"fmt"
	"io"
	"net/http"
	"strings"
)

func main() {
	url := "https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-import"
	payload := strings.NewReader("{\n  \"replaceExistingSelection\": true,\n  \"sourceUrls\": [\n    \"https://docs.example.com/guides/billing\",\n    \"https://docs.example.com/pricing\"\n  ]\n}")

	req, _ := http.NewRequest("POST", url, payload)
	req.Header.Add("Authorization", "Bearer <token>")
	req.Header.Add("Idempotency-Key", "<string>")
	req.Header.Add("Content-Type", "application/json")

	res, _ := http.DefaultClient.Do(req)
	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))
}

HttpRequest request = HttpRequest.newBuilder()
    .uri(URI.create("https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-import"))
    .header("Authorization", "Bearer <token>")
    .header("Idempotency-Key", "<string>")
    .header("Content-Type", "application/json")
    .method("POST", HttpRequest.BodyPublishers.ofString("{\n  \"replaceExistingSelection\": true,\n  \"sourceUrls\": [\n    \"https://docs.example.com/guides/billing\",\n    \"https://docs.example.com/pricing\"\n  ]\n}"))
    .build();

HttpResponse<String> response = HttpClient.newHttpClient()
    .send(request, HttpResponse.BodyHandlers.ofString());

System.out.println(response.body());

require 'uri'
require 'net/http'

url = URI('https://api.dify.ai/v1/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-import')

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = url.scheme == 'https'

request = Net::HTTP::Post.new(url)
request['Authorization'] = 'Bearer <token>'
request['Idempotency-Key'] = '<string>'
request['Content-Type'] = 'application/json'
request.body = '{
  "replaceExistingSelection": true,
  "sourceUrls": [
    "https://docs.example.com/guides/billing",
    "https://docs.example.com/pricing"
  ]
}'

response = http.request(request)
puts response.read_body

Response

{
  "canceled_at": null,
  "checkpoint": "queued",
  "completed_at": null,
  "created_at": "2026-10-20T10:00:00Z",
  "cursor": null,
  "execution_attempts": 0,
  "failure": null,
  "id": "e1f2a3b4-c5d6-4e7f-8a9b-0c1d2e3f4a5b",
  "kind": "crawl-import",
  "knowledge_space_id": "0a9d3c2e-5b6f-4e1a-8c7d-2f3e4a5b6c7d",
  "last_error_code": null,
  "max_execution_attempts": 5,
  "progress_completed": 0,
  "progress_failed": 0,
  "progress_skipped": 0,
  "progress_total": 2,
  "source_id": "6f1c2b0e-3d0b-4a5e-9f4c-1c0e6a7b8d90",
  "state": "queued",
  "updated_at": "2026-10-20T10:00:00Z"
}

{
  "code": "knowledge_fs_invalid_request",
  "message": "Agent Knowledge Base request is invalid.",
  "status": 400,
  "violations": [
    {
      "field": [
        "sourceUrls"
      ],
      "type": "too_long"
    }
  ]
}

{
  "code": "knowledge_fs_invalid_request",
  "message": "Agent Knowledge Base request is invalid.",
  "status": 400
}

{
  "code": "knowledge_fs_invalid_request",
  "failure": {
    "category": "validation",
    "code": "KNOWLEDGE_FS_INVALID_REQUEST",
    "message": "The Agent Knowledge Base request is invalid.",
    "retryPolicy": "never",
    "traceId": "7f3c1a90-2e64-4b7d-8a51-6c0d9e2f4b83"
  },
  "message": "The Agent Knowledge Base request is invalid.",
  "status": 400
}

{
  "code": "knowledge_fs_invalid_credential",
  "message": "Invalid Agent Knowledge Base service credential.",
  "status": 401
}

{
  "code": "unauthorized",
  "message": "Access token is invalid",
  "status": 401
}

{
  "code": "forbidden",
  "message": "Sorry, you have reached the knowledge base request rate limit of your subscription.",
  "status": 403
}

{
  "code": "knowledge_fs_access_denied",
  "message": "Agent Knowledge Base operation is not allowed.",
  "status": 403
}

{
  "code": "knowledge_fs_resource_not_found",
  "failure": {
    "category": "not_found",
    "code": "KNOWLEDGE_FS_NOT_FOUND",
    "message": "The requested Agent Knowledge Base resource was not found.",
    "retryPolicy": "never",
    "traceId": "7f3c1a90-2e64-4b7d-8a51-6c0d9e2f4b83"
  },
  "message": "The requested Agent Knowledge Base resource was not found.",
  "status": 404
}

{
  "code": "not_found",
  "message": "The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.",
  "status": 404
}

{
  "code": "knowledge_fs_conflict",
  "failure": {
    "action": "retry",
    "category": "conflict",
    "code": "KNOWLEDGE_FS_CONFLICT",
    "message": "The Agent Knowledge Base operation conflicts with the current resource state.",
    "retryPolicy": "manual",
    "traceId": "7f3c1a90-2e64-4b7d-8a51-6c0d9e2f4b83"
  },
  "message": "The Agent Knowledge Base operation conflicts with the current resource state.",
  "status": 409
}

{
  "code": "knowledge_fs_request_too_large",
  "message": "Agent Knowledge Base request is too large.",
  "status": 413
}

{
  "code": "knowledge_fs_upstream_unavailable",
  "failure": {
    "action": "contact_admin",
    "category": "internal",
    "code": "KNOWLEDGE_FS_INTERNAL_ERROR",
    "message": "Agent Knowledge Base could not complete the operation. Try again, or contact an administrator with the error reference.",
    "retryPolicy": "manual",
    "traceId": "5e2a9c17-3b4d-4f60-8a1b-2c3d4e5f6a7b"
  },
  "message": "Agent Knowledge Base could not complete the operation. Try again, or contact an administrator with the error reference.",
  "status": 502
}

{
  "code": "knowledge_fs_upstream_unavailable",
  "message": "Agent Knowledge Base is unavailable.",
  "status": 502
}

{
  "code": "knowledge_fs_operation_unavailable",
  "message": "Agent Knowledge Base operation is not available.",
  "status": 503
}

{
  "code": "knowledge_fs_operation_unavailable",
  "failure": {
    "action": "retry",
    "category": "dependency",
    "code": "KNOWLEDGE_FS_UNAVAILABLE",
    "message": "A service required by Agent Knowledge Base is temporarily unavailable.",
    "retryPolicy": "manual",
    "traceId": "5e2a9c17-3b4d-4f60-8a1b-2c3d4e5f6a7b"
  },
  "message": "A service required by Agent Knowledge Base is temporarily unavailable.",
  "status": 503
}

post/knowledge-fs/spaces/{knowledge_base_id}/sources/{source_id}/crawl-import

Authorization

Authorizationstringheaderrequired#

すべてのリクエストは API キーで認証します：Authorization: Bearer {API_KEY}。アプリのエンドポイントにはアプリの API キーを、ナレッジのエンドポイントにはナレッジベースの API キーを使用します（Dify API クイックスタート）。

キーはサーバーサイドで保管し、クライアントコードには決して埋め込まないでください。キーが欠落または無効なリクエストは HTTP 401（unauthorized）で失敗します。

Path parameters

knowledge_base_idstringrequired#

ナレッジベース ID です。ナレッジベースの API アクセス ダイアログに表示されるサービス API エンドポイントの最後のセグメント（…/knowledge-fs/spaces/<knowledge base ID>）です。アドレスバーでは /datasets/new/ の後のセグメントです。

source_idstringrequired#

ソース ID です。ソース一覧を取得から取得します。

Headers

Idempotency-Keystringrequired#

同じ API キーと冪等キーで同一のリクエストを再送信すると、元の実行が現在の状態で返されます。開始するインポートごとに新しいキーを使用してください。このソースで同じキーを異なるボディとともに再利用すると、409 が返ります。前後に空白を含まない、印字可能な ASCII 文字を使用してください。

Length: 8–255

Body

application/json

replaceExistingSelectionboolean#

true にすると、sourceUrls に含まれないページに対応するソースのドキュメントを、同じ実行で削除します。

Default: false

sourceUrlsstring[]required#

インポートする URL です。同じ URL は 1 回だけ指定します。前後の空白は取り除かれます。

Items: 1–200

Responses

application/json

kind: crawl-import、state: queued で、progress_total に URL の数が設定された実行です。

canceled_atstring#

実行がキャンセルされた日時です。state が canceled でない場合は null です。

checkpointstring#

実行が到達した最後のステップで、queued、provider-read、preview-staged、selection-frozen、materialized、cleanup-staging、source-committed のいずれかです。ソースの実行を再試行は、チェックポイントにかかわらず実行を最初からやり直します。

completed_atstring#

実行が completed、zero_results、failed、canceled のいずれかで終了した日時（ISO 8601）です。実行中は null です。

created_atstring#

作成日時（ISO 8601）です。

cursorstring#

実行の再開位置となるプロバイダーのカーソルです。実行がページ送りをしていない場合は null です。

execution_attemptsinteger#

ワーカーが実行を取得した回数です。ソースの実行を再試行の後の取得も含み、再試行してもリセットされません。

failureobject#

state が failed の場合のエラー詳細です。stage は失敗時点の実行の checkpoint、traceId は実行 ID です。それ以外の場合は null です。

Show child attributes

actionstring#

推奨される次の対応です。ある場合は configure_model、configure_parser、configure_source、contact_admin、reupload、retry のいずれかです。該当しない場合は null で、HTTP エラーのボディでは省略されます。

categorystring#

失敗の種類で、authorization、canceled、configuration、conflict、dependency、internal、not_found、rate_limit、timeout、validation のいずれかです。

codestring#

大文字のスネークケースで表される固定のエラーコードです（例：KNOWLEDGE_FS_CONFLICT、SOURCE_CREDENTIAL_TEST_FAILED）。

messagestring#

エラーコードまたは失敗の種類に対応する公開用メッセージです。プロバイダーのエラー詳細は公開されません。

parametersobject#

失敗の内容を補足する最大 8 個の値です。キーは attempt、currentRowVersion、documentCount、expectedRowVersion、fileSizeBytes、limit、maxFileSizeBytes、maxItems、modelType、providerKind、retryAfterSeconds、status のいずれかです。値がない場合は null で、HTTP エラーのボディでは省略されます。

retryPolicystring#

再試行で解決できるかどうかです。automatic（サービスが自動で再試行）、manual（呼び出し側で再試行）、after_configuration（先に Dify でナレッジベースの設定を修正）、never（リクエストを変更）のいずれかです。

stagestring#

失敗が発生した段階です（例：query_generation、credential-test）。該当しない場合は null で、HTTP エラーのボディでは省略されます。

traceIdstring#

管理者に問い合わせる際に伝える参照情報です。失敗の詳細を含む成功レスポンスでは null になることがあり、HTTP エラーのボディでは省略されることがあります。

idstring#

実行 ID です。ソースの実行を取得、ソースの実行をキャンセル、ソースの実行を再試行に渡します。

kindstring#

実行の処理内容です：

sync：ソースを同期、ソースを更新、スケジュール、または Dify によって開始されます。
crawl-preview：ウェブサイトのクロールをプレビューによって開始されます。選択したページをインポートがこの実行からインポートしている間も、種類は変わりません。
crawl-import：ウェブサイトのページをインポートによって開始されます。
online-document-import、online-drive-import：ソースのアイテムをインポートによって開始されます。

Dify でソースを追加または編集した場合も、Dify がプレビューとインポートを開始します。

knowledge_space_idstring#

ナレッジベースの内部 ID です。パスのナレッジベース ID とは異なります。

last_error_codestring#

state が failed の場合は failure.code の値です。それ以外の場合は null です。

max_execution_attemptsinteger#

execution_attempts の上限です。上限に達すると、ソースの実行を再試行は 409 を返します。

progress_completedinteger#

完了したアイテム数です。同期で確認された未変更のアイテムも含みます。

progress_failedinteger#

ソースの実行では常に 0 です。1 つのアイテムが失敗すると、実行全体が失敗するためです。

progress_skippedinteger#

ソースの実行では常に 0 です。

progress_totalinteger#

実行が処理する予定のアイテム数です。インポートではリクエストされたページまたはアイテム、クロールプレビューではこれまでに一時保存されたページ、同期では一覧の取得後のソースのアイテムを数えます。判明するまでは null です。

ウェブサイトのページをインポートの実行が URL をクロールしている間は、progress_completed と progress_total のどちらも、それまでにクロールしたページ数を数えます。すべての URL のクロールが終わると、URL の数を総数として 0 から数え直します。

source_idstring#

実行が属するソースです。

statestring#

実行の進行状況です。

進行中の状態：

queued：ワーカー待ち
crawling：クロールプレビューによるページの取得中
preview_ready：クロールプレビューが選択したページをインポートまたはソースの実行をキャンセルを待機中
importing：アイテムのインポートとインデックス処理中
syncing：ソースのドキュメントを更新中

最終状態：

completed：すべてのアイテムのインポートまたは更新、インデックス処理、アクティブ化が完了
zero_results：クロールプレビューで見つかったページが 0 件
failed：failure を参照
canceled

failed または canceled の後は、ソースの実行を再試行で再実行でき、ソースを同期で新しい同期を開始できます。

updated_atstring#

最終更新日時（ISO 8601）です。

選択したページをインポートソースのアイテムをインポート