数据来源与API

如何将大量数据发送至数据来源

最后更新

向数据来源发送数千条记录时,请将它们分组为批次,并依次发送这些批次。这样比每条记录单独发送请求更快,而且能确保每个请求都符合 Sendtric 的限制。

这适用于Sendtric API以及Zapier 和 n8n数据来源。

限制

上限值
每次请求的记录数10,000
请求大小10 MB
标识符值255个字符
任意单个文本值10 KB
嵌套深度20个关卡

超过记录或大小限制的请求将被拒绝,状态码为413,且其中的内容均不会被保存。

良好的批量处理习惯

  • 发送数组,而不是单条记录。一次请求包含 50 条记录,其处理效果与 50 次请求相同,但开销要小得多。
  • 依次发送批次,而不是一次性并行处理所有任务。
  • 在处理不同批次之间短暂暂停当您发送数千条记录时。
  • 遇到 503 错误和网络错误时请重试。A 503响应中包含一个Retry-After标头,其中包含等待的秒数。随后再次发送同一批数据。
  • 不要重试 400、401、404 或 422 状态码,除非先修复了请求。这些状态码表示请求中某些内容需要修改。

重新发送一个批处理是安全的。如果某条记录的标识符已存在,则该记录会替换原有的记录,因此重试的批处理绝不会产生重复项。

n8n:1,000 至 5,000 条记录

对于几千条记录,HTTP 请求节点自带的批处理功能就足够了。打开向 Sendtric 发送数据的节点,并设置:

  1. 在参数选项卡中,在选项下,单击添加选项,然后添加:
    • 批次处理:每批处理的项目数 50以及批次间隔(毫秒) 5000.
    • 超时: 30000.
  2. 在设置选项卡上:
    • 开启启用“失败时重试”.
    • 最大尝试次数: 3.
    • 两次尝试之间的间隔(毫秒): 3000.
    • On Error:停止工作流.
n8n HTTP 请求节点的设置选项:每批项目数设为 50,批处理间隔为 5000 毫秒,超时时间为 30000
n8n HTTP 请求节点的“设置”选项卡中,“失败时重试”已启用,最大尝试次数为 3 次,每次尝试间隔为 3000 毫秒,且“发生错误时”设置为“停止工作流”

即使采用这些设置,n8n 仍然会针对每条记录发送一个请求,每次处理 50 条,然后等待 5 秒再处理下一批 50 条。

n8n:超过 5,000 条记录

对于较大的数据集,请使用我们现成的处理流程。该流程会将每50条记录归为一组,然后依次发送这些组,因此10,000条记录只需发送200次请求,而不是10,000次。

该工作流包含四个节点:

  1. Google 表格触发器会读取您的表格,并每分钟检查一次是否有更改。
  2. 遍历项目将行分成每批50行的批次。
  3. JavaScript 代码将每批数据封装到单个请求正文中。
  4. HTTP 请求将批次发送至 Sendtric,若失败则重试,随后将控制权交还给循环以处理下一个批次。

设置它

  1. 在 Sendtric 中,创建一个n8n数据来源,并复制其 webhook 端点和 API 密钥。请参阅如何从 Zapier 或 n8n 发送记录.
  2. 复制下面的工作流 JSON。
  3. 在 n8n 中,创建一个新的工作流,并将 JSON 粘贴到空白画布上(或将其另存为.json文件,并使用从文件导入).
  4. 打开Google 表格触发器,连接您的 Google 账户,然后选择您的电子表格和工作表。
  5. 打开HTTP 请求:
    • 将URL替换为您的 Sendtric n8n Webhook 端点。
    • 在Authorization标题中,用YOUR_API_KEY替换为您的密钥。请保留单词Bearer以及其前面的空格。
  6. 运行一次工作流进行测试,检查数据来源中记录选项卡中检查记录,然后激活该工作流。

您的工作表需要添加一列,其名称应与数据来源的唯一标识符字段名称相同,并且该列的每一行都应填写相应内容。

需要从 Google 表格以外的地方获取数据吗?请将触发器替换为任何能输出您记录的节点,并将其连接到循环遍历项目.

工作流 JSON

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

检查结果

记录通常在被接受后约一分钟内即可获取。打开数据来源,并使用记录选项卡,搜索几个标识符,并确认其值是否正确。

如果响应中报告了被跳过的记录,X-Skipped-Records请求头中会注明具体数量。这些通常是缺少标识符字段的行,或者该字段的值超过 10 KB 的行。

相关

这篇文章对你有帮助吗?

点击图片即可放大,拖动或滚动可查看其他区域。