如何将大量数据发送至数据来源
最后更新
向数据来源发送数千条记录时,请将它们分组为批次,并依次发送这些批次。这样比每条记录单独发送请求更快,而且能确保每个请求都符合 Sendtric 的限制。
这适用于Sendtric API以及Zapier 和 n8n数据来源。
限制
| 上限 | 值 |
|---|---|
| 每次请求的记录数 | 10,000 |
| 请求大小 | 10 MB |
| 标识符值 | 255个字符 |
| 任意单个文本值 | 10 KB |
| 嵌套深度 | 20个关卡 |
超过记录或大小限制的请求将被拒绝,状态码为413,且其中的内容均不会被保存。
良好的批量处理习惯
- 发送数组,而不是单条记录。一次请求包含 50 条记录,其处理效果与 50 次请求相同,但开销要小得多。
- 依次发送批次,而不是一次性并行处理所有任务。
- 在处理不同批次之间短暂暂停当您发送数千条记录时。
- 遇到 503 错误和网络错误时请重试。A
503响应中包含一个Retry-After标头,其中包含等待的秒数。随后再次发送同一批数据。 - 不要重试 400、401、404 或 422 状态码,除非先修复了请求。这些状态码表示请求中某些内容需要修改。
重新发送一个批处理是安全的。如果某条记录的标识符已存在,则该记录会替换原有的记录,因此重试的批处理绝不会产生重复项。
n8n:1,000 至 5,000 条记录
对于几千条记录,HTTP 请求节点自带的批处理功能就足够了。打开向 Sendtric 发送数据的节点,并设置:
- 在参数选项卡中,在选项下,单击添加选项,然后添加:
- 批次处理:每批处理的项目数
50以及批次间隔(毫秒)5000. - 超时:
30000.
- 批次处理:每批处理的项目数
- 在设置选项卡上:
- 开启启用“失败时重试”.
- 最大尝试次数:
3. - 两次尝试之间的间隔(毫秒):
3000. - On Error:停止工作流.


即使采用这些设置,n8n 仍然会针对每条记录发送一个请求,每次处理 50 条,然后等待 5 秒再处理下一批 50 条。
n8n:超过 5,000 条记录
对于较大的数据集,请使用我们现成的处理流程。该流程会将每50条记录归为一组,然后依次发送这些组,因此10,000条记录只需发送200次请求,而不是10,000次。
该工作流包含四个节点:
- Google 表格触发器会读取您的表格,并每分钟检查一次是否有更改。
- 遍历项目将行分成每批50行的批次。
- JavaScript 代码将每批数据封装到单个请求正文中。
- HTTP 请求将批次发送至 Sendtric,若失败则重试,随后将控制权交还给循环以处理下一个批次。
设置它
- 在 Sendtric 中,创建一个n8n数据来源,并复制其 webhook 端点和 API 密钥。请参阅如何从 Zapier 或 n8n 发送记录.
- 复制下面的工作流 JSON。
- 在 n8n 中,创建一个新的工作流,并将 JSON 粘贴到空白画布上(或将其另存为
.json文件,并使用从文件导入). - 打开Google 表格触发器,连接您的 Google 账户,然后选择您的电子表格和工作表。
- 打开HTTP 请求:
- 将URL替换为您的 Sendtric n8n Webhook 端点。
- 在
Authorization标题中,用YOUR_API_KEY替换为您的密钥。请保留单词Bearer以及其前面的空格。
- 运行一次工作流进行测试,检查数据来源中记录选项卡中检查记录,然后激活该工作流。
您的工作表需要添加一列,其名称应与数据来源的唯一标识符字段名称相同,并且该列的每一行都应填写相应内容。
需要从 Google 表格以外的地方获取数据吗?请将触发器替换为任何能输出您记录的节点,并将其连接到循环遍历项目.
工作流 JSON
{
"name": "Google Sheets to Sendtric data source",
"nodes": [
{
"parameters": {
"pollTimes": { "item": [{ "mode": "everyMinute" }] },
"documentId": { "__rl": true, "value": "", "mode": "list" },
"sheetName": { "__rl": true, "value": "", "mode": "list" },
"options": {}
},
"type": "n8n-nodes-base.googleSheetsTrigger",
"typeVersion": 1,
"position": [0, 16],
"id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
"name": "Google Sheets Trigger"
},
{
"parameters": {
"batchSize": 50,
"options": { "reset": false }
},
"type": "n8n-nodes-base.splitInBatches",
"typeVersion": 3,
"position": [240, 16],
"id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
"name": "Loop Over Items"
},
{
"parameters": {
"jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n json: {\n payload: batchItems\n }\n}];"
},
"type": "n8n-nodes-base.code",
"typeVersion": 2,
"position": [464, 16],
"id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
"name": "Code in JavaScript"
},
{
"parameters": {
"method": "POST",
"url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
"sendHeaders": true,
"headerParameters": {
"parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
},
"sendBody": true,
"specifyBody": "json",
"jsonBody": "={{ JSON.stringify($json) }}",
"options": {}
},
"type": "n8n-nodes-base.httpRequest",
"typeVersion": 4.5,
"position": [688, 0],
"id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
"name": "HTTP Request",
"retryOnFail": true,
"waitBetweenTries": 5000
}
],
"connections": {
"Google Sheets Trigger": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
},
"Loop Over Items": {
"main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
},
"Code in JavaScript": {
"main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
},
"HTTP Request": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
}
},
"settings": { "executionOrder": "v1" }
}检查结果
记录通常在被接受后约一分钟内即可获取。打开数据来源,并使用记录选项卡,搜索几个标识符,并确认其值是否正确。
如果响应中报告了被跳过的记录,X-Skipped-Records请求头中会注明具体数量。这些通常是缺少标识符字段的行,或者该字段的值超过 10 KB 的行。
相关
这篇文章对你有帮助吗?
感谢你的反馈!
