データソースに大量のデータを送信する方法
最終更新日
データソースに数千件のレコードを送信する際は、それらをバッチごとにまとめ、バッチを順次送信してください。レコードごとに1回のリクエストを行うよりも処理が速く、Sendtricの制限範囲内にすべてのリクエストを収めることができます。
これは、Sendtric APIおよびZapierおよびn8nデータソースに適用されます。
限界
| 上限 | 値 |
|---|---|
| 1回のリクエストあたりのレコード数 | 10,000 |
| リクエストサイズ | 10 MB |
| 識別子の値 | 255文字 |
| 任意の単一のテキスト値 | 10 KB |
| ネストの深さ | 20ステージ |
レコード数またはサイズの上限を超えるリクエストは、ステータス413となり、その内容は一切保存されません。
バッチ処理の適切な習慣
- 単一のレコードではなく、配列を送信してください。50件のレコードを含む1回のリクエストは、50回のリクエストと同じ処理を行い、オーバーヘッドもはるかに少なくなります。
- バッチを次々と送信してください、一度にすべてを並行して送信するのではなく、順次送信してください。
- バッチの間に少し間を空けてください数千件のレコードを送信する際は、バッチごとに少し間を空けてください。
- 503エラーやネットワークエラーが発生した場合は、再試行してください。A
503レスポンスには、Retry-Afterヘッダーに待機時間を秒単位で指定します。その後、同じバッチを再度送信します。 - 400、401、404、または422のステータスコードが返された場合は、リクエストを修正せずに再試行しないでください。これらは、リクエストの内容を変更する必要があることを意味しています。
バッチを再送信しても問題ありません。識別子がすでに存在するレコードは古いレコードと上書きされるため、再送信されたバッチによって重複が生成されることはありません。
n8n:1,000件から5,000件
数千件のレコードについては、HTTPリクエストノードが備えているバッチ処理機能で十分です。Sendtricへ送信するノードを開き、以下のように設定してください:
- [ [パラメータ]タブの[オプション]の下にある[オプションの追加]をクリックし、以下を追加してください:
- バッチ処理:バッチあたりのアイテム数
50およびバッチ間隔(ms)5000. - タイムアウト:
30000.
- バッチ処理:バッチあたりのアイテム数
- …について設定タブでは:
- 有効にする「失敗時に再試行」を有効にする.
- 最大トライ数:
3. - 試行間の待機時間(ms):
3000. - On Error:ワークフローを停止する.


これらの設定でも、n8n は依然としてレコードごとに 1 回のリクエストを送信し、一度に 50 件ずつ処理した後、次の 50 件を送信するまで 5 秒間待機します。
n8n:5,000件以上のレコード
大規模なデータセットの場合は、当社の既成のワークフローをご利用ください。このワークフローでは、50件ごとのレコードを1つのリクエストにまとめ、それらを順次送信するため、10,000件のレコードでも、10,000件分のリクエストではなく、200件分のリクエストで済みます。
このワークフローには4つのノードがあります:
- Google スプレッドシートのトリガーがスプレッドシートを読み込みます。1分ごとに変更の有無を確認します。
- 項目をループ処理する行を50行ずつに分割します。
- JavaScriptのコード各バッチを1つのリクエスト本文にまとめます。
- HTTPリクエストバッチをSendtricに送信し、失敗した場合は再試行を行い、その後、次のバッチ処理のためにループに戻します。
設定してください
- Sendtricで、n8nデータソースを作成し、そのWebhookエンドポイントとAPIキーをコピーしてください。Zapierまたはn8nからレコードを送信する方法.
- 以下のワークフローのJSONをコピーしてください。
- n8nで新しいワークフローを作成し、空のキャンバスにJSONを貼り付けてください(または、
.jsonファイルとして保存し、「ファイルからインポート」). - 開くGoogle スプレッドシートのトリガーを選択し、Google アカウントを連携させてから、スプレッドシートとシートを選択してください。
- 開くHTTPリクエスト:
- 以下のURLを、ご自身のSendtric n8n Webhookエンドポイントに置き換えてください。
- ヘッダーの
Authorizationヘッダー内で、YOUR_API_KEYご自身のキーに置き換えてください。「Bearerと、その前のスペースはそのまま残してください。
- ワークフローを一度実行してテストし、データソースの「レコード」タブでレコードを確認してから、ワークフローを有効にしてください。
シートには、データソースの一意の識別子フィールドと同じ名前の列を設け、すべての行に値を入力する必要があります。
Google スプレッドシート以外の場所からデータが必要ですか?トリガーを、レコードを出力する任意のノードに置き換え、それを「アイテムをループ処理」.
ワークフローのJSON
{
"name": "Google Sheets to Sendtric data source",
"nodes": [
{
"parameters": {
"pollTimes": { "item": [{ "mode": "everyMinute" }] },
"documentId": { "__rl": true, "value": "", "mode": "list" },
"sheetName": { "__rl": true, "value": "", "mode": "list" },
"options": {}
},
"type": "n8n-nodes-base.googleSheetsTrigger",
"typeVersion": 1,
"position": [0, 16],
"id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
"name": "Google Sheets Trigger"
},
{
"parameters": {
"batchSize": 50,
"options": { "reset": false }
},
"type": "n8n-nodes-base.splitInBatches",
"typeVersion": 3,
"position": [240, 16],
"id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
"name": "Loop Over Items"
},
{
"parameters": {
"jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n json: {\n payload: batchItems\n }\n}];"
},
"type": "n8n-nodes-base.code",
"typeVersion": 2,
"position": [464, 16],
"id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
"name": "Code in JavaScript"
},
{
"parameters": {
"method": "POST",
"url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
"sendHeaders": true,
"headerParameters": {
"parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
},
"sendBody": true,
"specifyBody": "json",
"jsonBody": "={{ JSON.stringify($json) }}",
"options": {}
},
"type": "n8n-nodes-base.httpRequest",
"typeVersion": 4.5,
"position": [688, 0],
"id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
"name": "HTTP Request",
"retryOnFail": true,
"waitBetweenTries": 5000
}
],
"connections": {
"Google Sheets Trigger": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
},
"Loop Over Items": {
"main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
},
"Code in JavaScript": {
"main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
},
"HTTP Request": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
}
},
"settings": { "executionOrder": "v1" }
}結果を確認してください
レコードは通常、受理されてから約1分以内に利用可能になります。データソースを開き、[レコード]タブを使用して、いくつかの識別子を検索し、値が正しいことを確認してください。
応答にスキップされたレコードが含まれている場合、X-Skipped-Recordsヘッダーにその数が記載されています。通常、これらは識別子フィールドが欠落している行、または値が10 KBを超える行です。
関連情報
この記事は役に立ちましたか?
フィードバックありがとうございます!
