データソースとAPI

データソースに大量のデータを送信する方法

最終更新日

データソースに数千件のレコードを送信する際は、それらをバッチごとにまとめ、バッチを順次送信してください。レコードごとに1回のリクエストを行うよりも処理が速く、Sendtricの制限範囲内にすべてのリクエストを収めることができます。

これは、Sendtric APIおよびZapierおよびn8nデータソースに適用されます。

限界

上限値
1回のリクエストあたりのレコード数10,000
リクエストサイズ10 MB
識別子の値255文字
任意の単一のテキスト値10 KB
ネストの深さ20ステージ

レコード数またはサイズの上限を超えるリクエストは、ステータス413となり、その内容は一切保存されません。

バッチ処理の適切な習慣

  • 単一のレコードではなく、配列を送信してください。50件のレコードを含む1回のリクエストは、50回のリクエストと同じ処理を行い、オーバーヘッドもはるかに少なくなります。
  • バッチを次々と送信してください、一度にすべてを並行して送信するのではなく、順次送信してください。
  • バッチの間に少し間を空けてください数千件のレコードを送信する際は、バッチごとに少し間を空けてください。
  • 503エラーやネットワークエラーが発生した場合は、再試行してください。A 503レスポンスには、Retry-Afterヘッダーに待機時間を秒単位で指定します。その後、同じバッチを再度送信します。
  • 400、401、404、または422のステータスコードが返された場合は、リクエストを修正せずに再試行しないでください。これらは、リクエストの内容を変更する必要があることを意味しています。

バッチを再送信しても問題ありません。識別子がすでに存在するレコードは古いレコードと上書きされるため、再送信されたバッチによって重複が生成されることはありません。

n8n:1,000件から5,000件

数千件のレコードについては、HTTPリクエストノードが備えているバッチ処理機能で十分です。Sendtricへ送信するノードを開き、以下のように設定してください:

  1. [ [パラメータ]タブの[オプション]の下にある[オプションの追加]をクリックし、以下を追加してください:
    • バッチ処理:バッチあたりのアイテム数 50およびバッチ間隔(ms) 5000.
    • タイムアウト: 30000.
  2. …について設定タブでは:
    • 有効にする「失敗時に再試行」を有効にする.
    • 最大トライ数: 3.
    • 試行間の待機時間(ms): 3000.
    • On Error:ワークフローを停止する.
n8nのHTTPリクエストノードのオプションで、「1バッチあたりのアイテム数」を50、「バッチ間隔」を5000 ms、「タイムアウト」を30000に設定しています。
n8nの「HTTPリクエスト」ノードの「設定」タブで、「失敗時に再試行」をオンにし、「最大試行回数」を3、「試行間の待機時間」を3000 msに設定し、「エラー発生時」を「ワークフローを停止」に設定しています

これらの設定でも、n8n は依然としてレコードごとに 1 回のリクエストを送信し、一度に 50 件ずつ処理した後、次の 50 件を送信するまで 5 秒間待機します。

n8n:5,000件以上のレコード

大規模なデータセットの場合は、当社の既成のワークフローをご利用ください。このワークフローでは、50件ごとのレコードを1つのリクエストにまとめ、それらを順次送信するため、10,000件のレコードでも、10,000件分のリクエストではなく、200件分のリクエストで済みます。

このワークフローには4つのノードがあります:

  1. Google スプレッドシートのトリガーがスプレッドシートを読み込みます。1分ごとに変更の有無を確認します。
  2. 項目をループ処理する行を50行ずつに分割します。
  3. JavaScriptのコード各バッチを1つのリクエスト本文にまとめます。
  4. HTTPリクエストバッチをSendtricに送信し、失敗した場合は再試行を行い、その後、次のバッチ処理のためにループに戻します。

設定してください

  1. Sendtricで、n8nデータソースを作成し、そのWebhookエンドポイントとAPIキーをコピーしてください。Zapierまたはn8nからレコードを送信する方法.
  2. 以下のワークフローのJSONをコピーしてください。
  3. n8nで新しいワークフローを作成し、空のキャンバスにJSONを貼り付けてください(または、.jsonファイルとして保存し、「ファイルからインポート」).
  4. 開くGoogle スプレッドシートのトリガーを選択し、Google アカウントを連携させてから、スプレッドシートとシートを選択してください。
  5. 開くHTTPリクエスト:
    • 以下のURLを、ご自身のSendtric n8n Webhookエンドポイントに置き換えてください。
    • ヘッダーのAuthorizationヘッダー内で、YOUR_API_KEYご自身のキーに置き換えてください。「Bearerと、その前のスペースはそのまま残してください。
  6. ワークフローを一度実行してテストし、データソースの「レコード」タブでレコードを確認してから、ワークフローを有効にしてください。

シートには、データソースの一意の識別子フィールドと同じ名前の列を設け、すべての行に値を入力する必要があります。

Google スプレッドシート以外の場所からデータが必要ですか?トリガーを、レコードを出力する任意のノードに置き換え、それを「アイテムをループ処理」.

ワークフローのJSON

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

結果を確認してください

レコードは通常、受理されてから約1分以内に利用可能になります。データソースを開き、[レコード]タブを使用して、いくつかの識別子を検索し、値が正しいことを確認してください。

応答にスキップされたレコードが含まれている場合、X-Skipped-Recordsヘッダーにその数が記載されています。通常、これらは識別子フィールドが欠落している行、または値が10 KBを超える行です。

関連情報

この記事は役に立ちましたか?

画像をクリックすると拡大します。ドラッグまたはスクロールで移動できます。