Datenquellen & API

So sendest du große Datenmengen an eine Datenquelle

Zuletzt aktualisiert

Wenn du Tausende von Datensätzen an eine Datenquelle sendest, gruppiere sie in Stapel und sende die Stapel nacheinander. Das geht schneller als eine Anfrage pro Datensatz und sorgt dafür, dass jede Anfrage innerhalb der von Sendtric festgelegten Limits bleibt.

Das gilt für die Sendtric-API sowie für Zapier und n8n Datenquellen.

Die Grenzen

GrenzwertWert
Datensätze pro Abfrage10.000
Anfrageumfang10 MB
Identifikatorwert255 Zeichen
Ein beliebiger einzelner Textwert10 KB
Verschachtelungstiefe20 Level

Eine Anfrage, die die Datensatz- oder Größenbeschränkung überschreitet, wird mit dem Status 413abgelehnt, und es wird nichts davon gespeichert.

Gute Vorgehensweisen beim Batching

  • Sende Arrays, keine einzelnen Datensätze. Eine Anfrage mit 50 Datensätzen erledigt dieselbe Arbeit wie 50 Anfragen – und das mit deutlich weniger Aufwand.
  • Sende die Stapel nacheinander, nicht alle auf einmal parallel.
  • Mach zwischen den Stapeln eine kurze Pause , wenn du Tausende von Datensätzen versendest.
  • Bei 503-Fehlern und Netzwerkfehlern erneut versuchen. Eine 503 Antwort enthält einen Retry-After Header mit der Wartezeit in Sekunden. Schick dann denselben Stapel noch einmal.
  • Versuche es bei den Fehlern 400, 401, 404 oder 422 nicht erneut, , ohne die Anfrage vorher zu korrigieren. Das bedeutet, dass etwas an der Anfrage geändert werden muss.

Das erneute Senden eines Stapels ist unbedenklich. Ein Datensatz mit einer bereits vorhandenen Kennung ersetzt den alten, sodass bei einem erneuten Versuch niemals Duplikate entstehen.

n8n: 1.000 bis 5.000 Datensätze

Bei ein paar Tausend Datensätzen ist die eigene Batch-Verarbeitung des aus. Öffne den Knoten, der an Sendtric sendet, und stelle Folgendes ein:

  1. Auf der Registerkarte „Parameter“ unter Optionenauf Option hinzufügen und füge Folgendes hinzu:
    • Chargenbildung: Anzahl der Artikel pro Charge 50 und Chargenintervall (ms) 5000.
    • Zeitüberschreitung: 30000.
  2. Auf der Einstellungen :
    • Aktivieren Bei Fehler erneut versuchen.
    • Max. Versuche: 3.
    • Wartezeit zwischen den Versuchen (ms): 3000.
    • Bei einem Fehler: Workflow anhalten.
Optionen für den n8n-HTTP-Request-Knoten mit „Elemente pro Stapel“ auf 50, „Stapelintervall“ auf 5000 ms und „Zeitlimit“ auf 30000 eingestellt
Reiter „Einstellungen“ des n8n-Knotens „HTTP-Anfrage“ mit aktivierter Option „Bei Fehler wiederholen“, „Max. Versuche“ 3, „Wartezeit zwischen Versuchen“ 3000 ms und „Bei Fehler“ auf „Workflow stoppen“ gesetzt

Mit diesen Einstellungen sendet n8n immer noch eine Anfrage pro Datensatz, jeweils 50 auf einmal, und wartet dann 5 Sekunden, bevor die nächsten 50 folgen.

n8n: mehr als 5.000 Datensätze

Bei größeren Datensätzen nutze unseren vorgefertigten Workflow. Er fasst jeweils 50 Datensätze zu einer Anfrage zusammen und sendet die Gruppen nacheinander ab, sodass aus 10.000 Datensätzen 200 Anfragen statt 10.000 werden.

Der Workflow besteht aus vier Knoten:

  1. Google Tabellen-Trigger liest deine Tabelle aus. Er prüft jede Minute, ob sich etwas geändert hat.
  2. Durch die Elemente schleifen teilt die Zeilen in Gruppen zu je 50 auf.
  3. Code in JavaScript packt jeden Stapel in einen einzigen Request-Body.
  4. HTTP-Anfrage sendet den Stapel an Sendtric, versucht es erneut, falls es fehlschlägt, und gibt dann an die Schleife für den nächsten Stapel zurück.

Richte es ein

  1. Erstelle in Sendtric ein n8n Datenquelle an und kopiere deren Webhook-Endpunkt und API-Schlüssel. Siehe wie man Datensätze von Zapier oder n8n sendet.
  2. Kopiere den folgenden JSON-Code für den Workflow.
  3. Erstelle in n8n einen neuen Workflow und füge den JSON-Code in die leere Arbeitsfläche ein (oder speichere ihn als .json Datei und nutze „Aus Datei importieren“ verwenden)).
  4. Öffnen Google Tabellen-Trigger, verbinde dein Google-Konto und wähle dann deine Tabelle und dein Arbeitsblatt aus.
  5. Öffnen HTTP-Anfrage:
    • Ersetze die URL durch deinen Sendtric-n8n-Webhook-Endpunkt.
    • In der Authorization Header ersetzt du YOUR_API_KEY durch deinen Schlüssel. Behalte das Wort Bearer und das Leerzeichen davor.
  6. Führe den Workflow einmal aus, um ihn zu testen, und überprüfe die Datensätze in der Datenquelle unter Datensätze in Sendtric und aktiviere anschließend den Workflow.

Deine Tabelle braucht eine Spalte mit demselben Namen wie das Feld mit der eindeutigen Kennung der Datenquelle, das in jeder Zeile ausgefüllt sein muss.

Brauchst du Daten aus einer anderen Quelle als Google Sheets? Ersetze den Trigger durch einen beliebigen Knoten, der deine Datensätze ausgibt, und verbinde ihn mit Loop Over Items.

Workflow-JSON

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

Überprüfe das Ergebnis

Die Datensätze sind in der Regel innerhalb von etwa einer Minute nach der Annahme verfügbar. Öffne die Datenquelle und verwende die Registerkarte „Datensätze“ nach ein paar Identifikatoren suchen und überprüfen, ob die Werte stimmen.

Wenn in einer Antwort übersprungene Datensätze gemeldet werden, gibt der X-Skipped-Records steht in der Kopfzeile, wie viele es sind. Meistens handelt es sich dabei um Zeilen, bei denen das Identifikationsfeld fehlt oder deren Wert über 10 KB liegt.

Verwandte Themen

War dieser Artikel hilfreich?

Klicke auf das Bild, um hineinzuzoomen. Ziehe oder scrolle, um dich umzusehen.