So sendest du große Datenmengen an eine Datenquelle
Zuletzt aktualisiert
Wenn du Tausende von Datensätzen an eine Datenquelle sendest, gruppiere sie in Stapel und sende die Stapel nacheinander. Das geht schneller als eine Anfrage pro Datensatz und sorgt dafür, dass jede Anfrage innerhalb der von Sendtric festgelegten Limits bleibt.
Das gilt für die Sendtric-API sowie für Zapier und n8n Datenquellen.
Die Grenzen
| Grenzwert | Wert |
|---|---|
| Datensätze pro Abfrage | 10.000 |
| Anfrageumfang | 10 MB |
| Identifikatorwert | 255 Zeichen |
| Ein beliebiger einzelner Textwert | 10 KB |
| Verschachtelungstiefe | 20 Level |
Eine Anfrage, die die Datensatz- oder Größenbeschränkung überschreitet, wird mit dem Status 413abgelehnt, und es wird nichts davon gespeichert.
Gute Vorgehensweisen beim Batching
- Sende Arrays, keine einzelnen Datensätze. Eine Anfrage mit 50 Datensätzen erledigt dieselbe Arbeit wie 50 Anfragen – und das mit deutlich weniger Aufwand.
- Sende die Stapel nacheinander, nicht alle auf einmal parallel.
- Mach zwischen den Stapeln eine kurze Pause , wenn du Tausende von Datensätzen versendest.
- Bei 503-Fehlern und Netzwerkfehlern erneut versuchen. Eine
503Antwort enthält einenRetry-AfterHeader mit der Wartezeit in Sekunden. Schick dann denselben Stapel noch einmal. - Versuche es bei den Fehlern 400, 401, 404 oder 422 nicht erneut, , ohne die Anfrage vorher zu korrigieren. Das bedeutet, dass etwas an der Anfrage geändert werden muss.
Das erneute Senden eines Stapels ist unbedenklich. Ein Datensatz mit einer bereits vorhandenen Kennung ersetzt den alten, sodass bei einem erneuten Versuch niemals Duplikate entstehen.
n8n: 1.000 bis 5.000 Datensätze
Bei ein paar Tausend Datensätzen ist die eigene Batch-Verarbeitung des aus. Öffne den Knoten, der an Sendtric sendet, und stelle Folgendes ein:
- Auf der Registerkarte „Parameter“ unter Optionenauf Option hinzufügen und füge Folgendes hinzu:
- Chargenbildung: Anzahl der Artikel pro Charge
50und Chargenintervall (ms)5000. - Zeitüberschreitung:
30000.
- Chargenbildung: Anzahl der Artikel pro Charge
- Auf der Einstellungen :
- Aktivieren Bei Fehler erneut versuchen.
- Max. Versuche:
3. - Wartezeit zwischen den Versuchen (ms):
3000. - Bei einem Fehler: Workflow anhalten.


Mit diesen Einstellungen sendet n8n immer noch eine Anfrage pro Datensatz, jeweils 50 auf einmal, und wartet dann 5 Sekunden, bevor die nächsten 50 folgen.
n8n: mehr als 5.000 Datensätze
Bei größeren Datensätzen nutze unseren vorgefertigten Workflow. Er fasst jeweils 50 Datensätze zu einer Anfrage zusammen und sendet die Gruppen nacheinander ab, sodass aus 10.000 Datensätzen 200 Anfragen statt 10.000 werden.
Der Workflow besteht aus vier Knoten:
- Google Tabellen-Trigger liest deine Tabelle aus. Er prüft jede Minute, ob sich etwas geändert hat.
- Durch die Elemente schleifen teilt die Zeilen in Gruppen zu je 50 auf.
- Code in JavaScript packt jeden Stapel in einen einzigen Request-Body.
- HTTP-Anfrage sendet den Stapel an Sendtric, versucht es erneut, falls es fehlschlägt, und gibt dann an die Schleife für den nächsten Stapel zurück.
Richte es ein
- Erstelle in Sendtric ein n8n Datenquelle an und kopiere deren Webhook-Endpunkt und API-Schlüssel. Siehe wie man Datensätze von Zapier oder n8n sendet.
- Kopiere den folgenden JSON-Code für den Workflow.
- Erstelle in n8n einen neuen Workflow und füge den JSON-Code in die leere Arbeitsfläche ein (oder speichere ihn als
.jsonDatei und nutze „Aus Datei importieren“ verwenden)). - Öffnen Google Tabellen-Trigger, verbinde dein Google-Konto und wähle dann deine Tabelle und dein Arbeitsblatt aus.
- Öffnen HTTP-Anfrage:
- Ersetze die URL durch deinen Sendtric-n8n-Webhook-Endpunkt.
- In der
AuthorizationHeader ersetzt duYOUR_API_KEYdurch deinen Schlüssel. Behalte das WortBearerund das Leerzeichen davor.
- Führe den Workflow einmal aus, um ihn zu testen, und überprüfe die Datensätze in der Datenquelle unter Datensätze in Sendtric und aktiviere anschließend den Workflow.
Deine Tabelle braucht eine Spalte mit demselben Namen wie das Feld mit der eindeutigen Kennung der Datenquelle, das in jeder Zeile ausgefüllt sein muss.
Brauchst du Daten aus einer anderen Quelle als Google Sheets? Ersetze den Trigger durch einen beliebigen Knoten, der deine Datensätze ausgibt, und verbinde ihn mit Loop Over Items.
Workflow-JSON
{
"name": "Google Sheets to Sendtric data source",
"nodes": [
{
"parameters": {
"pollTimes": { "item": [{ "mode": "everyMinute" }] },
"documentId": { "__rl": true, "value": "", "mode": "list" },
"sheetName": { "__rl": true, "value": "", "mode": "list" },
"options": {}
},
"type": "n8n-nodes-base.googleSheetsTrigger",
"typeVersion": 1,
"position": [0, 16],
"id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
"name": "Google Sheets Trigger"
},
{
"parameters": {
"batchSize": 50,
"options": { "reset": false }
},
"type": "n8n-nodes-base.splitInBatches",
"typeVersion": 3,
"position": [240, 16],
"id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
"name": "Loop Over Items"
},
{
"parameters": {
"jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n json: {\n payload: batchItems\n }\n}];"
},
"type": "n8n-nodes-base.code",
"typeVersion": 2,
"position": [464, 16],
"id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
"name": "Code in JavaScript"
},
{
"parameters": {
"method": "POST",
"url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
"sendHeaders": true,
"headerParameters": {
"parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
},
"sendBody": true,
"specifyBody": "json",
"jsonBody": "={{ JSON.stringify($json) }}",
"options": {}
},
"type": "n8n-nodes-base.httpRequest",
"typeVersion": 4.5,
"position": [688, 0],
"id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
"name": "HTTP Request",
"retryOnFail": true,
"waitBetweenTries": 5000
}
],
"connections": {
"Google Sheets Trigger": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
},
"Loop Over Items": {
"main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
},
"Code in JavaScript": {
"main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
},
"HTTP Request": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
}
},
"settings": { "executionOrder": "v1" }
}Überprüfe das Ergebnis
Die Datensätze sind in der Regel innerhalb von etwa einer Minute nach der Annahme verfügbar. Öffne die Datenquelle und verwende die Registerkarte „Datensätze“ nach ein paar Identifikatoren suchen und überprüfen, ob die Werte stimmen.
Wenn in einer Antwort übersprungene Datensätze gemeldet werden, gibt der X-Skipped-Records steht in der Kopfzeile, wie viele es sind. Meistens handelt es sich dabei um Zeilen, bei denen das Identifikationsfeld fehlt oder deren Wert über 10 KB liegt.
Verwandte Themen
- Was sind Datenquellen und wie funktionieren sie?
- So sendest du Datensätze mit der Sendtric-API an eine Datenquelle
- So verwaltest, bearbeitest und löschst du eine Datenquelle
War dieser Artikel hilfreich?
Danke für dein Feedback!
