Hoe stuur je grote hoeveelheden gegevens naar een gegevensbron?
Laatst bijgewerkt
Als je duizenden records naar een gegevensbron verstuurt, groepeer ze dan in batches en verstuur die batches achter elkaar. Dat gaat sneller dan één verzoek per record, en zo blijf je binnen de limieten van Sendtric.
Dit geldt voor de Sendtric API en op Zapier en n8n .
De grenzen
| Limiet | Waarde |
|---|---|
| Aantal records per verzoek | 10.000 |
| Grootte van het verzoek | 10 MB |
| Waarde van de identificatiecode | 255 tekens |
| Elke willekeurige tekstwaarde | 10 KB |
| Nestdiepte | 20 levels |
Een verzoek dat de limiet voor het aantal records of de grootte overschrijdt, wordt afgewezen met de status 413, en er wordt niets van opgeslagen.
Goede gewoonten bij het doseren
- Stuur arrays, geen losse records. Eén verzoek met 50 records doet hetzelfde werk als 50 verzoeken, met veel minder overhead.
- Stuur de batches de een na de ander, niet allemaal tegelijkertijd.
- Wacht even tussen de batches als je duizenden records verstuurt.
- Probeer het opnieuw bij 503-fouten en netwerkfouten. Een
503antwoord bevat eenRetry-Afterheader met het aantal seconden dat je moet wachten. Stuur daarna dezelfde batch nog een keer. - Probeer het niet opnieuw bij foutcodes 400, 401, 404 of 422 zonder eerst het verzoek te corrigeren. Die codes betekenen dat er iets in het verzoek moet worden aangepast.
Een batch opnieuw versturen is veilig. Een record met een identificatiecode die al bestaat, vervangt het oude record, dus een batch die opnieuw wordt verstuurd, zorgt nooit voor dubbele records.
n8n: 1.000 tot 5.000 records
Voor een paar duizend records is de de eigen batchverwerking van het voldoende. Open het knooppunt dat naar Sendtric verstuurt en stel het volgende in:
- Op de tabblad , onder Opties, klik je op Op 'Optie toevoegen' en voeg het volgende toe:
- Batchverwerking: Aantal items per batch
50en Batchinterval (ms)5000. - Time-out:
30000.
- Batchverwerking: Aantal items per batch
- Op de tabblad :
- Inschakelen Opnieuw proberen bij mislukking.
- Max. pogingen:
3. - Wachttijd tussen pogingen (ms):
3000. - Bij fout: Stop de workflow.


Met deze instellingen stuurt n8n nog steeds één verzoek per record, 50 per keer, en wacht dan 5 seconden voordat de volgende 50 worden verzonden.
n8n: meer dan 5.000 records
Gebruik voor grotere datasets onze kant-en-klare workflow. Die groepeert elke 50 records in één verzoek en verstuurt de groepen achter elkaar, zodat 10.000 records worden omgezet in 200 verzoeken in plaats van 10.000.
De workflow bestaat uit vier knooppunten:
- Google Sheets-trigger leest je spreadsheet. Het controleert elke minuut of er wijzigingen zijn.
- Door de items lopen verdeelt de rijen in groepen van 50.
- Code in JavaScript verpakt elke batch in één verzoektekst.
- HTTP-verzoek stuurt de batch naar Sendtric, probeert het opnieuw als het misgaat, en geeft het vervolgens terug aan de lus voor de volgende batch.
Stel het in
- Maak in Sendtric een n8n gegevensbron aan en kopieer het webhook-eindpunt en de API-sleutel. Zie hoe je records kunt versturen vanuit Zapier of n8n.
- Kopieer de onderstaande JSON-code voor de workflow.
- Maak in n8n een nieuwe workflow aan en plak de JSON in het lege werkgebied (of sla het op als een
.jsonbestand en gebruik Importeren vanuit bestand). - Open Google Sheets-trigger, koppel je Google-account, en kies vervolgens je spreadsheet en werkblad.
- Open HTTP-verzoek:
- Vervang de URL door je Sendtric n8n-webhook-eindpunt.
- In de
Authorizationheader vervang jeYOUR_API_KEYdoor je sleutel. Laat het woordBeareren de spatie ervoor.
- Voer de workflow één keer uit om hem te testen, en controleer de records in de Records in Sendtric en activeer daarna de workflow.
Je werkblad moet een kolom bevatten met dezelfde naam als het veld met de unieke identificatiecode van de gegevensbron, en die moet in elke rij worden ingevuld.
Heb je gegevens nodig van ergens anders dan Google Sheets? Vervang de trigger dan door een willekeurig knooppunt dat je records weergeeft, en sluit het aan op Loop Over Items.
JSON-workflow
{
"name": "Google Sheets to Sendtric data source",
"nodes": [
{
"parameters": {
"pollTimes": { "item": [{ "mode": "everyMinute" }] },
"documentId": { "__rl": true, "value": "", "mode": "list" },
"sheetName": { "__rl": true, "value": "", "mode": "list" },
"options": {}
},
"type": "n8n-nodes-base.googleSheetsTrigger",
"typeVersion": 1,
"position": [0, 16],
"id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
"name": "Google Sheets Trigger"
},
{
"parameters": {
"batchSize": 50,
"options": { "reset": false }
},
"type": "n8n-nodes-base.splitInBatches",
"typeVersion": 3,
"position": [240, 16],
"id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
"name": "Loop Over Items"
},
{
"parameters": {
"jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n json: {\n payload: batchItems\n }\n}];"
},
"type": "n8n-nodes-base.code",
"typeVersion": 2,
"position": [464, 16],
"id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
"name": "Code in JavaScript"
},
{
"parameters": {
"method": "POST",
"url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
"sendHeaders": true,
"headerParameters": {
"parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
},
"sendBody": true,
"specifyBody": "json",
"jsonBody": "={{ JSON.stringify($json) }}",
"options": {}
},
"type": "n8n-nodes-base.httpRequest",
"typeVersion": 4.5,
"position": [688, 0],
"id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
"name": "HTTP Request",
"retryOnFail": true,
"waitBetweenTries": 5000
}
],
"connections": {
"Google Sheets Trigger": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
},
"Loop Over Items": {
"main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
},
"Code in JavaScript": {
"main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
},
"HTTP Request": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
}
},
"settings": { "executionOrder": "v1" }
}Kijk even naar het resultaat
Records zijn meestal binnen ongeveer een minuut na acceptatie beschikbaar. Open de gegevensbron en gebruik de tabblad 'Records' om een paar identificatiegegevens op te zoeken en te controleren of de waarden kloppen.
Als er in een antwoord wordt gemeld dat er records zijn overgeslagen, staat in de X-Skipped-Records staat in de header hoeveel het er zijn. Meestal zijn dit rijen waarbij het identificatieveld ontbreekt, of waarbij de waarde groter is dan 10 KB.
Gerelateerd
- Wat zijn gegevensbronnen en hoe werken ze?
- Hoe stuur je records naar een gegevensbron met de Sendtric API?
- Hoe je een gegevensbron beheert, bewerkt en verwijdert
Was dit artikel nuttig?
Bedankt voor je feedback!
