Hvordan sende store datamengder til en datakilde
Sist oppdatert
Når du sender tusenvis av poster til en datakilde, bør du gruppere dem i batcher og sende batchene etter hverandre. Dette går raskere enn å sende én forespørsel per post, og det sikrer at hver forespørsel holder seg innenfor Sendtrics grenser.
Dette gjelder for Sendtric API og til Zapier og n8n datakilder.
Grensene
| Grense | Verdi |
|---|---|
| Antall poster per forespørsel | 10 000 |
| Forespørselsstørrelse | 10 MB |
| Identifikatorverdi | 255 tegn |
| En hvilken som helst enkelt tekstverdi | 10 KB |
| Innstikkdybde | 20 nivåer |
En forespørsel som overskrider grensen for antall poster eller størrelse, avvises med statusen 413, og innholdet blir ikke lagret.
Gode vaner ved dosering
- Send tabeller, ikke enkeltposter. Én forespørsel med 50 poster gjør samme jobb som 50 forespørsler, med langt mindre overhead.
- Send batchene én etter én, ikke alle samtidig.
- Ta en kort pause mellom hver batch når du sender tusenvis av poster.
- Prøv på nytt ved 503-feil og nettverksfeil. Et
503svaret inneholder enRetry-Afteroverskrift med antall sekunder man skal vente. Send deretter den samme batchen på nytt. - Ikke prøv på nytt ved feilkodene 400, 401, 404 eller 422 uten å rette opp forespørselen først. Disse feilkodene betyr at noe i forespørselen må endres.
Det er trygt å sende en batch på nytt. En post med en identifikator som allerede finnes, erstatter den gamle, så en batch som sendes på nytt skaper aldri duplikater.
n8n: 1 000 til 5 000 poster
For noen få tusen poster vil HTTP-forespørselen nodes egen batchbehandling. Åpne noden som sender til Sendtric og angi:
- På fanen «Parametere» under Alternativer, klikker du på Legg til alternativ og legg til:
- Batchbehandling: Antall enheter per batch
50og Batchintervall (ms)5000. - Tidsavbrudd:
30000.
- Batchbehandling: Antall enheter per batch
- På Innstillinger :
- Slå på Prøv på nytt ved feil.
- Maks. forsøk:
3. - Ventetid mellom forsøk (ms):
3000. - Ved feil: Stopp arbeidsflyten.


Med disse innstillingene sender n8n fortsatt én forespørsel per post, 50 om gangen, og venter deretter i 5 sekunder før de neste 50.
n8n: mer enn 5 000 poster
For større datasett kan du bruke vår ferdige arbeidsflyt. Den grupperer 50 poster om gangen i én forespørsel og sender gruppene etter hverandre, slik at 10 000 poster blir til 200 forespørsler i stedet for 10 000.
Arbeidsflyten består av fire noder:
- Google Sheets-utløser leser regnearket ditt. Den sjekker for endringer hvert minutt.
- Gjennomløp av elementer deler radene opp i grupper på 50.
- Kode i JavaScript pakker hver batch inn i én enkelt forespørselstekst.
- HTTP-forespørsel sender batchen til Sendtric, prøver på nytt hvis det mislykkes, og sender deretter tilbake til løkken for neste batch.
Sett det opp
- I Sendtric oppretter du en n8n datakilde og kopier webhook-endepunktet og API-nøkkelen. Se hvordan du sender poster fra Zapier eller n8n.
- Kopier JSON-koden for arbeidsflyten nedenfor.
- I n8n oppretter du en ny arbeidsflyt og limer inn JSON-koden på det tomme arbeidsområdet (eller lagrer den som en
.jsonfil og bruk Importer fra fil). - Åpne Google Sheets-utløser, koble til Google-kontoen din, og velg deretter regnearket og arket.
- Åpne HTTP-forespørsel:
- Erstatt URL-en med ditt Sendtric n8n-webhook-endepunkt.
- I
Authorizationoverskriften erstatter duYOUR_API_KEYmed din nøkkel. Behold ordetBearerog mellomrommet før det.
- Kjør arbeidsflyten én gang for å teste den, og sjekk postene i datakildens Post i Sendtric, og aktiver deretter arbeidsflyten.
Arket ditt må ha en kolonne med samme navn som datakildens felt for unik identifikator, og dette feltet må fylles ut i hver rad.
Trenger du data fra et annet sted enn Google Sheets? Erstatt utløseren med en hvilken som helst node som gir ut postene dine, og koble den til Loop Over Items.
JSON-fil for arbeidsflyt
{
"name": "Google Sheets to Sendtric data source",
"nodes": [
{
"parameters": {
"pollTimes": { "item": [{ "mode": "everyMinute" }] },
"documentId": { "__rl": true, "value": "", "mode": "list" },
"sheetName": { "__rl": true, "value": "", "mode": "list" },
"options": {}
},
"type": "n8n-nodes-base.googleSheetsTrigger",
"typeVersion": 1,
"position": [0, 16],
"id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
"name": "Google Sheets Trigger"
},
{
"parameters": {
"batchSize": 50,
"options": { "reset": false }
},
"type": "n8n-nodes-base.splitInBatches",
"typeVersion": 3,
"position": [240, 16],
"id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
"name": "Loop Over Items"
},
{
"parameters": {
"jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n json: {\n payload: batchItems\n }\n}];"
},
"type": "n8n-nodes-base.code",
"typeVersion": 2,
"position": [464, 16],
"id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
"name": "Code in JavaScript"
},
{
"parameters": {
"method": "POST",
"url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
"sendHeaders": true,
"headerParameters": {
"parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
},
"sendBody": true,
"specifyBody": "json",
"jsonBody": "={{ JSON.stringify($json) }}",
"options": {}
},
"type": "n8n-nodes-base.httpRequest",
"typeVersion": 4.5,
"position": [688, 0],
"id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
"name": "HTTP Request",
"retryOnFail": true,
"waitBetweenTries": 5000
}
],
"connections": {
"Google Sheets Trigger": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
},
"Loop Over Items": {
"main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
},
"Code in JavaScript": {
"main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
},
"HTTP Request": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
}
},
"settings": { "executionOrder": "v1" }
}Sjekk resultatet
Postene er vanligvis tilgjengelige innen omtrent ett minutt etter at de er godkjent. Åpne datakilden og bruk fanen «Post for å søke etter noen identifikatorer og bekrefte at verdiene ser riktige ut.
Hvis et svar melder om utelatte poster, angir X-Skipped-Records står det i overskriften hvor mange det er. Det er vanligvis rader som mangler identifikatorfeltet, eller som har en verdi på over 10 KB.
Relatert
- Hva er datakilder, og hvordan fungerer de?
- Slik sender du poster til en datakilde med Sendtric-API-et
- Slik administrerer, redigerer og sletter du en datakilde
Var denne artikkelen nyttig?
Takk for tilbakemeldingen din!
