Sådan sender man store datamængder til en datakilde
Sidst opdateret
Når du sender tusindvis af poster til en datakilde, skal du gruppere dem i batcher og sende batcherne én efter én. Det går hurtigere end én anmodning pr. post, og det sikrer, at hver enkelt anmodning holder sig inden for Sendtrics grænser.
Dette gælder for Sendtric API og til Zapier og n8n datakilder.
Grænserne
| Grænse | Værdi |
|---|---|
| Antal poster pr. forespørgsel | 10.000 |
| Anmodningens størrelse | 10 MB |
| Identifikatorværdi | 255 tegn |
| En vilkårlig tekstværdi | 10 KB |
| Indlejringsdybde | 20 niveauer |
En anmodning, der overskrider grænsen for antal poster eller størrelse, afvises med status 413, og intet i den gemmes.
Gode vaner i forbindelse med portionering
- Send tabeller, ikke enkelte poster. Én forespørgsel med 50 poster udfører det samme arbejde som 50 forespørgsler, med langt mindre overhead.
- Send batcher én efter én, ikke alle på én gang parallelt.
- Hold en kort pause mellem hver batch når du sender tusindvis af poster.
- Prøv igen ved 503-fejl og netværksfejl. Et
503svaret indeholder enRetry-Afterheader med antallet af sekunder, der skal ventes. Send derefter den samme batch igen. - Prøv ikke igen ved fejlkoder 400, 401, 404 eller 422 uden først at rette fejlen i anmodningen. Disse fejlkoder betyder, at noget i anmodningen skal ændres.
Det er sikkert at sende en batch igen. En post med en identifikator, der allerede findes, erstatter den gamle, så en batch, der sendes igen, skaber aldrig dubletter.
n8n: 1.000 til 5.000 poster
For et par tusinde poster vil HTTP-anmodning -nodens egen batchbehandling er tilstrækkelig. Åbn den node, der sender til Sendtric, og indstil:
- På fanen under Indstillinger, skal du klikke på Tilføj indstilling og tilføj:
- Batchproduktion: Antal varer pr. batch
50og Batchinterval (ms)5000. - Timeout:
30000.
- Batchproduktion: Antal varer pr. batch
- På fanen :
- Aktivér Prøv igen ved fejl.
- Maks. forsøg:
3. - Ventetid mellem forsøg (ms):
3000. - Ved fejl: Stop arbejdsgangen.


Med disse indstillinger sender n8n stadig én anmodning pr. post, 50 ad gangen, og venter derefter 5 sekunder, før de næste 50 sendes.
n8n: mere end 5.000 poster
Ved større datasæt kan du bruge vores færdigudviklede arbejdsgang. Den samler hver 50 poster i én forespørgsel og sender grupperne efter hinanden, så 10.000 poster bliver til 200 forespørgsler i stedet for 10.000.
Arbejdsgangen består af fire noder:
- Google Sheets-trigger læser dit regneark. Den tjekker for ændringer hvert minut.
- Gennemløb af elementer opdeler rækkerne i grupper på 50.
- Kode i JavaScript indkapsler hver batch i en enkelt anmodningstekst.
- HTTP-anmodning sender batchen til Sendtric, forsøger igen, hvis det mislykkes, og returnerer derefter til løkken for den næste batch.
Konfigurer det
- I Sendtric skal du oprette en n8n datakilde, og kopier dens webhook-endpoint og API-nøgle. Se hvordan du sender poster fra Zapier eller n8n.
- Kopier JSON-koden til arbejdsgangen nedenfor.
- I n8n skal du oprette en ny arbejdsgang og indsætte JSON-koden på det tomme arbejdsområde (eller gemme den som en
.jsonfil og brug Import fra fil). - Åbn Google Sheets-udløser, tilslut din Google-konto, og vælg derefter dit regneark og din side.
- Åbn HTTP-anmodning:
- Erstat URL'en med dit Sendtric n8n-webhook-endpoint.
- I
Authorizationoverskriften skal du erstatteYOUR_API_KEYmed din nøgle. Behold ordetBearerog mellemrummet foran det.
- Kør arbejdsgangen én gang for at teste den, og tjek posterne i datakildens fanen i Sendtric, og aktiver derefter arbejdsgangen.
Dit regneark skal indeholde en kolonne med samme navn som datakildens felt med den unikke identifikator, og denne skal udfyldes i hver række.
Har du brug for data fra et andet sted end Google Sheets? Erstat udløseren med en vilkårlig node, der genererer dine poster, og forbind den til Loop Over Items.
JSON-workflow
{
"name": "Google Sheets to Sendtric data source",
"nodes": [
{
"parameters": {
"pollTimes": { "item": [{ "mode": "everyMinute" }] },
"documentId": { "__rl": true, "value": "", "mode": "list" },
"sheetName": { "__rl": true, "value": "", "mode": "list" },
"options": {}
},
"type": "n8n-nodes-base.googleSheetsTrigger",
"typeVersion": 1,
"position": [0, 16],
"id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
"name": "Google Sheets Trigger"
},
{
"parameters": {
"batchSize": 50,
"options": { "reset": false }
},
"type": "n8n-nodes-base.splitInBatches",
"typeVersion": 3,
"position": [240, 16],
"id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
"name": "Loop Over Items"
},
{
"parameters": {
"jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n json: {\n payload: batchItems\n }\n}];"
},
"type": "n8n-nodes-base.code",
"typeVersion": 2,
"position": [464, 16],
"id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
"name": "Code in JavaScript"
},
{
"parameters": {
"method": "POST",
"url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
"sendHeaders": true,
"headerParameters": {
"parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
},
"sendBody": true,
"specifyBody": "json",
"jsonBody": "={{ JSON.stringify($json) }}",
"options": {}
},
"type": "n8n-nodes-base.httpRequest",
"typeVersion": 4.5,
"position": [688, 0],
"id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
"name": "HTTP Request",
"retryOnFail": true,
"waitBetweenTries": 5000
}
],
"connections": {
"Google Sheets Trigger": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
},
"Loop Over Items": {
"main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
},
"Code in JavaScript": {
"main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
},
"HTTP Request": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
}
},
"settings": { "executionOrder": "v1" }
}Tjek resultatet
Posterne er normalt tilgængelige inden for cirka et minut efter, at de er blevet accepteret. Åbn datakilden, og brug fanen "Poster" til at søge efter et par identifikatorer og kontrollere, at værdierne ser korrekte ud.
Hvis et svar angiver oversprungne poster, står der i X-Skipped-Records angives antallet i overskriften. Det drejer sig som regel om rækker, hvor identifikatorfeltet mangler, eller hvor værdien overstiger 10 KB.
Relateret
- Hvad er datakilder, og hvordan fungerer de?
- Sådan sender du poster til en datakilde med Sendtric API’et
- Sådan administrerer, redigerer og sletter du en datakilde
Var denne artikel nyttig?
Tak for din feedback!
