Hur man skickar stora datamängder till en datakälla
Senast uppdaterad
När du skickar tusentals poster till en datakälla bör du gruppera dem i satser och skicka satserna en efter en. Det går snabbare än att skicka en förfrågan per post, och det gör att varje förfrågan håller sig inom Sendtrics gränser.
Detta gäller för Sendtric API samt till Zapier och n8n datakällor.
Gränserna
| Gräns | Värde |
|---|---|
| Antal poster per förfrågan | 10 000 |
| Begäran om storlek | 10 MB |
| Identifieringsvärde | 255 tecken |
| Ett valfritt textvärde | 10 KB |
| Inbäddningsdjup | 20 nivåer |
En begäran som överskrider gränsen för antal poster eller storlek avvisas med statusen 413, och inget i den sparas.
Goda vanor vid satsvis tillverkning
- Skicka arrayer, inte enskilda poster. En förfrågan med 50 poster gör samma jobb som 50 förfrågningar, med betydligt mindre overhead.
- Skicka batcher en efter en, inte alla samtidigt parallellt.
- Gör en kort paus mellan varje sats när du skickar tusentals poster.
- Försök igen vid 503-fel och nätverksfel. Ett
503svaret innehåller enRetry-Afterrubrik med antalet sekunder som ska väntas. Skicka sedan samma batch igen. - Försök inte igen vid felkoderna 400, 401, 404 eller 422 utan att först åtgärda felet i begäran. Dessa koder innebär att något i begäran måste ändras.
Det är säkert att skicka en batch på nytt. En post med en identifierare som redan finns ersätter den gamla, så en batch som skickas på nytt skapar aldrig dubbletter.
n8n: 1 000 till 5 000 poster
För några tusen poster gäller att HTTP-förfrågan . Öppna noden som skickar till Sendtric och ställ in:
- På fliken Parametrar under Alternativ, klicka på Lägg till alternativ och lägg till:
- Satsvis bearbetning: Antal artiklar per sats
50och Batchintervall (ms)5000. - Tidsgräns:
30000.
- Satsvis bearbetning: Antal artiklar per sats
- På fliken :
- Aktivera Försök igen vid misslyckande.
- Max. försök:
3. - Väntetid mellan försök (ms):
3000. - Vid fel: Avbryt arbetsflödet.


Med dessa inställningar skickar n8n fortfarande en förfrågan per post, 50 åt gången, och väntar sedan 5 sekunder innan nästa 50 skickas.
n8n: över 5 000 poster
För större datamängder kan du använda vårt färdiga arbetsflöde. Det grupperar 50 poster åt gången i en förfrågan och skickar grupperna en efter en, så att 10 000 poster blir 200 förfrågningar istället för 10 000.
Arbetsflödet består av fyra noder:
- Google Sheets-utlösare läser ditt kalkylblad. Den kontrollerar om det finns ändringar varje minut.
- Slinga över poster delar upp raderna i grupper om 50.
- Kod i JavaScript slår ihop varje batch till en enda begäran.
- HTTP-förfrågan skickar batchen till Sendtric, försöker igen om det misslyckas och återgår sedan till slingan för nästa batch.
Ställ in det
- I Sendtric skapar du en n8n datakälla och kopiera dess webhook-ändpunkt och API-nyckel. Se hur man skickar poster från Zapier eller n8n.
- Kopiera JSON-koden för arbetsflödet nedan.
- I n8n skapar du ett nytt arbetsflöde och klistrar in JSON-koden på den tomma arbetsytan (eller sparar den som en
.jsonfil och använd Importera från fil). - Öppna Google Sheets-utlösare, anslut ditt Google-konto och välj sedan ditt kalkylark och din kalkylbladssida.
- Öppna HTTP-förfrågan:
- Ersätt URL:en med din Sendtric n8n-webhook-ändpunkt.
- I
Authorizationrubriken, ersättYOUR_API_KEYmed din nyckel. Behåll ordetBeareroch mellanslaget före det.
- Kör arbetsflödet en gång för att testa det och kontrollera posterna i datakällans fliken i Sendtric och aktivera sedan arbetsflödet.
Ditt kalkylblad måste innehålla en kolumn med samma namn som datakällans unika identifieringsfält, och denna kolumn måste fyllas i för varje rad.
Behöver du data från någon annan källa än Google Sheets? Byt ut utlösaren mot valfri nod som matar ut dina poster och koppla den till Loop Over Items.
JSON-fil för arbetsflöde
{
"name": "Google Sheets to Sendtric data source",
"nodes": [
{
"parameters": {
"pollTimes": { "item": [{ "mode": "everyMinute" }] },
"documentId": { "__rl": true, "value": "", "mode": "list" },
"sheetName": { "__rl": true, "value": "", "mode": "list" },
"options": {}
},
"type": "n8n-nodes-base.googleSheetsTrigger",
"typeVersion": 1,
"position": [0, 16],
"id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
"name": "Google Sheets Trigger"
},
{
"parameters": {
"batchSize": 50,
"options": { "reset": false }
},
"type": "n8n-nodes-base.splitInBatches",
"typeVersion": 3,
"position": [240, 16],
"id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
"name": "Loop Over Items"
},
{
"parameters": {
"jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n json: {\n payload: batchItems\n }\n}];"
},
"type": "n8n-nodes-base.code",
"typeVersion": 2,
"position": [464, 16],
"id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
"name": "Code in JavaScript"
},
{
"parameters": {
"method": "POST",
"url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
"sendHeaders": true,
"headerParameters": {
"parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
},
"sendBody": true,
"specifyBody": "json",
"jsonBody": "={{ JSON.stringify($json) }}",
"options": {}
},
"type": "n8n-nodes-base.httpRequest",
"typeVersion": 4.5,
"position": [688, 0],
"id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
"name": "HTTP Request",
"retryOnFail": true,
"waitBetweenTries": 5000
}
],
"connections": {
"Google Sheets Trigger": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
},
"Loop Over Items": {
"main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
},
"Code in JavaScript": {
"main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
},
"HTTP Request": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
}
},
"settings": { "executionOrder": "v1" }
}Kontrollera resultatet
Postarna är vanligtvis tillgängliga inom ungefär en minut efter att de har godkänts. Öppna datakällan och använd fliken Post för att söka efter några identifierare och kontrollera att värdena ser korrekta ut.
Om ett svar visar att poster har hoppats över, anger X-Skipped-Records anges antalet i rubriken. Det rör sig vanligtvis om rader där identifieringsfältet saknas eller där värdet överstiger 10 KB.
Relaterat
- Vad är datakällor och hur fungerar de?
- Så här skickar du poster till en datakälla med Sendtric API
- Så här hanterar, redigerar och tar du bort en datakälla
Var den här artikeln till hjälp?
Tack för din feedback!
