Datakällor och API

Hur man skickar stora datamängder till en datakälla

Senast uppdaterad

När du skickar tusentals poster till en datakälla bör du gruppera dem i satser och skicka satserna en efter en. Det går snabbare än att skicka en förfrågan per post, och det gör att varje förfrågan håller sig inom Sendtrics gränser.

Detta gäller för Sendtric API samt till Zapier och n8n datakällor.

Gränserna

GränsVärde
Antal poster per förfrågan10 000
Begäran om storlek10 MB
Identifieringsvärde255 tecken
Ett valfritt textvärde10 KB
Inbäddningsdjup20 nivåer

En begäran som överskrider gränsen för antal poster eller storlek avvisas med statusen 413, och inget i den sparas.

Goda vanor vid satsvis tillverkning

  • Skicka arrayer, inte enskilda poster. En förfrågan med 50 poster gör samma jobb som 50 förfrågningar, med betydligt mindre overhead.
  • Skicka batcher en efter en, inte alla samtidigt parallellt.
  • Gör en kort paus mellan varje sats när du skickar tusentals poster.
  • Försök igen vid 503-fel och nätverksfel. Ett 503 svaret innehåller en Retry-After rubrik med antalet sekunder som ska väntas. Skicka sedan samma batch igen.
  • Försök inte igen vid felkoderna 400, 401, 404 eller 422 utan att först åtgärda felet i begäran. Dessa koder innebär att något i begäran måste ändras.

Det är säkert att skicka en batch på nytt. En post med en identifierare som redan finns ersätter den gamla, så en batch som skickas på nytt skapar aldrig dubbletter.

n8n: 1 000 till 5 000 poster

För några tusen poster gäller att HTTP-förfrågan . Öppna noden som skickar till Sendtric och ställ in:

  1. På fliken Parametrar under Alternativ, klicka på Lägg till alternativ och lägg till:
    • Satsvis bearbetning: Antal artiklar per sats 50 och Batchintervall (ms) 5000.
    • Tidsgräns: 30000.
  2. På fliken :
    • Aktivera Försök igen vid misslyckande.
    • Max. försök: 3.
    • Väntetid mellan försök (ms): 3000.
    • Vid fel: Avbryt arbetsflödet.
Alternativ för n8n-noden ”HTTP Request” med ”Items per Batch” inställt på 50, ”Batch Interval” på 5000 ms och ”Timeout” på 30000
Fliken ”Inställningar” för n8n-noden ”HTTP-förfrågan” med alternativet ”Försök igen vid misslyckande” aktiverat, ”Max. antal försök” inställt på 3, ”Väntetid mellan försök” inställt på 3000 ms och ”Vid fel” inställt på ”Stoppa arbetsflödet”

Med dessa inställningar skickar n8n fortfarande en förfrågan per post, 50 åt gången, och väntar sedan 5 sekunder innan nästa 50 skickas.

n8n: över 5 000 poster

För större datamängder kan du använda vårt färdiga arbetsflöde. Det grupperar 50 poster åt gången i en förfrågan och skickar grupperna en efter en, så att 10 000 poster blir 200 förfrågningar istället för 10 000.

Arbetsflödet består av fyra noder:

  1. Google Sheets-utlösare läser ditt kalkylblad. Den kontrollerar om det finns ändringar varje minut.
  2. Slinga över poster delar upp raderna i grupper om 50.
  3. Kod i JavaScript slår ihop varje batch till en enda begäran.
  4. HTTP-förfrågan skickar batchen till Sendtric, försöker igen om det misslyckas och återgår sedan till slingan för nästa batch.

Ställ in det

  1. I Sendtric skapar du en n8n datakälla och kopiera dess webhook-ändpunkt och API-nyckel. Se hur man skickar poster från Zapier eller n8n.
  2. Kopiera JSON-koden för arbetsflödet nedan.
  3. I n8n skapar du ett nytt arbetsflöde och klistrar in JSON-koden på den tomma arbetsytan (eller sparar den som en .json fil och använd Importera från fil).
  4. Öppna Google Sheets-utlösare, anslut ditt Google-konto och välj sedan ditt kalkylark och din kalkylbladssida.
  5. Öppna HTTP-förfrågan:
    • Ersätt URL:en med din Sendtric n8n-webhook-ändpunkt.
    • I Authorization rubriken, ersätt YOUR_API_KEY med din nyckel. Behåll ordet Bearer och mellanslaget före det.
  6. Kör arbetsflödet en gång för att testa det och kontrollera posterna i datakällans fliken i Sendtric och aktivera sedan arbetsflödet.

Ditt kalkylblad måste innehålla en kolumn med samma namn som datakällans unika identifieringsfält, och denna kolumn måste fyllas i för varje rad.

Behöver du data från någon annan källa än Google Sheets? Byt ut utlösaren mot valfri nod som matar ut dina poster och koppla den till Loop Over Items.

JSON-fil för arbetsflöde

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

Kontrollera resultatet

Postarna är vanligtvis tillgängliga inom ungefär en minut efter att de har godkänts. Öppna datakällan och använd fliken Post för att söka efter några identifierare och kontrollera att värdena ser korrekta ut.

Om ett svar visar att poster har hoppats över, anger X-Skipped-Records anges antalet i rubriken. Det rör sig vanligtvis om rader där identifieringsfältet saknas eller där värdet överstiger 10 KB.

Relaterat

Var den här artikeln till hjälp?

Klicka på bilden för att zooma in. Dra eller scrolla för att se dig omkring.