Datakilder og API

Sådan sender man store datamængder til en datakilde

Sidst opdateret

Når du sender tusindvis af poster til en datakilde, skal du gruppere dem i batcher og sende batcherne én efter én. Det går hurtigere end én anmodning pr. post, og det sikrer, at hver enkelt anmodning holder sig inden for Sendtrics grænser.

Dette gælder for Sendtric API og til Zapier og n8n datakilder.

Grænserne

GrænseVærdi
Antal poster pr. forespørgsel10.000
Anmodningens størrelse10 MB
Identifikatorværdi255 tegn
En vilkårlig tekstværdi10 KB
Indlejringsdybde20 niveauer

En anmodning, der overskrider grænsen for antal poster eller størrelse, afvises med status 413, og intet i den gemmes.

Gode vaner i forbindelse med portionering

  • Send tabeller, ikke enkelte poster. Én forespørgsel med 50 poster udfører det samme arbejde som 50 forespørgsler, med langt mindre overhead.
  • Send batcher én efter én, ikke alle på én gang parallelt.
  • Hold en kort pause mellem hver batch når du sender tusindvis af poster.
  • Prøv igen ved 503-fejl og netværksfejl. Et 503 svaret indeholder en Retry-After header med antallet af sekunder, der skal ventes. Send derefter den samme batch igen.
  • Prøv ikke igen ved fejlkoder 400, 401, 404 eller 422 uden først at rette fejlen i anmodningen. Disse fejlkoder betyder, at noget i anmodningen skal ændres.

Det er sikkert at sende en batch igen. En post med en identifikator, der allerede findes, erstatter den gamle, så en batch, der sendes igen, skaber aldrig dubletter.

n8n: 1.000 til 5.000 poster

For et par tusinde poster vil HTTP-anmodning -nodens egen batchbehandling er tilstrækkelig. Åbn den node, der sender til Sendtric, og indstil:

  1. På fanen under Indstillinger, skal du klikke på Tilføj indstilling og tilføj:
    • Batchproduktion: Antal varer pr. batch 50 og Batchinterval (ms) 5000.
    • Timeout: 30000.
  2. På fanen :
    • Aktivér Prøv igen ved fejl.
    • Maks. forsøg: 3.
    • Ventetid mellem forsøg (ms): 3000.
    • Ved fejl: Stop arbejdsgangen.
Indstillinger for n8n HTTP-anmodningsnoden med »Items per Batch« indstillet til 50, »Batch Interval« til 5000 ms og »Timeout« til 30000
Fanen »Indstillinger« i n8n-noden »HTTP-anmodning« med »Prøv igen ved fejl« aktiveret, »Maks. antal forsøg« sat til 3, »Ventetid mellem forsøg« sat til 3000 ms og »Ved fejl« indstillet til »Stop workflow«

Med disse indstillinger sender n8n stadig én anmodning pr. post, 50 ad gangen, og venter derefter 5 sekunder, før de næste 50 sendes.

n8n: mere end 5.000 poster

Ved større datasæt kan du bruge vores færdigudviklede arbejdsgang. Den samler hver 50 poster i én forespørgsel og sender grupperne efter hinanden, så 10.000 poster bliver til 200 forespørgsler i stedet for 10.000.

Arbejdsgangen består af fire noder:

  1. Google Sheets-trigger læser dit regneark. Den tjekker for ændringer hvert minut.
  2. Gennemløb af elementer opdeler rækkerne i grupper på 50.
  3. Kode i JavaScript indkapsler hver batch i en enkelt anmodningstekst.
  4. HTTP-anmodning sender batchen til Sendtric, forsøger igen, hvis det mislykkes, og returnerer derefter til løkken for den næste batch.

Konfigurer det

  1. I Sendtric skal du oprette en n8n datakilde, og kopier dens webhook-endpoint og API-nøgle. Se hvordan du sender poster fra Zapier eller n8n.
  2. Kopier JSON-koden til arbejdsgangen nedenfor.
  3. I n8n skal du oprette en ny arbejdsgang og indsætte JSON-koden på det tomme arbejdsområde (eller gemme den som en .json fil og brug Import fra fil).
  4. Åbn Google Sheets-udløser, tilslut din Google-konto, og vælg derefter dit regneark og din side.
  5. Åbn HTTP-anmodning:
    • Erstat URL'en med dit Sendtric n8n-webhook-endpoint.
    • I Authorization overskriften skal du erstatte YOUR_API_KEY med din nøgle. Behold ordet Bearer og mellemrummet foran det.
  6. Kør arbejdsgangen én gang for at teste den, og tjek posterne i datakildens fanen i Sendtric, og aktiver derefter arbejdsgangen.

Dit regneark skal indeholde en kolonne med samme navn som datakildens felt med den unikke identifikator, og denne skal udfyldes i hver række.

Har du brug for data fra et andet sted end Google Sheets? Erstat udløseren med en vilkårlig node, der genererer dine poster, og forbind den til Loop Over Items.

JSON-workflow

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

Tjek resultatet

Posterne er normalt tilgængelige inden for cirka et minut efter, at de er blevet accepteret. Åbn datakilden, og brug fanen "Poster" til at søge efter et par identifikatorer og kontrollere, at værdierne ser korrekte ud.

Hvis et svar angiver oversprungne poster, står der i X-Skipped-Records angives antallet i overskriften. Det drejer sig som regel om rækker, hvor identifikatorfeltet mangler, eller hvor værdien overstiger 10 KB.

Relateret

Var denne artikel nyttig?

Klik på billedet for at zoome ind. Træk eller rul for at se dig omkring.