Fonti dei dati e API

Come inviare grandi quantità di dati a una fonte di dati

Ultimo aggiornamento

Quando invii migliaia di record a una fonte di dati, raggruppali in batch e inviali uno dopo l'altro. È più veloce che inviare una richiesta per ogni singolo record e ti permette di rimanere entro i limiti imposti da Sendtric per ogni richiesta.

Questo vale per l' API di Sendtric e a Zapier e n8n .

I limiti

LimiteValore
Record per richiesta10.000
Dimensione della richiesta10 MB
Valore dell'identificatore255 caratteri
Qualsiasi valore di testo singolo10 KB
Profondità di incasso20 livelli

Una richiesta che supera il limite di record o di dimensione viene rifiutata con lo stato 413, e nulla al suo interno viene salvato.

Buone abitudini nella preparazione delle dosi

  • Invia array, non singoli record. Una sola richiesta con 50 record fa lo stesso lavoro di 50 richieste, con un overhead molto minore.
  • Invia i lotti uno dopo l'altro, non tutti in una volta in parallelo.
  • Fai una breve pausa tra un lotto e l'altro quando invii migliaia di record.
  • Riprova in caso di errore 503 e di errori di rete. Una 503 risposta include un' Retry-After intestazione con il numero di secondi da attendere. Dopodiché invia nuovamente lo stesso batch.
  • Non riprovare con i codici 400, 401, 404 o 422 senza prima correggere la richiesta. Questi codici indicano che qualcosa nella richiesta deve essere modificato.

Rinviare un batch è sicuro. Un record con un identificatore già esistente sostituisce quello precedente, quindi un batch rinviato non crea mai duplicati.

n8n: da 1.000 a 5.000 record

Per qualche migliaio di record, la il batching del nodo stesso . Apri il nodo che invia i dati a Sendtric e imposta:

  1. Sui scheda , nella sezione Opzioni, clicca su Aggiungi opzione e aggiungi:
    • Lotti: Elementi per lotto 50 e Intervallo tra i lotti (ms) 5000.
    • Timeout: 30000.
  2. Sulla Impostazioni :
    • Attiva Riprova in caso di errore.
    • Numero massimo di tentativi: 3.
    • Tempo di attesa tra un tentativo e l'altro (ms): 3000.
    • In caso di errore: Interrompi il flusso di lavoro.
Opzioni del nodo "Richiesta HTTP" di n8n con "Elementi per batch" impostato su 50, "Intervallo tra i batch" su 5000 ms e "Timeout" su 30000
Scheda Impostazioni del nodo "Richiesta HTTP" di n8n con l'opzione "Riprova in caso di errore" attivata, "Numero massimo di tentativi" impostato su 3, "Attesa tra i tentativi" su 3000 ms e "In caso di errore" impostato su "Interrompi il flusso di lavoro"

Con queste impostazioni, n8n continua a inviare una richiesta per ogni record, 50 alla volta, e poi aspetta 5 secondi prima di inviare i successivi 50.

n8n: più di 5.000 record

Per set di dati più grandi, usa il nostro flusso di lavoro già pronto. Raggruppa ogni 50 record in una sola richiesta e invia i gruppi uno dopo l’altro, così 10.000 record diventano 200 richieste invece di 10.000.

Il flusso di lavoro ha quattro nodi:

  1. Trigger di Google Sheets legge il tuo foglio. Controlla se ci sono modifiche ogni minuto.
  2. Ciclo sugli elementi divide le righe in gruppi di 50.
  3. Codice in JavaScript racchiude ogni batch in un unico corpo di richiesta.
  4. Richiesta HTTP invia il batch a Sendtric, riprova in caso di errore, poi torna al ciclo per il batch successivo.

Configuralo

  1. In Sendtric, crea un n8n e copia l'endpoint del webhook e la chiave API. Dai un'occhiata a come inviare record da Zapier o n8n.
  2. Copia il codice JSON del flusso di lavoro qui sotto.
  3. In n8n, crea un nuovo flusso di lavoro e incolla il codice JSON nell'area di lavoro vuota (oppure salvalo come .json file e usa Importa da file).
  4. Apri Trigger di Google Sheets, collega il tuo account Google, poi scegli il tuo foglio di calcolo e il foglio.
  5. Apri Richiesta HTTP:
    • Sostituisci il URL con il tuo endpoint webhook Sendtric n8n.
    • Nell' Authorization intestazione, sostituisci YOUR_API_KEY con la tua chiave. Mantieni la parola Bearer e lo spazio che la precede.
  6. Esegui il flusso di lavoro una volta per provarlo, controlla i record nella scheda della fonte dati in Sendtric, quindi attiva il flusso di lavoro.

Il tuo foglio deve contenere una colonna con lo stesso nome del campo identificativo univoco della fonte dati, compilata in ogni riga.

Hai bisogno di dati da una fonte diversa da Google Sheets? Sostituisci il trigger con un nodo qualsiasi che generi i tuoi record e collegalo a Loop Over Items.

JSON del flusso di lavoro

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

Controlla il risultato

I record sono solitamente disponibili entro circa un minuto dall'accettazione. Apri la fonte dati e usa il scheda "Record" per cercare alcuni identificatori e verificare che i valori siano corretti.

Se una risposta segnala la presenza di record saltati, l’ X-Skipped-Records intestazione indica quanti sono. Di solito si tratta di righe prive del campo identificativo o con un valore superiore a 10 KB.

Correlati

Questo articolo ti è stato utile?

Fai clic sull'immagine per ingrandirla. Trascina o scorri per spostarti.