Fontes de dados e API

Como enviar grandes quantidades de dados para uma fonte de dados

Última atualização

Quando enviares milhares de registos para uma fonte de dados, agrupa-os em lotes e envia os lotes um a seguir ao outro. É mais rápido do que fazer um pedido por registo e mantém cada pedido dentro dos limites do Sendtric.

Isto aplica-se à API da Sendtric e ao Zapier e n8n .

Os limites

LimiteValor
Registos por pedido10 000
Tamanho do pedido10 MB
Valor do identificador255 caracteres
Qualquer valor de texto único10 KB
Profundidade de encaixe20 níveis

Um pedido que exceda o limite de registos ou de tamanho é rejeitado com o estado 413, e nada do que contém é guardado.

Bons hábitos de preparação de lotes

  • Envia matrizes, em vez de registos individuais. Uma solicitação com 50 registos faz o mesmo trabalho que 50 solicitações, com muito menos sobrecarga.
  • Envia os lotes um a seguir ao outro, e não todos ao mesmo tempo, em paralelo.
  • Faz uma pequena pausa entre os lotes quando estiveres a enviar milhares de registos.
  • Tentar novamente em caso de erros 503 e de rede. Uma 503 resposta inclui um Retry-After cabeçalho com o número de segundos a aguardar. Depois, envia o mesmo lote novamente.
  • Não voltes a tentar com os códigos 400, 401, 404 ou 422 sem corrigires primeiro a solicitação. Esses códigos significam que algo na solicitação precisa de ser alterado.

Reenviar um lote é seguro. Um registo com um identificador que já exista substitui o antigo, pelo que um lote reenviado nunca cria duplicados.

n8n: 1 000 a 5 000 registos

Para alguns milhares de registos, o próprio agrupamento do é suficiente. Abre o nó que envia para o Sendtric e configura:

  1. Na separador , na secção Opções, clica em Adicionar opção e adiciona:
    • Lotes: Itens por lote 50 e Intervalo entre lotes (ms) 5000.
    • Tempo limite: 30000.
  2. Na Definições separador:
    • Ativar Tentar novamente em caso de falha.
    • N.º máx. de tentativas: 3.
    • Tempo de espera entre tentativas (ms): 3000.
    • Em caso de erro: Interromper o fluxo de trabalho.
Opções do nó de pedido HTTP do n8n com «Itens por lote» definido para 50, «Intervalo entre lotes» de 5000 ms e «Tempo limite» de 30000
Nó de pedido HTTP do n8n, separador Definições, com a opção «Repetir em caso de falha» ativada, «N.º máx. de tentativas» definido em 3, «Tempo de espera entre tentativas» definido em 3000 ms e «Em caso de erro» definido para «Parar o fluxo de trabalho»

Com estes definições, o n8n continua a enviar um pedido por registo, 50 de cada vez, e depois espera 5 segundos antes de enviar os próximos 50.

n8n: mais de 5 000 registos

Para conjuntos de dados maiores, usa o nosso fluxo de trabalho já pronto. Ele agrupa 50 registos de cada vez numa única solicitação e envia os grupos um a seguir ao outro, pelo que 10 000 registos passam a ser 200 solicitações, em vez de 10 000.

O fluxo de trabalho tem quatro nós:

  1. Ação automática do Google Sheets lê a tua folha. Verifica se há alterações a cada minuto.
  2. Percorrer os itens divide as linhas em lotes de 50.
  3. Código em JavaScript agrupa cada lote num único corpo de pedido.
  4. Pedido HTTP envia o lote para o Sendtric, tenta novamente se falhar e, depois, volta ao ciclo para o próximo lote.

Configura isso

  1. No Sendtric, cria um fonte de dados n8n e copia o ponto final do webhook e a chave da API. Vê como enviar registos a partir do Zapier ou do n8n.
  2. Copia o JSON do fluxo de trabalho que está aqui em baixo.
  3. No n8n, cria um novo fluxo de trabalho e cola o JSON na área de trabalho vazia (ou guarda-o como um .json ficheiro e usa a opção Importar a partir de ficheiro).
  4. Abrir Acionador do Google Sheets, liga a tua conta do Google e, depois, escolhe a tua folha de cálculo e a tua página.
  5. Abrir Pedido HTTP:
    • Substitui o URL pelo teu endpoint do webhook do Sendtric n8n.
    • No Authorization cabeçalho, substitui YOUR_API_KEY pela tua chave. Mantém a palavra Bearer e o espaço antes dela.
  6. Executa o fluxo de trabalho uma vez para o testares e verifica os registos na fonte de dados guia «Registos» da fonte de dados no Sendtric e, depois, ativa o fluxo de trabalho.

A tua folha precisa de uma coluna com o mesmo nome que o campo de identificador único da fonte de dados, preenchida em todas as linhas.

Precisas de dados de outro sítio que não seja o Google Sheets? Substitui o gatilho por qualquer nó que gere os teus registos e liga-o ao Loop Over Items.

JSON do fluxo de trabalho

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

Vê o resultado

Os registos ficam normalmente disponíveis cerca de um minuto depois de serem aceites. Abre a fonte de dados e usa o separador «Registos» para procurares alguns identificadores e confirmares se os valores estão corretos.

Se uma resposta indicar que faltam registos, o X-Skipped-Records cabeçalho indica quantos são. Normalmente, são linhas em que falta o campo identificador ou cujo valor ultrapassa os 10 KB.

Relacionado

Este artigo foi útil?

Clica na imagem para ampliar. Arrasta ou desliza para ver o resto.