Como enviar grandes quantidades de dados para uma fonte de dados
Última atualização
Quando enviares milhares de registos para uma fonte de dados, agrupa-os em lotes e envia os lotes um a seguir ao outro. É mais rápido do que fazer um pedido por registo e mantém cada pedido dentro dos limites do Sendtric.
Isto aplica-se à API da Sendtric e ao Zapier e n8n .
Os limites
| Limite | Valor |
|---|---|
| Registos por pedido | 10 000 |
| Tamanho do pedido | 10 MB |
| Valor do identificador | 255 caracteres |
| Qualquer valor de texto único | 10 KB |
| Profundidade de encaixe | 20 níveis |
Um pedido que exceda o limite de registos ou de tamanho é rejeitado com o estado 413, e nada do que contém é guardado.
Bons hábitos de preparação de lotes
- Envia matrizes, em vez de registos individuais. Uma solicitação com 50 registos faz o mesmo trabalho que 50 solicitações, com muito menos sobrecarga.
- Envia os lotes um a seguir ao outro, e não todos ao mesmo tempo, em paralelo.
- Faz uma pequena pausa entre os lotes quando estiveres a enviar milhares de registos.
- Tentar novamente em caso de erros 503 e de rede. Uma
503resposta inclui umRetry-Aftercabeçalho com o número de segundos a aguardar. Depois, envia o mesmo lote novamente. - Não voltes a tentar com os códigos 400, 401, 404 ou 422 sem corrigires primeiro a solicitação. Esses códigos significam que algo na solicitação precisa de ser alterado.
Reenviar um lote é seguro. Um registo com um identificador que já exista substitui o antigo, pelo que um lote reenviado nunca cria duplicados.
n8n: 1 000 a 5 000 registos
Para alguns milhares de registos, o próprio agrupamento do é suficiente. Abre o nó que envia para o Sendtric e configura:
- Na separador , na secção Opções, clica em Adicionar opção e adiciona:
- Lotes: Itens por lote
50e Intervalo entre lotes (ms)5000. - Tempo limite:
30000.
- Lotes: Itens por lote
- Na Definições separador:
- Ativar Tentar novamente em caso de falha.
- N.º máx. de tentativas:
3. - Tempo de espera entre tentativas (ms):
3000. - Em caso de erro: Interromper o fluxo de trabalho.


Com estes definições, o n8n continua a enviar um pedido por registo, 50 de cada vez, e depois espera 5 segundos antes de enviar os próximos 50.
n8n: mais de 5 000 registos
Para conjuntos de dados maiores, usa o nosso fluxo de trabalho já pronto. Ele agrupa 50 registos de cada vez numa única solicitação e envia os grupos um a seguir ao outro, pelo que 10 000 registos passam a ser 200 solicitações, em vez de 10 000.
O fluxo de trabalho tem quatro nós:
- Ação automática do Google Sheets lê a tua folha. Verifica se há alterações a cada minuto.
- Percorrer os itens divide as linhas em lotes de 50.
- Código em JavaScript agrupa cada lote num único corpo de pedido.
- Pedido HTTP envia o lote para o Sendtric, tenta novamente se falhar e, depois, volta ao ciclo para o próximo lote.
Configura isso
- No Sendtric, cria um fonte de dados n8n e copia o ponto final do webhook e a chave da API. Vê como enviar registos a partir do Zapier ou do n8n.
- Copia o JSON do fluxo de trabalho que está aqui em baixo.
- No n8n, cria um novo fluxo de trabalho e cola o JSON na área de trabalho vazia (ou guarda-o como um
.jsonficheiro e usa a opção Importar a partir de ficheiro). - Abrir Acionador do Google Sheets, liga a tua conta do Google e, depois, escolhe a tua folha de cálculo e a tua página.
- Abrir Pedido HTTP:
- Substitui o URL pelo teu endpoint do webhook do Sendtric n8n.
- No
Authorizationcabeçalho, substituiYOUR_API_KEYpela tua chave. Mantém a palavraBearere o espaço antes dela.
- Executa o fluxo de trabalho uma vez para o testares e verifica os registos na fonte de dados guia «Registos» da fonte de dados no Sendtric e, depois, ativa o fluxo de trabalho.
A tua folha precisa de uma coluna com o mesmo nome que o campo de identificador único da fonte de dados, preenchida em todas as linhas.
Precisas de dados de outro sítio que não seja o Google Sheets? Substitui o gatilho por qualquer nó que gere os teus registos e liga-o ao Loop Over Items.
JSON do fluxo de trabalho
{
"name": "Google Sheets to Sendtric data source",
"nodes": [
{
"parameters": {
"pollTimes": { "item": [{ "mode": "everyMinute" }] },
"documentId": { "__rl": true, "value": "", "mode": "list" },
"sheetName": { "__rl": true, "value": "", "mode": "list" },
"options": {}
},
"type": "n8n-nodes-base.googleSheetsTrigger",
"typeVersion": 1,
"position": [0, 16],
"id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
"name": "Google Sheets Trigger"
},
{
"parameters": {
"batchSize": 50,
"options": { "reset": false }
},
"type": "n8n-nodes-base.splitInBatches",
"typeVersion": 3,
"position": [240, 16],
"id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
"name": "Loop Over Items"
},
{
"parameters": {
"jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n json: {\n payload: batchItems\n }\n}];"
},
"type": "n8n-nodes-base.code",
"typeVersion": 2,
"position": [464, 16],
"id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
"name": "Code in JavaScript"
},
{
"parameters": {
"method": "POST",
"url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
"sendHeaders": true,
"headerParameters": {
"parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
},
"sendBody": true,
"specifyBody": "json",
"jsonBody": "={{ JSON.stringify($json) }}",
"options": {}
},
"type": "n8n-nodes-base.httpRequest",
"typeVersion": 4.5,
"position": [688, 0],
"id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
"name": "HTTP Request",
"retryOnFail": true,
"waitBetweenTries": 5000
}
],
"connections": {
"Google Sheets Trigger": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
},
"Loop Over Items": {
"main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
},
"Code in JavaScript": {
"main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
},
"HTTP Request": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
}
},
"settings": { "executionOrder": "v1" }
}Vê o resultado
Os registos ficam normalmente disponíveis cerca de um minuto depois de serem aceites. Abre a fonte de dados e usa o separador «Registos» para procurares alguns identificadores e confirmares se os valores estão corretos.
Se uma resposta indicar que faltam registos, o X-Skipped-Records cabeçalho indica quantos são. Normalmente, são linhas em que falta o campo identificador ou cujo valor ultrapassa os 10 KB.
Relacionado
- O que são fontes de dados e como funcionam?
- Como enviar registos para uma fonte de dados com a API do Sendtric
- Como gerir, editar e eliminar uma fonte de dados
Este artigo foi útil?
Obrigado pelo teu feedback!
