Fuentes de Datos y API

Cómo enviar grandes cantidades de datos a una fuente de datos

Última actualización

Cuando envíes miles de registros a una fuente de datos, agrúpalos en lotes y envíalos uno tras otro. Es más rápido que hacer una solicitud por cada registro y así te aseguras de que cada solicitud se mantenga dentro de los límites de Sendtric.

Esto se aplica a la API de Sendtric y a las fuentes de datos de Zapier y n8n Fuentes de Datos.

Los límites

LímiteValor
Registros por solicitud10 000
Tamaño de la solicitud10 MB
Valor del identificador255 caracteres
Cualquier valor de texto10 KB
Profundidad de anidación20 niveles

Una solicitud que supere el límite de registros o de tamaño se rechaza con el estado 413, y no se guarda nada de ella.

Buenos hábitos a la hora de preparar las mezclas

  • Envía matrices, no registros individuales. Una solicitud con 50 registros hace lo mismo que 50 solicitudes, con mucha menos sobrecarga.
  • Envía los lotes uno tras otro, no todos a la vez en paralelo.
  • Haz una pequeña pausa entre cada lote cuando envíes miles de registros.
  • Reintentar en caso de error 503 y errores de red. Una 503 La respuesta incluye un Retry-After encabezado con el número de segundos que hay que esperar. Después, vuelve a enviar el mismo lote.
  • No vuelvas a intentarlo si te sale un 400, 401, 404 o 422 sin corregir primero la solicitud. Esos códigos indican que hay que cambiar algo en la solicitud.

Reenviar un lote es seguro. Un registro con un identificador que ya existe sustituye al anterior, así que un lote que se vuelve a enviar nunca crea duplicados.

n8n: de 1.000 a 5.000 registros

Para unos cuantos miles de registros, la el propio procesamiento por lotes del es suficiente. Abre el nodo que envía datos a Sendtric y configura lo siguiente:

  1. En la pestaña «Parámetros» , en la sección Opciones, haz clic en Añadir opción y añade:
    • Agrupación por lotes: Artículos por lote 50 y Intervalo entre lotes (ms) 5000.
    • Tiempo de espera: 30000.
  2. En la Ajustes :
    • Activar Reintentar en caso de fallo.
    • Máx. intentos: 3.
    • Tiempo de espera entre intentos (ms): 3000.
    • En caso de error: Detener el flujo de trabajo.
Opciones del nodo de solicitud HTTP de n8n con «Elementos por lote» establecido en 50, «Intervalo entre lotes» en 5000 ms y «Tiempo de espera» en 30000
Pestaña «Ajustes» del nodo «Solicitud HTTP» de n8n, con la opción «Reintentar en caso de fallo» activada, «N.º máximo de intentos» = 3, «Tiempo de espera entre intentos» = 3000 ms y «En caso de error» configurado en «Detener el flujo de trabajo»

Con estos ajustes, n8n sigue enviando una solicitud por registro, 50 cada vez, y luego espera 5 segundos antes de enviar los siguientes 50.

n8n: más de 5.000 registros

Para conjuntos de datos más grandes, usa nuestro flujo de trabajo ya preparado. Agrupa cada 50 registros en una solicitud y envía los grupos uno tras otro, así que 10 000 registros se convierten en 200 solicitudes en lugar de 10 000.

El flujo de trabajo tiene cuatro nodos:

  1. Desencadenador de Google Sheets lee tu hoja de cálculo. Comprueba si hay cambios cada minuto.
  2. Recorrer los elementos divide las filas en lotes de 50.
  3. Código en JavaScript agrupa cada lote en un único cuerpo de solicitud.
  4. Solicitud HTTP envía el lote a Sendtric, vuelve a intentarlo si falla y, a continuación, vuelve al bucle para el siguiente lote.

Configúralo

  1. En Sendtric, crea un fuente de datos de n8n y copia su punto final de webhook y su clave API. Echa un vistazo a cómo enviar registros desde Zapier o n8n.
  2. Copia el JSON del flujo de trabajo que aparece a continuación.
  3. En n8n, crea un nuevo flujo de trabajo y pega el JSON en el lienzo vacío (o guárdalo como un .json archivo y usa Importar desde archivo).
  4. Abrir Activador de Google Sheets, conecta tu cuenta de Google y, a continuación, elige tu hoja de cálculo y la hoja.
  5. Abrir Solicitud HTTP:
    • Sustituye el URL por tu punto final del webhook de Sendtric n8n.
    • En el Authorization encabezado, cambia YOUR_API_KEY por tu clave. Mantén la palabra Bearer y el espacio que hay antes de ella.
  6. Ejecuta el flujo de trabajo una vez para probarlo y comprueba los registros en las Fuentes de Datos pestaña «Registros» en Sendtric y, a continuación, activa el flujo de trabajo.

Tu hoja de cálculo necesita una columna con el mismo nombre que el campo de identificador único de la Fuente de Datos, que debe rellenarse en cada fila.

¿Necesitas datos de algún sitio que no sea Google Sheets? Cambia el disparador por cualquier nodo que genere tus registros y conéctalo a Loop Over Items.

JSON del flujo de trabajo

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

Comprueba el resultado

Los registros suelen estar disponibles al cabo de un minuto más o menos desde que se aceptan. Abre la Fuente de Datos y usa la pestaña «Registros» para buscar algunos identificadores y comprobar que los valores sean correctos.

Si una respuesta indica que hay registros omitidos, el X-Skipped-Records encabezado indica cuántos son. Normalmente son filas a las que les falta el campo identificador o cuyo valor supera los 10 KB.

Relacionado

¿Te ha sido útil este artículo?

Haz clic en la imagen para ampliarla. Arrastra o desplázate para moverte.