Sources de données et API

Comment envoyer de grandes quantités de données vers une source de données

Dernière mise à jour

Quand tu envoies des milliers d'enregistrements vers une source de données, regroupe-les en lots et envoie ces lots les uns après les autres. C'est plus rapide que d'envoyer une requête par enregistrement, et ça permet de rester dans les limites fixées par Sendtric pour chaque requête.

Ça s'applique à l' API Sendtric et à Zapier et n8n .

Les limites

LimiteValeur
Nombre d'enregistrements par requête10 000
Taille de la requête10 Mo
Valeur de l'identifiant255 caractères
N'importe quelle valeur textuelle10 Ko
Profondeur d'imbrication20 niveaux

Une requête qui dépasse la limite de taille ou de nombre d'enregistrements est rejetée avec le statut 413, et rien de ce qu’elle contient n’est enregistré.

Les bonnes habitudes en matière de regroupement

  • Envoie des tableaux, pas des enregistrements individuels. Une requête avec 50 enregistrements fait le même travail que 50 requêtes, avec bien moins de surcharge.
  • Envoie les lots les uns après les autres, pas tous en même temps en parallèle.
  • Fais une petite pause entre chaque lot lorsque tu envoies des milliers d'enregistrements.
  • Réessayer en cas d'erreur 503 et d'erreurs réseau. Une 503 réponse contient un Retry-After en-tête indiquant le nombre de secondes à attendre. Ensuite, renvoie le même lot.
  • Ne réessaie pas en cas de codes 400, 401, 404 ou 422 sans avoir d'abord corrigé la requête. Ces codes indiquent qu'un élément de la requête doit être modifié.

On peut renvoyer un lot en toute sécurité. Un enregistrement dont l'identifiant existe déjà remplace l'ancien ; ainsi, un lot renvoyé ne crée jamais de doublons.

n8n : de 1 000 à 5 000 enregistrements

Pour quelques milliers d'enregistrements, la le traitement par lots . Ouvre le nœud qui envoie les données à Sendtric et configure-le comme suit :

  1. Sur la onglet , sous Options, clique sur Ajouter une option et ajoute :
    • Regroupement par lots: Nombre d'articles par lot 50 et Intervalle entre les lots (ms) 5000.
    • Délai d'attente: 30000.
  2. Sur la Paramètres :
    • Activer Réessayer en cas d'échec.
    • Nombre max. d'essais: 3.
    • Délai entre deux essais (ms): 3000.
    • En cas d'erreur: Arrêter le workflow.
Options du nœud « n8n HTTP Request » avec « Items per Batch » réglé sur 50, « Batch Interval » sur 5 000 ms et « Timeout » sur 30 000
Onglet « Paramètres » du nœud « Requête HTTP » de n8n, avec l'option « Réessayer en cas d'échec » activée, « Nombre max. de tentatives » réglé sur 3, « Délai entre les tentatives » sur 3 000 ms et « En cas d'erreur », l'option « Arrêter le workflow » sélectionnée

Avec ces paramètres, n8n envoie toujours une requête par enregistrement, par lots de 50, puis attend 5 secondes avant d'envoyer les 50 suivants.

n8n : plus de 5 000 entrées

Pour les ensembles de données plus volumineux, utilise notre workflow tout prêt. Il regroupe 50 enregistrements par requête et envoie ces groupes les uns après les autres ; ainsi, 10 000 enregistrements donnent lieu à 200 requêtes au lieu de 10 000.

Le workflow comporte quatre nœuds :

  1. Déclencheur Google Sheets lit ta feuille. Il vérifie s'il y a des modifications toutes les minutes.
  2. Itération sur les éléments divise les lignes en lots de 50.
  3. Code en JavaScript groupe chaque lot dans un seul corps de requête.
  4. Requête HTTP envoie le lot à Sendtric, réessaie en cas d'échec, puis revient à la boucle pour le lot suivant.

Configure-le

  1. Dans Sendtric, crée un source de données n8n et copie son point de terminaison webhook ainsi que sa clé API. Découvre comment envoyer des enregistrements depuis Zapier ou n8n.
  2. Copie le fichier JSON du workflow ci-dessous.
  3. Dans n8n, crée un nouveau workflow et colle le code JSON dans la zone de travail vide (ou enregistre-le sous forme de .json fichier et utilise l'option Importer depuis un fichier).
  4. Ouvrir Déclencheur Google Sheets, connecte-toi à ton compte Google, puis choisis ta feuille de calcul et ta feuille.
  5. Ouvrir Requête HTTP:
    • Remplace l' URL par ton point de terminaison webhook Sendtric n8n.
    • Dans l' Authorization en-tête, remplace YOUR_API_KEY par ta clé. Garde le mot Bearer et l'espace qui le précède.
  6. Lance le workflow une fois pour le tester, vérifie les enregistrements dans la source de données, sous onglet « Enregistrements » » de la source de données dans Sendtric, puis active le workflow.

Ta feuille doit comporter une colonne portant le même nom que le champ d'identifiant unique de la source de données, et qui doit être renseignée à chaque ligne.

Tu as besoin de données provenant d'une autre source que Google Sheets ? Remplace le déclencheur par n'importe quel nœud qui génère tes enregistrements, puis connecte-le à Boucle sur les éléments.

JSON de workflow

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

Vérifie le résultat

Les enregistrements sont généralement disponibles environ une minute après leur acceptation. Ouvre la source de données et utilise la fonction onglet « Enregistrements » pour rechercher quelques identifiants et vérifier que les valeurs semblent correctes.

Si une réponse signale des enregistrements ignorés, l' X-Skipped-Records en-tête indique leur nombre. Il s'agit généralement de lignes dont le champ d'identifiant est manquant, ou dont la valeur dépasse 10 Ko.

À lire aussi

Cet article t'a-t-il été utile ?

Clique sur l'image pour zoomer. Fais glisser ou défile pour te déplacer.