Джерела даних та API

Як надіслати великі обсяги даних до джерела даних

Останнє оновлення

Коли ви надсилаєте тисячі записів до джерела даних, об’єднайте їх у пакети та надсилайте ці пакети один за одним. Це швидше, ніж надсилати по одному запиту на кожен запис, і дозволяє утримувати кожен запит у межах обмежень Sendtric.

Це стосується API Sendtric та до Zapier та n8n джерела даних.

Межі

ОбмеженняЗначення
Кількість записів на один запит10 000
Розмір запиту10 МБ
Значення ідентифікатора255 символів
Будь-яке окреме текстове значення10 КБ
Глибина вкладання20 рівнів

Запит, що перевищує обмеження щодо кількості записів або розміру, відхиляється зі статусом 413, і жодна інформація з нього не зберігається.

Навички правильного дозування

  • Надсилайте масиви, а не окремі записи. Один запит із 50 записами виконує ту саму роботу, що й 50 запитів, при цьому навантаження значно менше.
  • Надсилайте партії по черзі, а не всі одразу паралельно.
  • Робіть невелику паузу між партіями під час надсилання тисяч записів.
  • Повторити спробу у разі помилки 503 та мережевих помилок. Відповідь 503 відповідь містить Retry-After заголовок із зазначенням кількості секунд очікування. Після цього надішліть той самий пакет даних ще раз.
  • Не слід повторювати спробу у разі кодів 400, 401, 404 або 422 без попереднього виправлення запиту. Ці коди означають, що щось у запиті потрібно змінити.

Повторне надсилання пакета є безпечним. Запис з ідентифікатором, який уже існує, замінює старий, тому при повторній спробі надсилання пакета дублікати ніколи не створюються.

n8n: від 1 000 до 5 000 записів

Для кількох тисяч записів власного пакетування вузла . Відкрийте вузол, який відправляє дані до Sendtric, і встановіть:

  1. На вкладці «Параметри» , у розділі Параметринатисніть Додати опцію та додайте:
    • Партія: Кількість одиниць у партії 50 та Інтервал між партіями (мс) 5000.
    • Тайм-аут: 30000.
  2. На Налаштування :
    • Увімкнути Повторити спробу у разі невдачі.
    • Макс. спроб: 3.
    • Перерва між спробами (мс): 3000.
    • У разі помилки: Зупинити робочий процес.
Параметри вузла HTTP-запиту n8n із значенням «Кількість елементів у пакеті» = 50, «Інтервал між пакетами» = 5000 мс та «Тайм-аут» = 30000
Вкладка «Налаштування» вузла HTTP-запиту n8n: увімкнено параметр «Повторити при невдачі», «Макс. кількість спроб» — 3, «Час очікування між спробами» — 3000 мс, а для параметра «При помилці» встановлено значення «Зупинити робочий процес»

З цими налаштуваннями n8n як і раніше надсилає один запит на кожен запис, по 50 за раз, а потім чекає 5 секунд перед надсиланням наступних 50.

n8n: понад 5 000 записів

Для великих наборів даних скористайтеся нашим готовим робочим процесом. Він об’єднує кожні 50 записів в один запит і надсилає ці групи по черзі, завдяки чому 10 000 записів перетворюються на 200 запитів замість 10 000.

Робочий процес складається з чотирьох вузлів:

  1. Тригер Google Таблиць зчитує вашу таблицю. Він перевіряє наявність змін щохвилини.
  2. Цикл по елементах розділяє рядки на групи по 50.
  3. Код на JavaScript об'єднує кожну партію в єдине тіло запиту.
  4. HTTP-запит надсилає пакет до Sendtric, у разі невдачі повторює спробу, а потім повертається до циклу для обробки наступного пакета.

Налаштуйте це

  1. У Sendtric створіть n8n джерело даних та скопіюйте його кінцеву точку вебхука та ключ API. Див. як надсилати записи з Zapier або n8n.
  2. Скопіюйте наведений нижче JSON-код робочого процесу.
  3. У n8n створіть новий робочий процес і вставте JSON-код на порожнє робоче поле (або збережіть його як .json файл і скористайтеся функцією Імпортувати з файлу).
  4. Відкрити Тригер Google Таблиць, підключіть свій обліковий запис Google, а потім виберіть свою електронну таблицю та аркуш.
  5. Відкрити HTTP-запит:
    • Замініть URL-адресу на ваш кінцевий пункт веб-хука Sendtric n8n.
    • У Authorization заголовку замініть YOUR_API_KEY на свій ключ. Залиште слово Bearer та пробіл перед ним.
  6. Запустіть робочий процес один раз, щоб його перевірити, і перегляньте записи у джерелах даних Записи » джерела даних у Sendtric, а потім активуйте робочий процес.

У вашому аркуші має бути стовпець із назвою, що збігається з назвою поля унікального ідентифікатора джерела даних, яке має бути заповнене в кожному рядку.

Потрібні дані з іншого джерела, а не з Google Sheets? Замініть тригер на будь-який вузол, який видає ваші записи, і підключіть його до Цикл по елементах.

JSON-файл робочого процесу

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

Перевірте результат

Записи зазвичай стають доступними приблизно через хвилину після їх прийняття. Відкрийте джерело даних і скористайтеся командою вкладку «Записи» , щоб знайти кілька ідентифікаторів і переконатися, що значення правильні.

Якщо у відповіді вказано пропущені записи, у X-Skipped-Records у заголовку вказано їхню кількість. Зазвичай це рядки, у яких відсутнє поле ідентифікатора або розмір яких перевищує 10 КБ.

Пов’язані

Чи була ця стаття корисною?

Натисніть на зображення, щоб збільшити. Перетягніть або прокрутіть, щоб переглянути.