Як надіслати великі обсяги даних до джерела даних
Останнє оновлення
Коли ви надсилаєте тисячі записів до джерела даних, об’єднайте їх у пакети та надсилайте ці пакети один за одним. Це швидше, ніж надсилати по одному запиту на кожен запис, і дозволяє утримувати кожен запит у межах обмежень Sendtric.
Це стосується API Sendtric та до Zapier та n8n джерела даних.
Межі
| Обмеження | Значення |
|---|---|
| Кількість записів на один запит | 10 000 |
| Розмір запиту | 10 МБ |
| Значення ідентифікатора | 255 символів |
| Будь-яке окреме текстове значення | 10 КБ |
| Глибина вкладання | 20 рівнів |
Запит, що перевищує обмеження щодо кількості записів або розміру, відхиляється зі статусом 413, і жодна інформація з нього не зберігається.
Навички правильного дозування
- Надсилайте масиви, а не окремі записи. Один запит із 50 записами виконує ту саму роботу, що й 50 запитів, при цьому навантаження значно менше.
- Надсилайте партії по черзі, а не всі одразу паралельно.
- Робіть невелику паузу між партіями під час надсилання тисяч записів.
- Повторити спробу у разі помилки 503 та мережевих помилок. Відповідь
503відповідь міститьRetry-Afterзаголовок із зазначенням кількості секунд очікування. Після цього надішліть той самий пакет даних ще раз. - Не слід повторювати спробу у разі кодів 400, 401, 404 або 422 без попереднього виправлення запиту. Ці коди означають, що щось у запиті потрібно змінити.
Повторне надсилання пакета є безпечним. Запис з ідентифікатором, який уже існує, замінює старий, тому при повторній спробі надсилання пакета дублікати ніколи не створюються.
n8n: від 1 000 до 5 000 записів
Для кількох тисяч записів власного пакетування вузла . Відкрийте вузол, який відправляє дані до Sendtric, і встановіть:
- На вкладці «Параметри» , у розділі Параметринатисніть Додати опцію та додайте:
- Партія: Кількість одиниць у партії
50та Інтервал між партіями (мс)5000. - Тайм-аут:
30000.
- Партія: Кількість одиниць у партії
- На Налаштування :
- Увімкнути Повторити спробу у разі невдачі.
- Макс. спроб:
3. - Перерва між спробами (мс):
3000. - У разі помилки: Зупинити робочий процес.


З цими налаштуваннями n8n як і раніше надсилає один запит на кожен запис, по 50 за раз, а потім чекає 5 секунд перед надсиланням наступних 50.
n8n: понад 5 000 записів
Для великих наборів даних скористайтеся нашим готовим робочим процесом. Він об’єднує кожні 50 записів в один запит і надсилає ці групи по черзі, завдяки чому 10 000 записів перетворюються на 200 запитів замість 10 000.
Робочий процес складається з чотирьох вузлів:
- Тригер Google Таблиць зчитує вашу таблицю. Він перевіряє наявність змін щохвилини.
- Цикл по елементах розділяє рядки на групи по 50.
- Код на JavaScript об'єднує кожну партію в єдине тіло запиту.
- HTTP-запит надсилає пакет до Sendtric, у разі невдачі повторює спробу, а потім повертається до циклу для обробки наступного пакета.
Налаштуйте це
- У Sendtric створіть n8n джерело даних та скопіюйте його кінцеву точку вебхука та ключ API. Див. як надсилати записи з Zapier або n8n.
- Скопіюйте наведений нижче JSON-код робочого процесу.
- У n8n створіть новий робочий процес і вставте JSON-код на порожнє робоче поле (або збережіть його як
.jsonфайл і скористайтеся функцією Імпортувати з файлу). - Відкрити Тригер Google Таблиць, підключіть свій обліковий запис Google, а потім виберіть свою електронну таблицю та аркуш.
- Відкрити HTTP-запит:
- Замініть URL-адресу на ваш кінцевий пункт веб-хука Sendtric n8n.
- У
Authorizationзаголовку замінітьYOUR_API_KEYна свій ключ. Залиште словоBearerта пробіл перед ним.
- Запустіть робочий процес один раз, щоб його перевірити, і перегляньте записи у джерелах даних Записи » джерела даних у Sendtric, а потім активуйте робочий процес.
У вашому аркуші має бути стовпець із назвою, що збігається з назвою поля унікального ідентифікатора джерела даних, яке має бути заповнене в кожному рядку.
Потрібні дані з іншого джерела, а не з Google Sheets? Замініть тригер на будь-який вузол, який видає ваші записи, і підключіть його до Цикл по елементах.
JSON-файл робочого процесу
{
"name": "Google Sheets to Sendtric data source",
"nodes": [
{
"parameters": {
"pollTimes": { "item": [{ "mode": "everyMinute" }] },
"documentId": { "__rl": true, "value": "", "mode": "list" },
"sheetName": { "__rl": true, "value": "", "mode": "list" },
"options": {}
},
"type": "n8n-nodes-base.googleSheetsTrigger",
"typeVersion": 1,
"position": [0, 16],
"id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
"name": "Google Sheets Trigger"
},
{
"parameters": {
"batchSize": 50,
"options": { "reset": false }
},
"type": "n8n-nodes-base.splitInBatches",
"typeVersion": 3,
"position": [240, 16],
"id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
"name": "Loop Over Items"
},
{
"parameters": {
"jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n json: {\n payload: batchItems\n }\n}];"
},
"type": "n8n-nodes-base.code",
"typeVersion": 2,
"position": [464, 16],
"id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
"name": "Code in JavaScript"
},
{
"parameters": {
"method": "POST",
"url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
"sendHeaders": true,
"headerParameters": {
"parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
},
"sendBody": true,
"specifyBody": "json",
"jsonBody": "={{ JSON.stringify($json) }}",
"options": {}
},
"type": "n8n-nodes-base.httpRequest",
"typeVersion": 4.5,
"position": [688, 0],
"id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
"name": "HTTP Request",
"retryOnFail": true,
"waitBetweenTries": 5000
}
],
"connections": {
"Google Sheets Trigger": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
},
"Loop Over Items": {
"main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
},
"Code in JavaScript": {
"main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
},
"HTTP Request": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
}
},
"settings": { "executionOrder": "v1" }
}Перевірте результат
Записи зазвичай стають доступними приблизно через хвилину після їх прийняття. Відкрийте джерело даних і скористайтеся командою вкладку «Записи» , щоб знайти кілька ідентифікаторів і переконатися, що значення правильні.
Якщо у відповіді вказано пропущені записи, у X-Skipped-Records у заголовку вказано їхню кількість. Зазвичай це рядки, у яких відсутнє поле ідентифікатора або розмір яких перевищує 10 КБ.
Пов’язані
- Що таке джерела даних і як вони працюють?
- Як надсилати записи до джерела даних за допомогою API Sendtric
- Як керувати джерелом даних, редагувати його та видаляти
Чи була ця стаття корисною?
Дякуємо за відгук!
