Jak wysłać duże ilości danych do źródła danych
Ostatnia aktualizacja
Kiedy wysyłasz tysiące rekordów do źródła danych, pogrupuj je w partie i wysyłaj je jedna po drugiej. To szybsze niż wysyłanie osobnego żądania dla każdego rekordu, a przy tym pozwala utrzymać każde żądanie w ramach limitów Sendtric.
Dotyczy to API Sendtric oraz do Zapier oraz n8n źródła danych.
Ograniczenia
| Limit | Wartość |
|---|---|
| Liczba rekordów na zapytanie | 10 000 |
| Rozmiar żądania | 10 MB |
| Wartość identyfikatora | 255 znaków |
| Dowolna pojedyncza wartość tekstowa | 10 KB |
| Głębokość zagłębienia | 20 poziomów |
Żądanie przekraczające limit rekordów lub rozmiaru jest odrzucane ze statusem 413, a żadna z zawartych w nim danych nie zostanie zapisana.
Dobre nawyki związane z przygotowywaniem porcji
- Wysyłaj tablice, a nie pojedyncze rekordy. Jedno żądanie z 50 rekordami wykonuje tę samą pracę co 50 żądań, przy znacznie mniejszym obciążeniu.
- Wysyłaj partie jedna po drugiej, a nie wszystkie naraz równolegle.
- Zrób krótką przerwę między partiami gdy wysyłasz tysiące rekordów.
- Ponów próbę w przypadku błędu 503 i błędów sieciowych. Odpowiedź
503odpowiedź zawieraRetry-Afternagłówek z liczbą sekund, przez które należy czekać. Następnie wyślij tę samą partię jeszcze raz. - Nie próbuj ponownie w przypadku kodów 400, 401, 404 lub 422 bez uprzedniego poprawienia żądania. Te kody oznaczają, że coś w żądaniu trzeba zmienić.
Ponowne wysłanie partii jest bezpieczne. Rekord z identyfikatorem, który już istnieje, zastępuje poprzedni, więc ponowna próba wysłania partii nigdy nie powoduje powstania duplikatów.
n8n: od 1 000 do 5 000 rekordów
W przypadku kilku tysięcy rekordów własne grupowanie żądań . Otwórz węzeł, który wysyła dane do Sendtric, i ustaw:
- W sekcji zakładce , w sekcji Opcje, kliknij Dodaj opcję i dodaj:
- Partie: Liczba elementów w partii
50oraz interwał partii (ms)5000. - Przekroczenie limitu czasu:
30000.
- Partie: Liczba elementów w partii
- Na stronie Ustawienia :
- Włącz Opcję „Ponów próbę po niepowodzeniu”.
- Maks. liczba prób:
3. - Czas oczekiwania między próbami (ms):
3000. - W przypadku błędu: Zatrzymaj przepływ pracy.


Przy tych ustawieniach n8n nadal wysyła jedno żądanie na rekord, po 50 naraz, a potem czeka 5 sekund przed wysłaniem kolejnych 50.
n8n: ponad 5 000 wpisów
W przypadku większych zbiorów danych skorzystaj z naszego gotowego schematu działania. Grupuje on co 50 rekordów w jedno żądanie i wysyła te grupy jedno po drugim, dzięki czemu 10 000 rekordów zamienia się w 200 żądań zamiast 10 000.
Ten przepływ pracy składa się z czterech węzłów:
- Wyzwalacz w Arkuszach Google odczytuje twój arkusz. Co minutę sprawdza, czy pojawiły się zmiany.
- Pętla po elementach dzieli wiersze na partie po 50.
- Kod w JavaScript zamyka każdą partię w treści jednego żądania.
- Żądanie HTTP wysyła partię do Sendtric, próbuje ponownie, jeśli się nie uda, a potem wraca do pętli, żeby zająć się kolejną partią.
Skonfiguruj to
- W Sendtric utwórz n8n i skopiuj jego punkt końcowy webhooka oraz klucz API. Zobacz jak wysyłać rekordy z Zapiera lub n8n.
- Skopiuj poniższy plik JSON z przepływem pracy.
- W n8n utwórz nowy przepływ pracy i wklej kod JSON na pusty obszar roboczy (lub zapisz go jako
.jsonplik i skorzystaj z opcji Importuj z pliku). - Otwórz Wyzwalacz Arkuszy Google, połącz swoje konto Google, a potem wybierz arkusz kalkulacyjny i arkusz.
- Otwórz Żądanie HTTP:
- Zastąp adres URL na swój punkt końcowy webhooka Sendtric n8n.
- W
Authorizationnagłówku zamieńYOUR_API_KEYna swój klucz. Zachowaj słowoBeareri spację przed nim.
- Uruchom ten przepływ pracy raz, żeby go przetestować, i sprawdź rekordy w źródłach danych zakładce w Sendtric, a potem aktywuj ten przepływ pracy.
W arkuszu musi znaleźć się kolumna o tej samej nazwie co pole identyfikatora unikalnego źródła danych, wypełniona w każdym wierszu.
Potrzebujesz danych z innego źródła niż Arkusze Google? Zastąp wyzwalacz dowolnym węzłem, który generuje twoje rekordy, i podłącz go do Pętlę nad elementami.
JSON przepływu pracy
{
"name": "Google Sheets to Sendtric data source",
"nodes": [
{
"parameters": {
"pollTimes": { "item": [{ "mode": "everyMinute" }] },
"documentId": { "__rl": true, "value": "", "mode": "list" },
"sheetName": { "__rl": true, "value": "", "mode": "list" },
"options": {}
},
"type": "n8n-nodes-base.googleSheetsTrigger",
"typeVersion": 1,
"position": [0, 16],
"id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
"name": "Google Sheets Trigger"
},
{
"parameters": {
"batchSize": 50,
"options": { "reset": false }
},
"type": "n8n-nodes-base.splitInBatches",
"typeVersion": 3,
"position": [240, 16],
"id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
"name": "Loop Over Items"
},
{
"parameters": {
"jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n json: {\n payload: batchItems\n }\n}];"
},
"type": "n8n-nodes-base.code",
"typeVersion": 2,
"position": [464, 16],
"id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
"name": "Code in JavaScript"
},
{
"parameters": {
"method": "POST",
"url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
"sendHeaders": true,
"headerParameters": {
"parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
},
"sendBody": true,
"specifyBody": "json",
"jsonBody": "={{ JSON.stringify($json) }}",
"options": {}
},
"type": "n8n-nodes-base.httpRequest",
"typeVersion": 4.5,
"position": [688, 0],
"id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
"name": "HTTP Request",
"retryOnFail": true,
"waitBetweenTries": 5000
}
],
"connections": {
"Google Sheets Trigger": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
},
"Loop Over Items": {
"main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
},
"Code in JavaScript": {
"main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
},
"HTTP Request": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
}
},
"settings": { "executionOrder": "v1" }
}Sprawdź wynik
Rekordy są zazwyczaj dostępne w ciągu około minuty od ich przyjęcia. Otwórz źródło danych i użyj funkcji zakładki „Rekordy” , żeby wyszukać kilka identyfikatorów i sprawdzić, czy wartości są poprawne.
Jeśli w odpowiedzi pojawią się pominięte rekordy, to X-Skipped-Records w nagłówku podana jest ich liczba. Zazwyczaj są to wiersze bez pola identyfikatora albo takie, których wartość przekracza 10 KB.
Zobacz też
- Czym są źródła danych i jak działają?
- Jak wysłać rekordy do źródła danych za pomocą API Sendtric
- Jak zarządzać źródłem danych, edytować je i usuwać
Czy ten artykuł był pomocny?
Dziękujemy za opinię!
