Źródła danych i API

Jak wysłać duże ilości danych do źródła danych

Ostatnia aktualizacja

Kiedy wysyłasz tysiące rekordów do źródła danych, pogrupuj je w partie i wysyłaj je jedna po drugiej. To szybsze niż wysyłanie osobnego żądania dla każdego rekordu, a przy tym pozwala utrzymać każde żądanie w ramach limitów Sendtric.

Dotyczy to API Sendtric oraz do Zapier oraz n8n źródła danych.

Ograniczenia

LimitWartość
Liczba rekordów na zapytanie10 000
Rozmiar żądania10 MB
Wartość identyfikatora255 znaków
Dowolna pojedyncza wartość tekstowa10 KB
Głębokość zagłębienia20 poziomów

Żądanie przekraczające limit rekordów lub rozmiaru jest odrzucane ze statusem 413, a żadna z zawartych w nim danych nie zostanie zapisana.

Dobre nawyki związane z przygotowywaniem porcji

  • Wysyłaj tablice, a nie pojedyncze rekordy. Jedno żądanie z 50 rekordami wykonuje tę samą pracę co 50 żądań, przy znacznie mniejszym obciążeniu.
  • Wysyłaj partie jedna po drugiej, a nie wszystkie naraz równolegle.
  • Zrób krótką przerwę między partiami gdy wysyłasz tysiące rekordów.
  • Ponów próbę w przypadku błędu 503 i błędów sieciowych. Odpowiedź 503 odpowiedź zawiera Retry-After nagłówek z liczbą sekund, przez które należy czekać. Następnie wyślij tę samą partię jeszcze raz.
  • Nie próbuj ponownie w przypadku kodów 400, 401, 404 lub 422 bez uprzedniego poprawienia żądania. Te kody oznaczają, że coś w żądaniu trzeba zmienić.

Ponowne wysłanie partii jest bezpieczne. Rekord z identyfikatorem, który już istnieje, zastępuje poprzedni, więc ponowna próba wysłania partii nigdy nie powoduje powstania duplikatów.

n8n: od 1 000 do 5 000 rekordów

W przypadku kilku tysięcy rekordów własne grupowanie żądań . Otwórz węzeł, który wysyła dane do Sendtric, i ustaw:

  1. W sekcji zakładce , w sekcji Opcje, kliknij Dodaj opcję i dodaj:
    • Partie: Liczba elementów w partii 50 oraz interwał partii (ms) 5000.
    • Przekroczenie limitu czasu: 30000.
  2. Na stronie Ustawienia :
    • Włącz Opcję „Ponów próbę po niepowodzeniu”.
    • Maks. liczba prób: 3.
    • Czas oczekiwania między próbami (ms): 3000.
    • W przypadku błędu: Zatrzymaj przepływ pracy.
Opcje węzła żądania HTTP n8n z liczbą elementów w partii ustawioną na 50, interwałem partii 5000 ms i limitem czasu 30000
Karta „Ustawienia” węzła „Żądanie HTTP” w n8n z włączoną opcją „Ponów po niepowodzeniu”, maksymalną liczbą prób ustawioną na 3, czasem oczekiwania między próbami wynoszącym 3000 ms oraz opcją „W przypadku błędu” ustawioną na „Zatrzymaj przepływ pracy”

Przy tych ustawieniach n8n nadal wysyła jedno żądanie na rekord, po 50 naraz, a potem czeka 5 sekund przed wysłaniem kolejnych 50.

n8n: ponad 5 000 wpisów

W przypadku większych zbiorów danych skorzystaj z naszego gotowego schematu działania. Grupuje on co 50 rekordów w jedno żądanie i wysyła te grupy jedno po drugim, dzięki czemu 10 000 rekordów zamienia się w 200 żądań zamiast 10 000.

Ten przepływ pracy składa się z czterech węzłów:

  1. Wyzwalacz w Arkuszach Google odczytuje twój arkusz. Co minutę sprawdza, czy pojawiły się zmiany.
  2. Pętla po elementach dzieli wiersze na partie po 50.
  3. Kod w JavaScript zamyka każdą partię w treści jednego żądania.
  4. Żądanie HTTP wysyła partię do Sendtric, próbuje ponownie, jeśli się nie uda, a potem wraca do pętli, żeby zająć się kolejną partią.

Skonfiguruj to

  1. W Sendtric utwórz n8n i skopiuj jego punkt końcowy webhooka oraz klucz API. Zobacz jak wysyłać rekordy z Zapiera lub n8n.
  2. Skopiuj poniższy plik JSON z przepływem pracy.
  3. W n8n utwórz nowy przepływ pracy i wklej kod JSON na pusty obszar roboczy (lub zapisz go jako .json plik i skorzystaj z opcji Importuj z pliku).
  4. Otwórz Wyzwalacz Arkuszy Google, połącz swoje konto Google, a potem wybierz arkusz kalkulacyjny i arkusz.
  5. Otwórz Żądanie HTTP:
    • Zastąp adres URL na swój punkt końcowy webhooka Sendtric n8n.
    • W Authorization nagłówku zamień YOUR_API_KEY na swój klucz. Zachowaj słowo Bearer i spację przed nim.
  6. Uruchom ten przepływ pracy raz, żeby go przetestować, i sprawdź rekordy w źródłach danych zakładce w Sendtric, a potem aktywuj ten przepływ pracy.

W arkuszu musi znaleźć się kolumna o tej samej nazwie co pole identyfikatora unikalnego źródła danych, wypełniona w każdym wierszu.

Potrzebujesz danych z innego źródła niż Arkusze Google? Zastąp wyzwalacz dowolnym węzłem, który generuje twoje rekordy, i podłącz go do Pętlę nad elementami.

JSON przepływu pracy

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

Sprawdź wynik

Rekordy są zazwyczaj dostępne w ciągu około minuty od ich przyjęcia. Otwórz źródło danych i użyj funkcji zakładki „Rekordy” , żeby wyszukać kilka identyfikatorów i sprawdzić, czy wartości są poprawne.

Jeśli w odpowiedzi pojawią się pominięte rekordy, to X-Skipped-Records w nagłówku podana jest ich liczba. Zazwyczaj są to wiersze bez pola identyfikatora albo takie, których wartość przekracza 10 KB.

Zobacz też

Czy ten artykuł był pomocny?

Kliknij obraz, aby go powiększyć. Przeciągnij lub przewiń, aby się rozejrzeć.