데이터 출처 및 API

데이터 출처로 대량의 데이터를 전송하는 방법

마지막 업데이트

데이터 출처로 수천 건의 레코드를 전송할 때는 이를 배치 단위로 묶어 차례로 전송하세요. 이렇게 하면 레코드당 한 번씩 요청하는 것보다 속도가 빠를 뿐만 아니라, 모든 요청이 Sendtric의 제한 범위 내에 머물게 됩니다.

이는 다음의 경우에 적용됩니다. Sendtric API와 Zapier 및 n8n 데이터 출처에도 적용됩니다.

한계

한도값
요청당 기록 수10,000
요청 크기10 MB
식별자 값255자
임의의 단일 텍스트 값10 KB
중첩 깊이20단계

기록 또는 크기 제한을 초과하는 요청은 다음과 같은 상태 코드와 함께 거부되며 413로 거부되며, 해당 요청의 내용은 전혀 저장되지 않습니다.

올바른 배칭 습관

  • 단일 레코드가 아닌 배열을 전송하세요. 레코드 50개를 포함하는 하나의 요청은 50개의 요청과 동일한 작업을 수행하며, 오버헤드는 훨씬 적습니다.
  • 배치를 차례로 보내세요, 한 번에 모두 병렬로 처리하지 말고 차례대로 처리하십시오.
  • 수천 건의 레코드를 전송할 때는 수천 건의 레코드를 전송할 때는
  • 503 오류 및 네트워크 오류 발생 시 다시 시도하십시오. A 503 응답에는 Retry-After 대기할 초 수를 나타내는 헤더가 포함됩니다. 그런 다음 동일한 배치를 다시 전송하십시오.
  • 요청을 먼저 수정하지 않은 상태에서 400, 401, 404 또는 422 오류에 대해 재시도하지 마십시오 요청 내용을 먼저 수정하지 않고는 재시도하지 마십시오. 이러한 오류 코드는 요청 내용 중 변경해야 할 부분이 있음을 의미합니다.

배치를 다시 전송해도 안전합니다. 이미 존재하는 식별자를 가진 레코드는 기존 레코드를 대체하므로, 재시도된 배치로 인해 중복 레코드가 생성되는 일은 절대 없습니다.

n8n: 1,000~5,000건의 레코드

수천 건의 레코드에 대해서는, HTTP 요청 노드 자체의 일괄 처리 기능만으로도 충분합니다. Sendtric으로 데이터를 전송하는 노드를 열고 다음을 설정하세요:

  1. [ '매개변수' 탭의 '옵션'에서 '옵션 추가'을 클릭한 다음 다음을 추가합니다:
    • 배치: 배치당 항목 수 50 및 배치 간격 (ms) 5000.
    • 타임아웃: 30000.
  2. [ 설정 탭에서:
    • 켜기 실패 시 재시도.
    • 최대 시도 횟수: 3.
    • 시도 간 대기 시간 (ms): 3000.
    • 오류 발생 시: 워크플로우 중지.
n8n HTTP 요청 노드 옵션: 배치당 항목 수 50, 배치 간격 5000 ms, 타임아웃 30000
n8n HTTP 요청 노드의 ‘설정’ 탭에서 ‘실패 시 재시도’가 켜져 있고, ‘최대 시도 횟수’가 3회, ‘시도 간 대기 시간’이 3000 ms이며, ‘오류 발생 시’가 ‘워크플로 중지’로 설정되어 있습니다.

이러한 설정에서도 n8n은 여전히 레코드당 하나의 요청을 보내며, 한 번에 50개씩 전송한 후 다음 50개를 보내기 전까지 5초 동안 대기합니다.

n8n: 5,000개 이상의 레코드

데이터 세트가 큰 경우에는 당사가 미리 준비한 워크플로를 사용하세요. 이 워크플로는 50개 레코드마다 하나의 요청으로 묶어 차례로 전송하므로, 10,000개의 레코드를 처리할 때 10,000개의 요청 대신 200개의 요청만 발생합니다.

이 워크플로에는 네 개의 노드가 있습니다:

  1. Google 스프레드시트 트리거이 트리거는 스프레드시트의 내용을 읽습니다. 1분마다 변경 사항이 있는지 확인합니다.
  2. 항목 반복 처리 행들을 50개씩 묶어 처리합니다.
  3. 자바스크립트 코드 각 배치 데이터를 하나의 요청 본문으로 묶어줍니다.
  4. HTTP 요청 배치를 Sendtric으로 전송하고, 실패 시 재시도한 다음, 다음 배치를 처리하기 위해 루프로 다시 넘깁니다.

설정하기

  1. Sendtric에서 n8n 데이터 출처를 생성하고 해당 웹훅 엔드포인트와 API 키를 복사하세요. Zapier 또는 n8n에서 레코드를 전송하는 방법을 참조하세요.
  2. 아래의 워크플로우 JSON을 복사하세요.
  3. n8n에서 새 워크플로를 생성하고 빈 캔버스에 JSON을 붙여넣거나 (또는 .json 파일로 저장한 후 '파일에서 가져오기'를 사용하세요).
  4. 열기 Google 스프레드시트 트리거를 열고, Google 계정을 연결한 다음 스프레드시트와 시트를 선택하세요.
  5. 열기 HTTP 요청:
    • 다음 내용을 URL을 Sendtric n8n 웹훅 엔드포인트로 교체하십시오.
    • In the Authorization 헤더에서 YOUR_API_KEY 자신의 키로 교체하십시오. Bearer와 그 앞의 공백은 그대로 두십시오.
  6. 워크플로를 한 번 실행하여 테스트하고, 데이터 출처의 '레코드' 탭에서 레코드를 확인한 후, 워크플로를 활성화하십시오.

이 시트에는 데이터 출처의 고유 식별자 필드와 이름이 동일한 열이 있어야 하며, 이 열은 모든 행에 값이 채워져 있어야 합니다.

Google 스프레드시트 이외의 곳에서 데이터를 가져와야 하나요? 트리거를 레코드를 출력하는 임의의 노드로 교체하고, 이를 '항목 반복' 노드에 연결하세요.

워크플로우 JSON

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

결과를 확인하세요

레코드는 일반적으로 접수된 지 약 1분 이내에 확인할 수 있습니다. 데이터 출처를 열고 '레코드' 탭을 사용하여 몇 가지 식별자를 검색하고 값이 올바른지 확인하십시오.

응답에 누락된 레코드가 보고된 경우, X-Skipped-Records 헤더에 그 수가 표시됩니다. 대개 식별자 필드가 누락되었거나 값이 10KB를 초과하는 행들입니다.

관련 항목

이 글이 도움이 되었나요?

이미지를 클릭하면 확대됩니다. 드래그하거나 스크롤해 둘러보세요.