데이터 출처로 대량의 데이터를 전송하는 방법
마지막 업데이트
데이터 출처로 수천 건의 레코드를 전송할 때는 이를 배치 단위로 묶어 차례로 전송하세요. 이렇게 하면 레코드당 한 번씩 요청하는 것보다 속도가 빠를 뿐만 아니라, 모든 요청이 Sendtric의 제한 범위 내에 머물게 됩니다.
이는 다음의 경우에 적용됩니다. Sendtric API와 Zapier 및 n8n 데이터 출처에도 적용됩니다.
한계
| 한도 | 값 |
|---|---|
| 요청당 기록 수 | 10,000 |
| 요청 크기 | 10 MB |
| 식별자 값 | 255자 |
| 임의의 단일 텍스트 값 | 10 KB |
| 중첩 깊이 | 20단계 |
기록 또는 크기 제한을 초과하는 요청은 다음과 같은 상태 코드와 함께 거부되며 413로 거부되며, 해당 요청의 내용은 전혀 저장되지 않습니다.
올바른 배칭 습관
- 단일 레코드가 아닌 배열을 전송하세요. 레코드 50개를 포함하는 하나의 요청은 50개의 요청과 동일한 작업을 수행하며, 오버헤드는 훨씬 적습니다.
- 배치를 차례로 보내세요, 한 번에 모두 병렬로 처리하지 말고 차례대로 처리하십시오.
- 수천 건의 레코드를 전송할 때는 수천 건의 레코드를 전송할 때는
- 503 오류 및 네트워크 오류 발생 시 다시 시도하십시오. A
503응답에는Retry-After대기할 초 수를 나타내는 헤더가 포함됩니다. 그런 다음 동일한 배치를 다시 전송하십시오. - 요청을 먼저 수정하지 않은 상태에서 400, 401, 404 또는 422 오류에 대해 재시도하지 마십시오 요청 내용을 먼저 수정하지 않고는 재시도하지 마십시오. 이러한 오류 코드는 요청 내용 중 변경해야 할 부분이 있음을 의미합니다.
배치를 다시 전송해도 안전합니다. 이미 존재하는 식별자를 가진 레코드는 기존 레코드를 대체하므로, 재시도된 배치로 인해 중복 레코드가 생성되는 일은 절대 없습니다.
n8n: 1,000~5,000건의 레코드
수천 건의 레코드에 대해서는, HTTP 요청 노드 자체의 일괄 처리 기능만으로도 충분합니다. Sendtric으로 데이터를 전송하는 노드를 열고 다음을 설정하세요:
- [ '매개변수' 탭의 '옵션'에서 '옵션 추가'을 클릭한 다음 다음을 추가합니다:
- 배치: 배치당 항목 수
50및 배치 간격 (ms)5000. - 타임아웃:
30000.
- 배치: 배치당 항목 수
- [ 설정 탭에서:
- 켜기 실패 시 재시도.
- 최대 시도 횟수:
3. - 시도 간 대기 시간 (ms):
3000. - 오류 발생 시: 워크플로우 중지.


이러한 설정에서도 n8n은 여전히 레코드당 하나의 요청을 보내며, 한 번에 50개씩 전송한 후 다음 50개를 보내기 전까지 5초 동안 대기합니다.
n8n: 5,000개 이상의 레코드
데이터 세트가 큰 경우에는 당사가 미리 준비한 워크플로를 사용하세요. 이 워크플로는 50개 레코드마다 하나의 요청으로 묶어 차례로 전송하므로, 10,000개의 레코드를 처리할 때 10,000개의 요청 대신 200개의 요청만 발생합니다.
이 워크플로에는 네 개의 노드가 있습니다:
- Google 스프레드시트 트리거이 트리거는 스프레드시트의 내용을 읽습니다. 1분마다 변경 사항이 있는지 확인합니다.
- 항목 반복 처리 행들을 50개씩 묶어 처리합니다.
- 자바스크립트 코드 각 배치 데이터를 하나의 요청 본문으로 묶어줍니다.
- HTTP 요청 배치를 Sendtric으로 전송하고, 실패 시 재시도한 다음, 다음 배치를 처리하기 위해 루프로 다시 넘깁니다.
설정하기
- Sendtric에서 n8n 데이터 출처를 생성하고 해당 웹훅 엔드포인트와 API 키를 복사하세요. Zapier 또는 n8n에서 레코드를 전송하는 방법을 참조하세요.
- 아래의 워크플로우 JSON을 복사하세요.
- n8n에서 새 워크플로를 생성하고 빈 캔버스에 JSON을 붙여넣거나 (또는
.json파일로 저장한 후 '파일에서 가져오기'를 사용하세요). - 열기 Google 스프레드시트 트리거를 열고, Google 계정을 연결한 다음 스프레드시트와 시트를 선택하세요.
- 열기 HTTP 요청:
- 다음 내용을 URL을 Sendtric n8n 웹훅 엔드포인트로 교체하십시오.
- In the
Authorization헤더에서YOUR_API_KEY자신의 키로 교체하십시오.Bearer와 그 앞의 공백은 그대로 두십시오.
- 워크플로를 한 번 실행하여 테스트하고, 데이터 출처의 '레코드' 탭에서 레코드를 확인한 후, 워크플로를 활성화하십시오.
이 시트에는 데이터 출처의 고유 식별자 필드와 이름이 동일한 열이 있어야 하며, 이 열은 모든 행에 값이 채워져 있어야 합니다.
Google 스프레드시트 이외의 곳에서 데이터를 가져와야 하나요? 트리거를 레코드를 출력하는 임의의 노드로 교체하고, 이를 '항목 반복' 노드에 연결하세요.
워크플로우 JSON
{
"name": "Google Sheets to Sendtric data source",
"nodes": [
{
"parameters": {
"pollTimes": { "item": [{ "mode": "everyMinute" }] },
"documentId": { "__rl": true, "value": "", "mode": "list" },
"sheetName": { "__rl": true, "value": "", "mode": "list" },
"options": {}
},
"type": "n8n-nodes-base.googleSheetsTrigger",
"typeVersion": 1,
"position": [0, 16],
"id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
"name": "Google Sheets Trigger"
},
{
"parameters": {
"batchSize": 50,
"options": { "reset": false }
},
"type": "n8n-nodes-base.splitInBatches",
"typeVersion": 3,
"position": [240, 16],
"id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
"name": "Loop Over Items"
},
{
"parameters": {
"jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n json: {\n payload: batchItems\n }\n}];"
},
"type": "n8n-nodes-base.code",
"typeVersion": 2,
"position": [464, 16],
"id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
"name": "Code in JavaScript"
},
{
"parameters": {
"method": "POST",
"url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
"sendHeaders": true,
"headerParameters": {
"parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
},
"sendBody": true,
"specifyBody": "json",
"jsonBody": "={{ JSON.stringify($json) }}",
"options": {}
},
"type": "n8n-nodes-base.httpRequest",
"typeVersion": 4.5,
"position": [688, 0],
"id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
"name": "HTTP Request",
"retryOnFail": true,
"waitBetweenTries": 5000
}
],
"connections": {
"Google Sheets Trigger": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
},
"Loop Over Items": {
"main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
},
"Code in JavaScript": {
"main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
},
"HTTP Request": {
"main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
}
},
"settings": { "executionOrder": "v1" }
}결과를 확인하세요
레코드는 일반적으로 접수된 지 약 1분 이내에 확인할 수 있습니다. 데이터 출처를 열고 '레코드' 탭을 사용하여 몇 가지 식별자를 검색하고 값이 올바른지 확인하십시오.
응답에 누락된 레코드가 보고된 경우, X-Skipped-Records 헤더에 그 수가 표시됩니다. 대개 식별자 필드가 누락되었거나 값이 10KB를 초과하는 행들입니다.
관련 항목
이 글이 도움이 되었나요?
피드백을 보내주셔서 감사합니다!
