डेटा स्रोत और एपीआई

डेटा स्रोत को बड़ी मात्रा में डेटा कैसे भेजें

अंतिम अपडेट

जब आप डेटा स्रोत को हजारों रिकॉर्ड भेजते हैं, तो उन्हें बैचों में बाँटें और एक के बाद एक बैच भेजें। यह प्रत्येक रिकॉर्ड के लिए एक अनुरोध भेजने से तेज़ है, और यह प्रत्येक अनुरोध को Sendtric की सीमाओं के भीतर रखता है।

यह लागू होता है Sendtric API और Zapier और n8n डेटा स्रोत.

सीमाएँ

सीमामूल्य
प्रत्येक अनुरोध पर रिकॉर्डदस,०००
आकार का अनुरोध10 एमबी
पहचानकर्ता मान255 अक्षर
कोई भी एकल पाठ मान10 किलोबाइट
घोंसले की गहराई20 स्तर

रिकॉर्ड या आकार सीमा से अधिक कोई भी अनुरोध स्थिति के साथ अस्वीकार कर दिया जाता है। 413, और इसमें कुछ भी सहेजा नहीं जाता।

अच्छी बैचिंग आदतें

  • एकल रिकॉर्ड नहीं, बल्कि ऐरे भेजें। 50 रिकॉर्ड वाले एक अनुरोध से 50 अनुरोधों जितना ही काम होता है, और यह बहुत कम ओवरहेड के साथ होता है।
  • बैचों को एक के बाद एक भेजें, एक के बाद एक बैच भेजें, न कि सभी को एक साथ समानांतर रूप से।
  • बैचों के बीच संक्षेप में विराम लें जब आप हजारों रिकॉर्ड भेज रहे हों।
  • 503 और नेटवर्क त्रुटियों पर पुनः प्रयास करें। एक 503 प्रतिक्रिया में एक शामिल है Retry-After प्रतिक्रिया में प्रतीक्षा करने के सेकंड की संख्या वाला एक हेडर शामिल होता है। फिर उसी बैच को फिर से भेजें।
  • 400, 401, 404 या 422 को दोबारा प्रयास न करें बिना पहले अनुरोध को ठीक किए 400, 401, 404 या 422 को फिर से प्रयास न करें। ये संकेत देते हैं कि अनुरोध में कुछ बदलने की आवश्यकता है।

बैच को पुनः भेजना सुरक्षित है। पहले से मौजूद पहचानकर्ता वाला रिकॉर्ड पुराने रिकॉर्ड की जगह ले लेता है, इसलिए पुनः प्रयास किया गया बैच कभी भी डुप्लिकेट नहीं बनाता।

एन8एन: 1,000 से 5,000 रिकॉर्ड

कुछ हज़ार रिकॉर्ड के लिए, HTTP अनुरोध नोड की अपनी बैचिंग पर्याप्त है। उस नोड को खोलें जो Sendtric को भेजता है और सेट करें:

  1. पर पैरामीटर टैब के अंतर्गत विकल्प, पर क्लिक करें विकल्प जोड़ें और जोड़ें:
    • बैचिंग: प्रति बैच आइटम 50 और बैच अंतराल (मिलीसेकंड) 5000.
    • समयसीमा समाप्त: 30000.
  2. पर सेटिंग्स टैब:
    • चालू करें विफलता पर पुनः प्रयास करें.
    • अधिकतम प्रयास: 3.
    • प्रयासों के बीच प्रतीक्षा (मिलीसेकंड): 3000.
    • त्रुटि पर: कार्यप्रवाह रोकें.
n8n HTTP रिक्वेस्ट नोड विकल्प, बैच प्रति आइटम 50, बैच अंतराल 5000 मिलीसेकंड और टाइमआउट 30000
n8n HTTP Request नोड सेटिंग्स टैब में Retry On Fail चालू, अधिकतम प्रयास 3, प्रयासों के बीच प्रतीक्षा 3000 ms और On Error को Stop Workflow पर सेट करें।

इन सेटिंग्स के साथ n8n अभी भी प्रति रिकॉर्ड एक अनुरोध भेजता है, एक बार में 50, फिर अगले 50 के लिए 5 सेकंड प्रतीक्षा करता है।

एन8एन: 5,000 से अधिक रिकॉर्ड

बड़े डेटा सेट के लिए, हमारे तैयार वर्कफ़्लो का उपयोग करें। यह प्रत्येक 50 रिकॉर्ड को एक अनुरोध में समूहित करता है और समूहों को एक के बाद एक भेजता है, जिससे 10,000 रिकॉर्ड 10,000 अनुरोधों के बजाय 200 अनुरोध बन जाते हैं।

कार्यप्रवाह में चार नोड्स हैं:

  1. गूगल शीट्स ट्रिगर आपकी शीट को पढ़ता है। यह हर मिनट बदलावों की जाँच करता है।
  2. आइटम्स पर लूप करें पंक्तियों को 50 के बैचों में विभाजित करता है।
  3. जावास्क्रिप्ट में कोड प्रत्येक बैच को एक ही अनुरोध बॉडी में लपेटता है।
  4. HTTP अनुरोध बैच को Sendtric को भेजता है, असफल होने पर पुनः प्रयास करता है, फिर अगले बैच के लिए लूप को वापस कर देता है।

इसे सेट करें

  1. Sendtric में एक बनाएँ n8n डेटा स्रोत बनाएँ और इसका वेबहुक एंडपॉइंट और API कुंजी कॉपी करें। देखें Zapier या n8n से रिकॉर्ड कैसे भेजें.
  2. नीचे दिए गए वर्कफ़्लो JSON को कॉपी करें।
  3. n8n में, एक नया वर्कफ़्लो बनाएँ और JSON को खाली कैनवास पर पेस्ट करें (या इसे एक के रूप में सहेजें .json फ़ाइल के रूप में सहेजें और उपयोग करें फ़ाइल से आयात करें) विकल्प का उपयोग करें।).
  4. खोलें Google Sheets ट्रिगर, अपना Google खाता कनेक्ट करें, फिर अपनी स्प्रेडशीट और शीट चुनें।
  5. खोलें HTTP अनुरोध:
    • की जगह लें यूआरएल अपने Sendtric n8n वेबहुक एंडपॉइंट के साथ बदलें।
    • में Authorization शीर्षक, बदलें YOUR_API_KEY अपने की से बदलें। शब्द को रखें Bearer और उसके पहले की खाली जगह को बनाए रखें।
  6. इसे परीक्षण करने के लिए वर्कफ़्लो को एक बार चलाएँ, डेटा स्रोत के रिकॉर्ड्स की जाँच करें। रिकॉर्ड्स टैब में रिकॉर्ड्स की जाँच करें, फिर वर्कफ़्लो सक्रिय करें।

आपकी शीट में एक कॉलम होना चाहिए जिसका नाम डेटा स्रोत के अद्वितीय पहचानकर्ता फ़ील्ड के नाम के समान हो, और जिसे हर पंक्ति में भरा जाना चाहिए।

क्या आपको Google Sheets के अलावा किसी अन्य स्रोत से डेटा चाहिए? ट्रिगर को अपने रिकॉर्ड आउटपुट करने वाले किसी भी नोड से बदलें, और उसे से कनेक्ट करें आइटम्स पर लूप करें.

कार्यप्रवाह JSON

{
  "name": "Google Sheets to Sendtric data source",
  "nodes": [
    {
      "parameters": {
        "pollTimes": { "item": [{ "mode": "everyMinute" }] },
        "documentId": { "__rl": true, "value": "", "mode": "list" },
        "sheetName": { "__rl": true, "value": "", "mode": "list" },
        "options": {}
      },
      "type": "n8n-nodes-base.googleSheetsTrigger",
      "typeVersion": 1,
      "position": [0, 16],
      "id": "e8a0600f-7814-44c9-9960-22b9eb6dc708",
      "name": "Google Sheets Trigger"
    },
    {
      "parameters": {
        "batchSize": 50,
        "options": { "reset": false }
      },
      "type": "n8n-nodes-base.splitInBatches",
      "typeVersion": 3,
      "position": [240, 16],
      "id": "05d065b5-a82b-49ea-8f0b-bd5e3116c694",
      "name": "Loop Over Items"
    },
    {
      "parameters": {
        "jsCode": "// Collect every record in this batch\nconst batchItems = $input.all().map(item => item.json);\n\n// Send the batch as one request body\nreturn [{\n  json: {\n    payload: batchItems\n  }\n}];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [464, 16],
      "id": "1c93cf1d-6636-4d30-b732-df749cbcb9bc",
      "name": "Code in JavaScript"
    },
    {
      "parameters": {
        "method": "POST",
        "url": "PASTE_YOUR_SENDTRIC_N8N_WEBHOOK_ENDPOINT",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [{ "name": "Authorization", "value": "Bearer YOUR_API_KEY" }]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.5,
      "position": [688, 0],
      "id": "26a6141b-faa8-457c-927f-6ab5ef94a6ec",
      "name": "HTTP Request",
      "retryOnFail": true,
      "waitBetweenTries": 5000
    }
  ],
  "connections": {
    "Google Sheets Trigger": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    },
    "Loop Over Items": {
      "main": [[], [{ "node": "Code in JavaScript", "type": "main", "index": 0 }]]
    },
    "Code in JavaScript": {
      "main": [[{ "node": "HTTP Request", "type": "main", "index": 0 }]]
    },
    "HTTP Request": {
      "main": [[{ "node": "Loop Over Items", "type": "main", "index": 0 }]]
    }
  },
  "settings": { "executionOrder": "v1" }
}

परिणाम देखें

रिकॉर्ड्स आमतौर पर स्वीकृत होने के लगभग एक मिनट के भीतर उपलब्ध हो जाते हैं। डेटा स्रोत खोलें और का उपयोग करें रिकॉर्ड्स टैब का उपयोग करके कुछ पहचानकर्ताओं को खोजें और पुष्टि करें कि मान सही दिख रहे हैं।

यदि कोई प्रतिक्रिया छोड़े गए रिकॉर्ड्स की रिपोर्ट करती है, तो X-Skipped-Records हेडर बताता है कि कितने रिकॉर्ड हैं। ये आमतौर पर वे पंक्तियाँ होती हैं जिनमें पहचान क्षेत्र नहीं होता, या जिनका मान 10 KB से अधिक होता है।

संबंधित

क्या यह लेख उपयोगी रहा?

ज़ूम करने के लिए छवि पर क्लिक करें। आसपास देखने के लिए खींचें या स्क्रॉल करें।