Shopify स्क्रैपर गाइड: कोड के साथ और बिना कोड के दो तरीके

4.8 मिलियन से अधिक स्टोर्स के साथ, Shopify एक अग्रणी ई-कॉमर्स प्लेटफॉर्म के रूप में खड़ा है। हाल के वर्षों में Shopify के राजस्व ने पिछले रिकॉर्ड तोड़ दिए हैं, जो सालाना 7.06 बिलियन डॉलर को पार कर गया है, Shopify के 2023 के वित्तीय परिणाम.

इन आंकड़ों को देखते हुए, प्लेटफ़ॉर्म का व्यापक ई-कॉमर्स डेटा अमूल्य हो जाता है। यह डेटा व्यवसायों और संबद्ध विपणक के लिए आगे रहने, बाज़ार के रुझानों पर नज़र रखने, या अपने उत्पादों को बेहतर बनाने की अपार संभावनाएँ रखता है।

आम धारणा के विपरीत, इस डेटा तक पहुँचने के लिए व्यापक कोडिंग कौशल की आवश्यकता नहीं होती है।

इस ब्लॉग में, हम आपको शुरुआती लोगों के लिए उपयुक्त नो-कोड Shopify स्क्रैपर का उपयोग करने के तरीके के बारे में मार्गदर्शन करेंगे, साथ ही प्रोग्रामिंग पृष्ठभूमि वाले लोगों के लिए पायथन Shopify स्क्रैपर कैसे विकसित करें, इसके बारे में भी बताएंगे।

आइए जानें कि आप Shopify डेटा का अपने फ़ायदे के लिए कैसे फ़ायदा उठा सकते हैं।

क्या आप Shopify को स्क्रैप कर सकते हैं?

इसके अनुसारShopify की सेवा की शर्तें, “आप किसी भी रोबोट, स्पाइडर, स्क्रैपर, या अन्य स्वचालित साधनों का उपयोग करके सेवाओं तक पहुँचने या सेवाओं से किसी भी सामग्री या जानकारी की निगरानी नहीं करने के लिए सहमत हैं।”

यह खंड खाता शर्तें अनुभाग के अंतर्गत आता है, और सभी Shopify उपयोगकर्ता खाता बनाते समय इससे सहमत होते हैं।

इसलिए, यदि आपके पास Shopify खाता है, तो स्क्रैपिंग गतिविधियों के लिए इसका उपयोग करने से बचना अनिवार्य है। यह नियमित Shopify उपयोगकर्ताओं और व्यावसायिक खाताधारकों, दोनों पर लागू होता है।

प्लेटफ़ॉर्म डेटा निकालने के लिए Shopify स्क्रैपर का इस्तेमाल करने से सिस्टम द्वारा पता लगने और अकाउंट सस्पेंड होने का खतरा रहता है।

यह Shopify API ToS भी अनुमति से अधिक डेटा एकत्र करने के लिए API के उपयोग को प्रतिबंधित करता है, इसलिए यदि आप Shopify को स्क्रैप करने के लिए इसका उपयोग करने की उम्मीद कर रहे थे, तो आप भाग्य से बाहर हैं।

तो, दो बातें साफ़ हैं। अपने Shopify खाते से लॉग इन करते समय किसी भी बाहरी Shopify स्क्रैपर टूल या स्क्रिप्ट का इस्तेमाल न करें, और Shopify स्क्रैपर के रूप में आधिकारिक API का इस्तेमाल न करें।

तो फिर आप Shopify को कैसे स्क्रैप कर सकते हैं? चिंता न करें। ये सीमाएँ निजी डेटा स्क्रैप करने के लिए हैं। आप अभी भी साइट पर Shopify स्क्रैपर चला सकते हैं।

बस सुनिश्चित करें कि आप केवल सार्वजनिक रूप से उपलब्ध डेटा को स्क्रैप करें। आपको यह भी सुनिश्चित करना चाहिए कि Shopify डेटा निर्यात का उपयोग दोहराव उद्देश्यों के लिए न करें, क्योंकि इसे हटाया जा सकता है, जैसे कि यह मामला.

यह एक अनौपचारिक वैश्विक सहमति है कि किसी भी प्लेटफ़ॉर्म से सार्वजनिक रूप से उपलब्ध डेटा को नैतिक उपयोग के लिए स्क्रैप करने की अनुमति है।

Shopify स्क्रैपर: दो अलग-अलग तरीके

इसी बात पर, चलिए Shopify स्क्रैपिंग तकनीकों की ओर बढ़ते हैं।

बिना कोड वाला Shopify स्क्रैपर

वे दिन गए जब स्क्रैपिंग सिर्फ़ कोडर का काम हुआ करता था। आजकल, बाज़ार में कई नो-कोड समाधान उपलब्ध हैं जो स्क्रैपिंग को बेहद आसान बना देते हैं।

इन टूल्स में, ParseHub, Apify का Shopify Scraper और Shopify Product Scraper बाज़ार में अग्रणी हैं।

इस गाइड में, हम आपको ParseHub का उपयोग करके एक Shopify उत्पाद स्क्रैपर बनाने की प्रक्रिया में मार्गदर्शन करेंगे। चलिए शुरू करते हैं।

चरण 1: डाउनलोड करें और खाता बनाएँ

आगे बढ़ेंParseHub पर जाएं, अपने ऑपरेटिंग सिस्टम के लिए सेटअप फ़ाइल डाउनलोड करें और सॉफ़्टवेयर इंस्टॉल करें।

ParseHub खोलें, अपना नाम, ईमेल पता और एक मज़बूत पासवर्ड डालकर साइन-अप फ़ॉर्म भरें, फिर रजिस्टर बटन दबाएँ।

चरण 2: नया प्रोजेक्ट शुरू करें

लॉग इन करने के बाद, आपको एक बटन दिखाई देगा जिस पर लिखा होगा "नया प्रोजेक्ट"। उस पर क्लिक करें।

अगली स्क्रीन में, दिए गए बार में उस Shopify स्टोर का URL पेस्ट करें जिसे आप स्क्रैप करना चाहते हैं।

इस डेमो के लिए, हम स्क्रैपिंग करेंगेयह स्टोर.

स्टोर के लक्षित पृष्ठ का लिंक पेस्ट करने के बाद, बार के नीचे दिए गए बटन पर क्लिक करें।

दिया गया पेज स्क्रीन के दाईं ओर लोड होगा।

सुझाव: भविष्य में अन्य फ़ाइलों के बीच फ़ाइल को आसानी से पहचानने के लिए प्रोजेक्ट का नाम बदलें।

आपको इसका नाम कुछ प्रासंगिक रखना चाहिए, जैसे shopify_products।

चरण 3: स्क्रैप करने के लिए तत्वों का चयन शुरू करें

ParseHub आपको उन तत्वों पर क्लिक करने देता है जिन्हें आप स्क्रैप करना चाहते हैं (जैसे उत्पाद के नाम, मूल्य, रेटिंग) और आपके चयनों को याद रखता है।

चूँकि हम एक Shopify उत्पाद स्क्रैपर बना रहे हैं, इसलिए उत्पाद शीर्षक से शुरुआत करें; यह हरा हो जाएगा और अन्य पीले हो जाएँगे।

सभी को हरा-भरा बनाने के लिए कोई अन्य उत्पाद शीर्षक चुनें।

आपको पूर्वावलोकन तालिका दिखाई देगी जिसमें उत्पाद के नाम और URL दिखाए जाएँगे।

चरण 4: चयन का नाम बदलें

अपने चयन का नाम उचित रखें। चूँकि हम उत्पाद के URL और नाम निकाल रहे हैं, इसलिए हमने अपने चयन को 'उत्पाद' नाम दिया है।

प्रोजेक्ट के सभी चयनों का उचित नाम बदलना एक अच्छी प्रथा है।

चरण 5: प्रोजेक्ट शुरू करें

अधिक तत्वों को स्क्रैप करने के लिए चरण 3 और 4 दोहराएँ। चूँकि हमें केवल उत्पाद का नाम और URL चाहिए था, इसलिए हमारा Shopify वेब स्क्रैपर वर्कफ़्लो कुछ इस तरह दिखता है।

अपना Shopify उत्पाद स्क्रैपर शुरू करने के लिए, बस डेटा प्राप्त करें बटन पर क्लिक करें और अगली स्क्रीन में 'रन' चुनें।

डेटा की मात्रा के आधार पर, इसमें कुछ समय लगेगा।

और लीजिए, आपके पास यह है! अब, बस अपना पसंदीदा डाउनलोड विकल्प चुनें।

उदाहरण के लिए, हमने अपनी फ़ाइल को Shopify_products.json के रूप में सहेजा है।

पायथन का उपयोग करके Shopify स्क्रैपर बनाना

बिना किसी संदेह के, नो-कोड टूल काम को 10 गुना आसान बना देते हैं। लेकिन इनकी अपनी सीमाएँ भी होती हैं। उदाहरण के लिए, हो सकता है कि इसमें उस तरह के डेटा को स्क्रैप करने की कोई व्यवस्था न हो जिसे आप स्क्रैप करना चाहते हैं। इसके अतिरिक्त, एक बार में स्क्रैप किए जा सकने वाले डेटा की मात्रा पर भी सीमाएँ हो सकती हैं।

यह इस बात का उत्तर देता है कि आपको जटिल स्क्रैपिंग कार्यों के लिए Shopify स्क्रैपर को कोड क्यों करना होगा। प्रोग्रामिंग स्क्रिप्ट आपको अपनी ज़रूरतों के अनुसार अपनी सीमाएँ निर्धारित करें। यह पृष्ठ पर किसी भी डेटा को स्क्रैप कर सकता है। आपको बस इसके लिए एक प्रोग्राम लिखना होगा।

और स्क्रैप करने के लिए पायथन से बेहतर भाषा और क्या हो सकती है? इसका सिंटैक्स सरल और पठनीय है और उपयोगी पैकेजों का एक बड़ा संग्रह है।

Shopify स्टोर्स में एक अनूठी विशेषता है जो उन्हें स्क्रैप करना बेहद आसान बनाती है। सभी Shopify स्टोर्स में एक product.json फ़ाइल होती है जो सार्वजनिक रूप से उपलब्ध होती है। इस फ़ाइल में स्टोर के संपूर्ण उत्पाद स्टॉक का डेटा होता है। इसमें प्रत्येक उत्पाद का नाम, उसकी विशिष्ट आईडी, उसकी कीमत, विक्रेता, विवरण और अन्य ढेर सारी जानकारी होती है।

इस Shopify product.json फ़ाइल तक पहुँचने के लिए, आपको बस स्टोर के रूट URL के अंत में, यानी https://helmboots.com/products.json.

अगर आप Shopify प्रोडक्ट स्क्रैपर को कोड करना चाहते हैं, तो यह Shopify products.json फ़ाइल आपको भारी काम से छुटकारा दिला सकती है।

अब आपको बस अपना Shopify वेब स्क्रैपर बनाना है और इस फ़ाइल पर एक अनुरोध भेजना है और सभी आवश्यक डेटा निकालना है।

तो चलिए अपने Shopify Python Scraper की प्रोग्रामिंग शुरू करते हैं।

चरण 1: आवश्यक लाइब्रेरीज़ आयात करें

एक python फ़ाइल बनाएँ, जैसे कि python_shopify.py, और पैकेज आयात करें। हमें निम्नलिखित लाइब्रेरीज़ की आवश्यकता होगी:

• Json
• अनुरोध
• पांडा
  
  

आयात json आयात पांडा as pd import अनुरोध

चरण 2: स्टोर की products.json फ़ाइल प्राप्त करें

हम एक fetch_json फ़ंक्शन बनाएंगे जो साइट के URL और पृष्ठ संख्या को एक तर्क के रूप में लेगा और स्टोर की product.json फ़ाइल लौटाएगा। हमने प्रति पृष्ठ 30 उत्पादों की सीमा निर्धारित की है।

हमारे फ़ंक्शन में कुछ त्रुटियों के लिए अपवाद प्रबंधन भी शामिल होगा।

def fetch_json(url, पृष्ठ): कोशिश करें: प्रतिक्रिया = अनुरोध.get(f'{url}/products.json?limit=30&page={पृष्ठ}', समयबाह्य=5) products_json = response.text response.raise_for_status() वापसी products_json सिवाय requests.exceptions.HTTPError as error_http: प्रिंट("HTTP त्रुटि:", error_http) सिवाय अनुरोध.अपवाद.कनेक्शन त्रुटि के रूप में error_connection: प्रिंट("कनेक्शन त्रुटि:", error_connection) सिवाय अनुरोध.अपवाद.समयबाह्य के रूप में error_timeout: print("समय समाप्त त्रुटि:", error_timeout) सिवाय अनुरोध.अपवाद.अनुरोध अपवाद के रूप में त्रुटि: print("त्रुटि: ", त्रुटि)

चरण 3: products.json का उपयोग करके पांडा डेटाफ़्रेम बनाएँ

हमारा फ़ंक्शन products.json फ़ाइल को इनपुट के रूप में लेता है और उसे पांडा डेटा फ़्रेम में परिवर्तित करता है।

def make_df(products_json): कोशिश करें: products_dict = json.loads(products_json) df = pd.DataFrame.from_dict(products_dict['products']) वापसी df सिवाय अपवाद के रूप में e: प्रिंट(e)

चरण 4: सभी पृष्ठों से डेटा प्राप्त करें

सभी उत्पादों को स्क्रैप करने के लिए, हमें अगले पृष्ठों पर जाना होगा।

इसके लिए, हमारा फ़ंक्शन साइट के URL को इनपुट के रूप में लेगा और Shopify स्टोर के सभी उत्पाद डेटा वाले Pandas डेटा फ़्रेम को लौटाएगा।

def get_all_products(url): परिणाम = सत्य पृष्ठ = 1 df = pd.DataFrame() जबकि परिणाम: products_json = fetch_json(url, पृष्ठ) products_dict = make_df(products_json) अगर len(products_dict) == 0: ब्रेक अन्यथा: df = pd.concat([df, products_dict], ignore_index=सत्य) page += 1 df['url'] = f"{url}/products/" + df['हैंडल'] वापसी df

हमारा पायथन शॉपिफाई स्क्रैपर तैयार है।

बस स्टोर के URL को इस फ़ंक्शन पर पास करें, और सारा डेटा उत्पाद वेरिएबल में संग्रहीत हो जाएगा।

आप products.head() फ़ंक्शन का उपयोग करके डेटा का पूर्वावलोकन भी कर सकते हैं।

all_products = get_all_products('https://helmboots.com/') all_products.head(1).T

इस विधि के अलावा, आप Shopify Python APIShopify डेटा निर्यात करने के लिए।

अपने Shopify स्क्रैपर को अनडिटेक्टेबल बनाएँ

हालांकि Shopify स्क्रैपिंग आमतौर पर हानिरहित होती है, लेकिन डिटेक्शन को बायपास करने के लिए एक तंत्र होना हमेशा बेहतर होता है। यह संभव है कि आपके Shopify स्क्रैपर को CAPTCHA, IP प्रतिबंध और दर सीमा जैसी बाधाओं का सामना करना पड़े।

यह सुनिश्चित करने के लिए कि आपका Shopify स्क्रैपर बिना किसी रुकावट के चलता रहे, आप एक एंटी-डिटेक्ट ब्राउज़र जैसेAdsPower. AdsPower में आपके Shopify वेब स्क्रैपर को कम प्रोफ़ाइल बनाए रखने, साइटों के साथ इंटरैक्ट करने और बिना किसी परेशानी के Shopify डेटा निर्यात करने में मदद करने के लिए आवश्यक उपाय हैं।