Ghid pentru scraper-ul Shopify: Două metode cu și fără cod

Cu peste 4,8 milioane de magazine, Shopify se situează ca o platformă lider în comerțul electronic. În ultimii ani, veniturile Shopify au depășit recordurile anterioare, depășind 7,06 miliarde de dolari anual, conform Rezultatele financiare Shopify din 2023.

Având în vedere aceste cifre, datele extinse despre comerțul electronic ale platformei devin neprețuite. Aceste date au un potențial imens pentru companii și marketeri afiliați, pentru a rămâne cu un pas înainte, a urmări tendințele pieței sau a-și rafina ofertele de produse.

Contrar opiniei populare, accesarea acestor date nu necesită neapărat abilități extinse de codare.

În acest blog, vă vom ghida prin utilizarea unui scraper Shopify fără cod, potrivit pentru începători, precum și despre cum să dezvoltați un scraper Shopify Python pentru cei cu cunoștințe de programare.

Hai să explorăm cum poți folosi datele Shopify în avantajul tău.

Poți extrage conținut de pe Shopify?

ConformTermenii și condițiile Shopify,Sunteți de acord să nu accesați Serviciile sau să monitorizați niciun material sau informație din Servicii utilizând orice robot, păianjen, scraper sau alte mijloace automate.

Această clauză se încadrează în secțiunea Termeni și condiții ale contului, iar toți utilizatorii Shopify sunt de acord cu aceasta la crearea unui cont.

Prin urmare, dacă dețineți un cont Shopify, este imperativ să vă abțineți de la utilizarea acestuia pentru activități de scraping. Acest lucru se aplică atât utilizatorilor Shopify obișnuiți, cât și titularilor de conturi business.

Utilizarea unui scraper Shopify pentru a extrage date despre platformă riscă detectarea de către sistem și o potențială suspendare a contului.

Condițiile de utilizare ale API-ului Shopify restricționează, de asemenea, utilizarea API-ului pentru colectarea de date mai mult decât este permis, așa că, dacă sperați să îl utilizați pentru extragerea datelor din Shopify, nu aveți noroc.

Așadar, două lucruri sunt clare. Nu folosi niciun instrument sau script extern Shopify Scraper în timp ce ești conectat cu contul tău Shopify și nu folosi API-ul oficial ca Shopify Scraper.

Atunci cum poți extrage date din Shopify? Nu-ți face griji. Aceste limitări sunt pentru extragerea datelor private. Poți rula în continuare un scraper Shopify pe site.

Asigură-te doar că extragi doar date disponibile public. De asemenea, ar trebui să te asiguri că nu folosești datele de export Shopify în scopuri de duplicare, deoarece acestea pot fi eliminate, la fel ca înîn acest caz.

Este un consens global neoficial conform căruia extragerea datelor disponibile public de pe orice platformă este permisă în scopuri etice.

Scraper Shopify: Două abordări diferite

Având în vedere acest lucru, haideți să trecem mai departe la tehnicile de scraping Shopify.

Scraper Shopify fără cod

Au apus vremurile când scraping-ul era doar treaba unui programator. În zilele noastre, există pe piață mai multe soluții no-code care fac scraping-ul o joacă de copii.

Printre aceste instrumente, ParseHub, Shopify Scraper de la Apify și Shopify Product Scraper sunt liderii pieței.

În acest ghid, vă vom ghida prin procesul de creare a unui scraper de produse Shopify folosind ParseHub. Să începem.

Pasul 1: Descărcați și creați un cont

AccesațiParseHub, descărcați fișierul de instalare pentru sistemul dvs. de operare și instalați software-ul.

Deschideți ParseHub, completați formularul de înscriere cu numele dvs., adresa de e-mail și o parolă puternică, apoi apăsați butonul Înregistrare.

Pasul 2: Începeți un proiect nou

După ce v-ați conectat, veți vedea un buton care spune „Proiect nou”. Faceți clic pe el.

În ecranul următor, lipiți adresa URL a magazinului Shopify pe care doriți să îl extrageți în bara furnizată.

Pentru această demonstrație, vom extrage date dinacest depozit.

După ce lipiți linkul paginii țintă a magazinului, apăsați butonul din partea de jos a barei.

Pagina dată se va încărca în partea dreaptă a ecranului.

Sfat:Redenumiți numele proiectului pentru a identifica ușor fișierul printre alte fișiere în viitor.

Ar trebui să-i dai un nume relevant, cum ar fi shopify_products.

Pasul 3: Începeți să selectați elementele de extras

ParseHub vă permite să faceți clic pe elementele pe care doriți să le extrageți (cum ar fi numele produselor, prețurile, evaluările) și își amintește selecțiile.

Întrucât creăm un scraper de produse Shopify, începeți cu titlul produsului; acesta va deveni verde, iar celelalte vor deveni galbene.

Selectați un alt titlu de produs pentru a le face pe toate ecologice.

Veți vedea tabelul de previzualizare care afișează numele produselor și adresele URL.

Pasul 4: Redenumiți selecția

Denumiți selecția în mod corespunzător. Deoarece extragem adrese URL și nume de produse, am numit-o pe a noastră „product”.

Este o practică bună să redenumiți toate selecțiile proiectului în mod corespunzător.

Pasul 5: Începeți proiectul

Repetați pașii 3 și 4 pentru mai multe elemente pe care doriți să le extrageți prin scraping. Întrucât am vrut doar numele produsului și adresa URL, fluxul de lucru al scraperului web Shopify arată astfel.

Pentru a porni scraper-ul nostru de produse Shopify, pur și simplu apăsați butonul Obțineți date și selectați „Run” în ecranul următor.

Va dura ceva timp, în funcție de cantitatea de date.

Și gata! Acum, pur și simplu alegeți opțiunea de descărcare preferată.

De exemplu, am salvat fișierul nostru ca Shopify_products.json.

Crearea unui scraper Shopify folosind Python

Instrumentele no-code, fără îndoială, fac munca de 10 ori mai ușoară. Dar vin cu propriile lor limitări. De exemplu, este posibil să nu aibă un mecanism pentru a extrage tipul de date pe care doriți să le extrageți. În plus, este posibil să aibă limite privind cantitatea de date pe care o poate extrage dintr-o dată.

Acest lucru răspunde la motivul pentru care va trebui să programezi un scraper Shopify pentru sarcini complexe de scraping. Scripturile de programare îți oferă libertatea de a-ți seta propriile limite în funcție de nevoile tale. Poate extrage orice date de pe pagină. Va trebui doar să scrii un program pentru acesta.

Și ce limbaj de extragere mai bun decât Python? Are o sintaxă simplă și ușor de citit și o bibliotecă vastă de pachete utile.

Magazinele Shopify au o caracteristică unică care face extragerea datelor (scraping) extrem de ușoară. Toate magazinele Shopify au un fișier product.json accesibil publicului. Acest fișier conține datele despre întregul stoc de produse al magazinului. Conține numele fiecărui produs, ID-ul său unic, prețul, furnizorul, descrierea și o mulțime de alte detalii.

Pentru a accesa acest fișier Shopify product.json, tot ce trebuie să faci este să plasezi fișierul „products.json” la sfârșitul adresei URL rădăcină a magazinului, adică https://helmboots.com/products.json.

Dacă vrei să programezi un scraper de produse Shopify, acest fișier products.json Shopify te va ajuta să scapi de munca grea.

Acum trebuie doar să creezi un scraper web Shopify care să trimită o singură solicitare către acest fișier și să extragă toate datele necesare.

Așadar, haideți să începem să programăm Scraper-ul nostru Shopify Python.

Pasul 1: Importați bibliotecile esențiale

Creați un fișier python, de exemplu python_shopify.py, și importați pachetele. Vom avea nevoie de următoarele biblioteci:

• Json
• Cereri
• Panda
  
  

importjson importpandasaspd importcereri

Pasul 2: Preluarea fișierului products.json al magazinului

Vom crea o funcție fetch_json care va lua adresa URL a site-ului și numărul paginii ca argumente și va returna fișierul product.json al magazinului. Am setat limita la 30 de produse pe pagină.

Funcția noastră va conține și gestionarea excepțiilor pentru anumite erori.

deffetch_json(url, pagină): try: response = requests.get(f'{url}/products.json?limit=30&page={page}', timeout=5) products_json=response.text response.raise_for_status() returnproducts_json exceptrequests.exceptions.HTTPErroraserror_http: print("Eroare HTTP:",error_http) exceptrequests.exceptions.ConnectionErroraserror_connection: print("Eroare de conexiune:",error_connection) exceptrequests.exceptions.Timeoutaserror_timeout: print("Eroare de expirare:",error_timeout) exceptrequests.exceptions.RequestExceptionaseroare: print("Eroare:",error)

Pasul 3: Creați un cadru de date Pandas folosind products.json

Funcția noastră preia fișierul products.json ca intrare și îl convertește într-un cadru de date Pandas.

defmake_df(products_json): try: products_dict=json.loads(products_json) df=pd.DataFrame.from_dict(products_dict['produse']) returndf cu excepțiaExcepțiease: print(e)

Pasul 4: Obțineți date din toate paginile

Pentru a extrage date din toate produsele, va trebui să parcurgem paginile următoare.

Pentru aceasta, funcția noastră va lua URL-ul site-ului ca intrare și va returna cadrul de date Pandas care conține toate datele despre produse ale magazinului Shopify.

defget_all_products(url): rezultate=Adevărat pagină=1 df=pd.DataFrame() whilerezultate: products_json=fetch_json(url,page) products_dict=make_df(products_json) iflen(products_dict)==0: break   else: df=pd.concat([df,products_dict],ignore_index=True) page+=1 df['url']=f"{url}/produse/"+df['handle'] returndf

Scraperul nostru Python Shopify este gata.

Pur și simplu transmiteți adresa URL a depozitului către această funcție, iar toate datele sunt stocate în variabila de produs.

De asemenea, puteți previzualiza datele folosind funcția products.head().

toate_produsele=obține_toate_produsele('https://helmboots.com/') all_products.head(1).T

Pe lângă această metodă, puteți utiliza și API-ul Shopify Python pentru exportarea datelor Shopify.

Fă-ți scraper-ul Shopify nedetectabil

Deși scraping-ul Shopify este de obicei inofensiv, este întotdeauna mai bine să ai un mecanism implementat pentru a ocoli detectarea. Este posibil ca scraperul tău Shopify să întâmpine obstacole precum CAPTCHA-uri, interdicții de IP și limite de rată.

Pentru a te asigura că scraperul tău Shopify rulează fără întreruperi, poți utiliza un browser anti-detecție, cum ar fiAdsPower. AdsPower are măsurile necesare pentru a ajuta scraperul dvs. web Shopify să mențină un profil discret, să interacționeze cu site-urile și să exporte date Shopify fără probleme.