Shopify Scraper-gids: twee manieren met en zonder code

Met meer dan 4,8 miljoen winkels is Shopify een toonaangevend e-commerceplatform. In de afgelopen jaren heeft Shopify eerdere records gebroken en de jaarlijkse omzet van $ 7,06 miljard overtroffen, volgens Financiële resultaten 2023 van Shopify.

Gezien deze cijfers zijn de uitgebreide e-commercegegevens van het platform van onschatbare waarde. Deze gegevens bieden bedrijven en affiliate marketeers een groot potentieel om voorop te blijven lopen, markttrends in de gaten te houden of hun productaanbod te verfijnen.

In tegenstelling tot wat vaak wordt gedacht, vereist het verkrijgen van toegang tot deze gegevens niet per se uitgebreide programmeervaardigheden.

In deze blog laten we je zien hoe je een no-code Shopify-scraper kunt gebruiken die geschikt is voor beginners, en hoe je een Python Shopify-scraper kunt ontwikkelen voor mensen met een programmeerachtergrond.

Laten we eens kijken hoe u Shopify-data optimaal kunt benutten.

Kun je Shopify scrapen?

VolgensServicevoorwaarden van Shopify, “U gaat ermee akkoord dat u geen toegang krijgt tot de Diensten en geen materiaal of informatie van de Diensten controleert met behulp van robots, spiders, scrapers of andere geautomatiseerde middelen.”

Deze clausule valt onder de Accountvoorwaarden en alle Shopify-gebruikers gaan hiermee akkoord bij het aanmaken van een account.

Als u een Shopify-account heeft, is het daarom absoluut noodzakelijk om dit niet te gebruiken voor scraping. Dit geldt zowel voor reguliere Shopify-gebruikers als voor houders van een zakelijk account.

Het gebruik van een Shopify-scraper om platformgegevens te extraheren, kan leiden tot detectie door het systeem en een mogelijke schorsing van het account.

DeShopify API ToS beperkt ook het gebruik van de API voor het verzamelen van meer gegevens dan toegestaan. Dus als je de API wilde gebruiken voor het scrapen van Shopify, heb je pech.

Dus, twee dingen zijn duidelijk. Gebruik geen externe Shopify Scraper-tools of -scripts terwijl u bent ingelogd met uw Shopify-account, en gebruik de officiële API niet als Shopify Scraper.

Hoe kunt u Shopify dan scrapen? Maak u geen zorgen. Deze beperkingen gelden voor het scrapen van privégegevens. U kunt nog steeds een Shopify Scraper op de site gebruiken.

Zorg er gewoon voor dat u alleen openbaar beschikbare gegevens scrapt. U moet er ook voor zorgen dat u de Shopify-gegevensexport niet gebruikt voor duplicatiedoeleinden, aangezien deze verwijderd kan worden, net als in dit geval.

Er is een onofficiële wereldwijde consensus dat het scrapen van openbaar beschikbare gegevens van elk platform is toegestaan voor ethisch gebruik.

Shopify Scraper: Twee verschillende benaderingen

Laten we, met dat in gedachten, verder kijken naar de scrapingtechnieken van Shopify.

No Code Shopify Scraper

De tijd dat scrapen alleen een taak voor programmeurs was, is voorbij. Tegenwoordig zijn er verschillende no-code-oplossingen op de markt die scrapen een fluitje van een cent maken.

ParseHub, Shopify Scraper van Apify en Shopify Product Scraper zijn de marktleiders onder deze tools.

In deze handleiding begeleiden we je bij het maken van een Shopify-productscraper met ParseHub. Laten we beginnen.

Stap 1: Downloaden en een account aanmaken

Ga naar ParseHub, download het installatiebestand voor uw besturingssysteem en installeer de software.

Open ParseHub, vul het aanmeldformulier in met je naam, e-mailadres en een sterk wachtwoord en klik vervolgens op de knop Registreren.

Stap 2: Nieuw project starten

Zodra u bent ingelogd, ziet u een knop met de tekst Nieuw project. Klik erop.

Plak in het volgende scherm de URL van de Shopify-winkel die je wilt scrapen in de daarvoor bestemde balk.

Voor deze demo scrapen wedeze winkel.

Nadat je de link naar de doelpagina van de winkel hebt geplakt, klik je op de knop onderaan de balk.

De opgegeven pagina wordt aan de rechterkant van het scherm geladen.

Tip: Hernoem de projectnaam om het bestand in de toekomst gemakkelijk te kunnen identificeren tussen andere bestanden.

Je moet het een relevante naam geven, zoals shopify_products.

Stap 3: Begin met het selecteren van elementen om te scrapen

ParseHub laat je klikken op de elementen die je wilt scrapen (zoals productnamen, prijzen, beoordelingen) en onthoudt je selecties.

Aangezien we een Shopify Product Scraper maken, beginnen we met de producttitel. Deze wordt groen en de rest wordt geel.

Selecteer een andere producttitel om ze allemaal groen te maken.

Je ziet de voorbeeldtabel met productnamen en URL's.

Stap 4: De selectie hernoemen

Geef je selectie een passende naam. Omdat we product-URL's en -namen extraheren, hebben we die van ons 'product' genoemd.

Het is een goede gewoonte om alle selecties van het project een passende naam te geven.

Stap 5: Start het project

Herhaal stap 3 en 4 voor meer elementen die u wilt scrapen. Omdat we alleen de productnaam en URL wilden, ziet onze Shopify-webscraperworkflow er zo uit.

Om onze Shopify-productscraper te starten, klikt u eenvoudig op de knop 'Gegevens ophalen' en kiest u 'Uitvoeren' in het volgende scherm.

Het zal enige tijd duren, afhankelijk van de hoeveelheid gegevens.

Aaaaaddd, daar heb je hem! Kies nu eenvoudig je gewenste downloadoptie.

We hebben ons bestand bijvoorbeeld opgeslagen als Shopify_products.json.

Een Shopify-scraper maken met Python

No-code tools maken de klus ongetwijfeld 10x eenvoudiger. Maar ze hebben hun eigen beperkingen. Zo is er mogelijk geen mechanisme om de gewenste data te scrapen. Bovendien kunnen er beperkingen zijn aan de hoeveelheid data die in één keer gescraped kan worden.

Dit beantwoordt waarom je een Shopify-scraper moet coderen voor complexe scrapingtaken. Programmeerscripts geven je de vrijheid om ;uw eigen limieten, afhankelijk van uw behoeften. Het kan alle gegevens van de pagina scrapen. U hoeft er alleen maar een programma voor te schrijven.

En welke taal is beter om te scrapen dan Python? Het heeft een eenvoudige en leesbare syntaxis en een grote bibliotheek met handige pakketten.

Shopify-winkels hebben een unieke functie die het scrapen ervan extreem eenvoudig maakt. Alle Shopify-winkels hebben een product.json-bestand dat openbaar toegankelijk is. Dit bestand bevat de gegevens over de volledige productvoorraad van de winkel. Het bevat de naam van elk product, de unieke ID, de prijs, de leverancier, de beschrijving en een overvloed aan andere details.

Om toegang te krijgen tot dit Shopify product.json-bestand hoeft u alleen maar 'products.json' aan het einde van de root-URL van de winkel te plaatsen, d.w.z. https://helmboots.com/products.json.

Als je een Shopify Product Scraper wilt coderen, is dit Shopify products.json-bestand een fluitje van een cent.

Nu hoef je alleen nog maar je Shopify Web Scraper één verzoek naar dit bestand te laten sturen en alle vereiste gegevens te extraheren.

Laten we beginnen met het programmeren van onze Shopify Python Scraper.

Stap 1: Essentiële bibliotheken importeren

Maak een Python-bestand aan, bijvoorbeeld python_shopify.py, en importeer de pakketten. We hebben de volgende bibliotheken nodig:

• Json
• Requests
• Panda's
  
  

importeren json importeren panda'sals pd importerenverzoeken

Stap 2: Haal het products.json-bestand van de winkel op

We maken een functie fetch_json die de URL en het paginanummer van de site als argument gebruikt en het product.json-bestand van de winkel retourneert. We hebben de limiet ingesteld op 30 producten per pagina.

Onze functie bevat ook uitzonderingsafhandeling voor sommige fouten.

def fetch_json(url, pagina): probeer: response=requests.get(f'{url}/products.json?limit=30&page={page}', time-out=5) ... data-type="text"> return products_json behalve requests.exceptions.HTTPError als error_http: print("HTTP-fout:", error_http) behalve requests.exceptions.ConnectionError als fout_verbinding: print("Verbindingsfout:", error_connection) behalve requests.exceptions.Timeout als error_timeout: print("Time-outfout:", error_timeout) behalve requests.exceptions.RequestException als fout: print("Fout: ", fout)

Stap 3: Maak een Pandas-dataframe met behulp van products.json

Onze functie gebruikt het products.json-bestand als invoer en zet het om in een Pandas-dataframe.

defmake_df(products_json): probeer: products_dict = json.loads(products_json) df = pd.DataFrame.from_dict(products_dict['producten']) return df behalveUitzonderingalse: print(e)

Stap 4: Gegevens van alle pagina's ophalen

Om alle producten te scrapen, moeten we door de volgende pagina's heen loopen.

Hiervoor gebruikt onze functie de URL van de website als invoer en retourneert het Pandas-dataframe met alle productgegevens van de Shopify-winkel.

defalle_producten_ophalen(url): resultaten=Waar pagina= 1 df = pd.DataFrame() terwijl resultaten: products_json = fetch_json(url, page) alslen(products_dict)==0: break anders: df = pd.concat([df, products_dict], ignore_index=True) pagina+= 1 df['url'] = f"{url}/producten/"+ df['handvat'] return df

Onze Python Shopify-scraper is klaar.

Geef de URL van de winkel eenvoudig door aan deze functie, en alle gegevens worden opgeslagen in de productvariabele.

Je kunt ook een voorbeeld van de gegevens bekijken met de functie products.head().

alle_producten=alle_producten_krijgen('https://helmboots.com/') all_products.head(1).T

Naast deze methode kun je ook Shopify Python API om Shopify-gegevens te exporteren.

Maak je Shopify-scraper ondetecteerbaar

Om ervoor te zorgen dat je Shopify-scraper zonder onderbrekingen werkt, kun je een anti-detectiebrowser gebruiken zoals AdsPower. AdsPower beschikt over de nodige maatregelen om uw Shopify Web Scraper onopvallend te houden, zonder problemen met de sites te communiceren en Shopify-gegevens te exporteren.