Shopify Scraper Guide: Zwei Wege mit und ohne Code

Mit mehr als 4,8 Millionen Shops ist Shopify eine führende E-Commerce-Plattform. In den letzten Jahren hat Shopifys Umsatz alle bisherigen Rekorde gebrochen und liegt jährlich bei über 7,06 Milliarden US-Dollar, so Finanzergebnisse von Shopify für 2023.

Angesichts dieser Zahlen sind die umfangreichen E-Commerce-Daten der Plattform von unschätzbarem Wert. Diese Daten bieten Unternehmen und Affiliate-Vermarktern großes Potenzial, um am Ball zu bleiben, Markttrends im Auge zu behalten und ihr Produktangebot zu optimieren.

Entgegen der landläufigen Meinung erfordert der Zugriff auf diese Daten nicht unbedingt umfassende Programmierkenntnisse.

In diesem Blogbeitrag zeigen wir Ihnen die Nutzung eines No-Code-Shopify-Scrapers für Anfänger sowie die Entwicklung eines Python-Shopify-Scrapers für Programmierer.

Sehen wir uns an, wie Sie Shopify-Daten zu Ihrem Vorteil nutzen können.

Kann man Shopify scrapen?

LautServicebedingungen von Shopify,“Sie erklären sich damit einverstanden, nicht auf die Dienste zuzugreifen oder Materialien oder Informationen aus den Diensten mithilfe von Robotern, Spidern, Scrapern oder anderen automatisierten Mitteln zu überwachen.”

Diese Klausel ist im Abschnitt „Kontobedingungen“ aufgeführt und wird von allen Shopify-Nutzern bei der Kontoerstellung akzeptiert.

Wenn Sie ein Shopify-Konto besitzen, ist es daher unbedingt erforderlich, dieses nicht für Scraping-Aktivitäten zu verwenden. Dies gilt sowohl für reguläre Shopify-Nutzer als auch für Inhaber von Geschäftskonten.

Die Verwendung eines Shopify-Scrapers zum Extrahieren von Plattformdaten birgt das Risiko einer Erkennung durch das System und einer möglichen Kontosperrung.

Die Shopify-API-Nutzungsbedingungen schränken außerdem die Verwendung der API zum Sammeln von mehr Daten als zulässig ein. Wenn Sie also gehofft haben, sie zum Scraping von Shopify verwenden zu können, haben Sie Pech gehabt.

Zwei Dinge sind also klar. Verwenden Sie keine externen Shopify-Scraper-Tools oder -Skripte, während Sie mit Ihrem Shopify-Konto angemeldet sind, und verwenden Sie die offizielle API nicht als Shopify-Scraper.

Wie können Sie dann Shopify scrapen? Keine Sorge. Diese Einschränkungen gelten für das Scraping privater Daten. Sie können weiterhin einen Shopify-Scraper auf der Website ausführen.

Stellen Sie einfach sicher, dass Sie nur öffentlich verfügbare Daten scrapen. Sie sollten außerdem sicherstellen, dass Sie den Shopify-Datenexport nicht zu Duplizierungszwecken verwenden, da er entfernt werden kann, genau wie in diesem Fall.

Es handelt sich um einen inoffiziellen globalen Konsens, dass das Scraping öffentlich verfügbarer Daten von jeder Plattform für eine ethische Nutzung erlaubt ist.

Shopify Scraper: Zwei verschiedene Ansätze

In diesem Sinne wollen wir uns nun den Shopify-Scraping-Techniken zuwenden.

No-Code Shopify Scraper

Die Zeiten, in denen Scraping ausschließlich Programmierer vorbehalten war, sind vorbei. Heutzutage gibt es verschiedene No-Code-Lösungen auf dem Markt, die Scraping zum Kinderspiel machen.

Zu diesen Tools zählen ParseHub, Shopify Scraper von Apify und Shopify Product Scraper.

In dieser Anleitung führen wir Sie durch die Erstellung eines Shopify-Produkt-Scrapers mit ParseHub. Los geht's.

Schritt 1: Herunterladen und Konto erstellen

Weiter zu ParseHub, laden Sie die Setup-Datei für Ihr Betriebssystem herunter und installieren Sie die Software.

Öffnen Sie ParseHub, füllen Sie das Anmeldeformular mit Ihrem Namen, Ihrer E-Mail-Adresse und einem sicheren Passwort aus und klicken Sie anschließend auf „Registrieren“.

Schritt 2: Neues Projekt starten

Nach der Anmeldung wird Ihnen die Schaltfläche „Neues Projekt“ angezeigt. Klicken Sie darauf.

Fügen Sie im nächsten Bildschirm die URL des Shopify-Shops, den Sie scrapen möchten, in die dafür vorgesehene Leiste ein.

Für diese Demo scrapen wirDieser Shop.

Nachdem Sie den Link zur Zielseite des Shops eingefügt haben, klicken Sie auf die Schaltfläche unten in der Leiste.

Die angegebene Seite wird auf der rechten Seite des Bildschirms geladen.

Tipp: Benennen Sie das Projekt um, um die Datei künftig leichter unter anderen Dateien zu finden.

Sie sollten einen relevanten Namen verwenden, z. B. „shopify_products“.

Schritt 3: Elemente zum Scrapen auswählen

ParseHub ermöglicht Ihnen das Anklicken der zu scrapenden Elemente (z. B. Produktnamen, Preise, Bewertungen) und merkt sich Ihre Auswahl.

Da wir einen Shopify-Produkt-Scraper entwickeln, beginnen Sie mit dem Produkttitel. Dieser wird grün, die anderen Elemente gelb.

Wählen Sie einen anderen Produkttitel aus, um alle grün anzuzeigen.

Sie sehen die Vorschautabelle mit den Produktnamen und URLs.

Schritt 4: Auswahl umbenennen

Benennen Sie Ihre Auswahl entsprechend. Da wir Produkt-URLs und -Namen extrahieren, haben wir unsere Auswahl „Produkt“ genannt.

Es empfiehlt sich, alle Auswahlen des Projekts entsprechend umzubenennen.

Schritt 5: Projekt starten

Wiederholen Sie die Schritte 3 und 4 für weitere Elemente, die Sie scrapen möchten. Da wir nur den Produktnamen und die URL benötigten, sieht unser Shopify-Web-Scraper-Workflow folgendermaßen aus.

Um unseren Shopify-Produkt-Scraper zu starten, klicken Sie einfach auf die Schaltfläche „Daten abrufen“ und wählen Sie im nächsten Bildschirm „Ausführen“.

Dies kann je nach Datenmenge einige Zeit in Anspruch nehmen.

Uuuunddt, da haben Sie es! Wählen Sie jetzt einfach Ihre bevorzugte Download-Option.

Wir haben unsere Datei beispielsweise als Shopify_products.json gespeichert.

Erstellen eines Shopify-Scrapers mit Python

No-Code-Tools machen die Arbeit zweifellos um das Zehnfache einfacher. Sie haben jedoch auch ihre eigenen Einschränkungen. Beispielsweise verfügen sie möglicherweise nicht über einen Mechanismus zum Scrapen der gewünschten Daten. Außerdem kann die Datenmenge, die auf einmal gescrapt werden kann, begrenzt sein.

Dies beantwortet die Frage, warum Sie für komplexe Scraping-Aufgaben einen Shopify-Scraper programmieren müssen. Programmierskripte geben Ihnen die Freiheit, ;Ihre eigenen Grenzen je nach Bedarf. Es kann alle Daten auf der Seite scrapen. Sie müssen lediglich ein Programm dafür schreiben.

Und welche Sprache eignet sich besser zum Scrapen als Python? Es hat eine einfache und lesbare Syntax und eine große Bibliothek nützlicher Pakete.

Shopify-Shops verfügen über eine einzigartige Funktion, die das Scraping extrem einfach macht. Alle Shopify-Shops verfügen über eine öffentlich zugängliche Datei „product.json“. Diese Datei enthält die Daten zum gesamten Produktbestand des Shops. Sie enthält den Namen jedes Produkts, seine eindeutige ID, seinen Preis, den Anbieter, eine Beschreibung und zahlreiche weitere Details.

Um auf diese Shopify-Datei „product.json“ zuzugreifen, müssen Sie lediglich „products.json“ am Ende der Stamm-URL des Shops platzieren, d. h. https://helmboots.com/products.json.

Wenn Sie einen Shopify-Produkt-Scraper programmieren möchten, erleichtert Ihnen diese Shopify-Datei products.json die Arbeit erheblich.

Jetzt müssen Sie nur noch Ihren Shopify-Web-Scraper eine einzige Anfrage an diese Datei senden lassen, um alle benötigten Daten zu extrahieren.

Beginnen wir also mit der Programmierung unseres Shopify-Python-Scrapers.

Schritt 1: Wichtige Bibliotheken importieren

Erstellen Sie eine Python-Datei (z. B. python_shopify.py) und importieren Sie die Pakete. Wir benötigen die folgenden Bibliotheken:

• JSON
• Anfragen
• Pandas
  
  

importieren json importieren Pandasalspd importAnfragen

Schritt 2: Laden Sie die products.json-Datei des Shops herunter

Wir erstellen die Funktion fetch_json, die die URL und Seitenzahl der Website als Argument verwendet und die product.json-Datei des Shops zurückgibt. Wir haben das Limit auf 30 Produkte pro Seite festgelegt.

Unsere Funktion enthält auch eine Ausnahmebehandlung für einige Fehler.

def fetch_json(URL, Seite): versuchen: Antwort = requests.get(f'{url}/products.json?limit=30&page={page}', Timeout=5) products_json = response.text response.raise_for_status() return products_json außer requests.exceptions.HTTPError als error_http: print("HTTP-Fehler:", error_http) außer requests.exceptions.ConnectionError als Fehlerverbindung: print("Verbindungsfehler:", error_connection) außer requests.exceptions.Timeout alsFehlerzeitüberschreitung: drucken("Timeout-Fehler:", error_timeout) außer requests.exceptions.RequestException als Fehler: drucken("Fehler:", Fehler)

Schritt 3: Erstellen Sie einen Pandas-Datenrahmen mit products.json

Unsere Funktion verwendet die Datei products.json als Eingabe und konvertiert sie in einen Pandas-Datenrahmen.

def make_df(products_json): versuchen Sie: products_dict = json.loads(products_json) df = pd.DataFrame.from_dict(products_dict['Produkte']) return df außerAusnahmealse: print(e)

Schritt 4: Daten von allen Seiten abrufen

Um alle Produkte zu extrahieren, müssen wir die nachfolgenden Seiten durchlaufen.

Hierfür verwendet unsere Funktion die URL der Website als Eingabe und gibt den Pandas-Datenrahmen mit allen Produktdaten des Shopify-Shops zurück.

def Alle Produkte abrufen(url): Ergebnisse = Wahr Seite = 1 df = pd.DataFrame() while Ergebnisse: products_json = fetch_json(url, Seite) products_dict = make_df(products_json) wenn len(products_dict) == 0: break sonst: df = pd.concat([df, products_dict], ignore_index=True) Seite += 1 df['url'] = f"{url}/Produkte/" + df['Griff'] return df

Unser Python Shopify Scraper ist bereit.

Übergeben Sie einfach die URL des Shops an diese Funktion. Alle Daten werden dann in der Variable „product“ gespeichert.

Sie können die Daten auch mit der Funktion products.head() in der Vorschau anzeigen.

alle_Produkte = alle_Produkte_abrufen('https://helmboots.com/') all_products.head(1).T

Neben dieser Methode können Sie auch Shopify Python-APIzum Exportieren von Shopify-Daten.

Machen Sie Ihren Shopify Scraper unsichtbar

Obwohl das Scraping von Shopify normalerweise harmlos ist, ist es immer besser, einen Mechanismus zur Umgehung der Erkennung zu haben. Ihr Shopify Scraper kann auf Hindernisse wie CAPTCHAs, IP-Sperren und Ratenbegrenzungen stoßen.

Um einen unterbrechungsfreien Betrieb Ihres Shopify Scrapers zu gewährleisten, können Sie einen Anti-Erkennungsbrowser wie AdsPower. AdsPower bietet die notwendigen Maßnahmen, damit Ihr Shopify Web Scraper unauffällig bleibt, mit Websites interagiert und Shopify-Daten problemlos exportiert werden können.