Wie kann man Etsy mit und ohne Code scrapen?

Etsy ist die Heimat von handgefertigten Waren, Vintage-Artikeln und Kunsthandwerk. Mit fast 500 MillionenMonatliche Besuche. Es ist ein äußerst lukrativer Markt für Verkäufer, die ihr Geschäft ausbauen möchten.

Zu wissen, was sich gut verkauft, die neuesten Trends zu verfolgen und die Konkurrenz zu analysieren, ist ein Muss für das Wachstum Ihres Unternehmens.

Das manuelle Durchsuchen von Millionen von Etsy-Produktlisten ist jedoch zu aufwändig, wenn nicht sogar unmöglich.

Dann müssen Sie Etsy-Daten scrapen. Dadurch erhalten Sie jede Menge wertvolle Etsy-Daten in organisierter Form und sparen gleichzeitig Zeit und Mühe.

Genau darum geht es in diesem Leitfaden. Wir zeigen Ihnen, wie Sie Etsy mit einem No-Code-Etsy-Scraper und Python scrapen. Egal, ob Sie Programmiererfahrung haben oder nicht, dieser Leitfaden wird Ihnen nützlich sein.

2 Möglichkeiten zum Scrapen von Etsy

Nachfolgend sind die beiden Methoden zum Scraping von Etsy aufgeführt. Die erste verwendet einen No-Code-Etsy-Scraper und wird sp;hilft Nicht-Programmierern, während der zweite auf Python basiert. Wählen Sie also basierend auf Ihren Fähigkeiten aus zwei Ansätzen.

Verwendung eines gebrauchsfertigen Etsy Scrapers

Früher war Scraping nur für Programmierer möglich. Mit dem Aufkommen von No-Code-Scraping-Tools ist Web-Scraping jedoch für jeden mit minimalen Computerkenntnissen zugänglich geworden.

Heute Wir verwenden ein No-Code-Tool namens Octoparse, um Etsy zu scrapen. Beginnen wir also mit der Schritt-für-Schritt-Anleitung.

1. Schritt: Octoparse herunterladen und installieren

Besuchen Sie die Octoparse-Websiteum das Tool herunterzuladen. Folgen Sie nach dem Download den einfachen Schritten, um es auf Ihrem Computer zu installieren.

Starten Sie jetzt Octoparse und erstellen Sie ein neues Konto oder melden Sie sich mit Ihrem Google- oder Microsoft-Konto an, falls Sie bereits eines haben.

Mit Octoparse haben Sie zwei Möglichkeiten, Etsy-Daten zu scrapen: Verwenden einer vorgefertigten Vorlage oder Erstellen eines benutzerdefinierten Scrapers.



Diese Anleitung konzentriert sich auf die Erstellung eines benutzerdefinierten Etsy-Scrapers. Obwohl die Verwendung einer Vorlage relativ einfach ist, ermöglicht die Erstellung einer eigenen Vorlage weitere Anpassungsmöglichkeiten. Beginnen wir damit.

2. Schritt: Geben Sie die Etsy-URL ein, um einen automatisierten Workflow zu erhalten

Starten Sie Octoparse und fügen Sie in die Suchleiste die URL der Etsy-Seite ein, die Sie scrapen möchten.

Möglicherweise möchten Sie die Etsy-Produktlistenseite oder die Suchergebnisseite scrapen. Octoparse kann jede URL verarbeiten.



Sobald Sie die URL eingefügt haben, klicken Sie auf „Start“, um die Etsy-Seite in Octoparse zu laden. In unserem Beispiel verwenden wir eine Suchergebnisseite für „handgemachte Kerzen”.

3. Schritt: Zu extrahierende Daten auswählen

Nachdem Sie auf Start geklickt haben, wird die Seite in Octoparse geladen, das dann automatisch die Daten identifiziert und beschriftet, die es als scrapbar erachtet.



Sobald dieser Vorgang abgeschlossen ist, werden alle erkannten Produktdaten beschriftet (Sie müssen einige möglicherweise umbenennen, um die Genauigkeit zu gewährleisten) und unten in einer Vorschautabelle angezeigt.

Sie haben die Möglichkeit, alle Datenspalten, die Sie für unnötig halten, zu entfernen, indem Sie auf das Papierkorbsymbol daneben klicken.

Wenn alles reibungslos läuft, kann Octoparse auch die Seitennummerierung automatisch übernehmen, sodass der Scraper durch mehrere Seiten navigieren kann.

Klicken Sie auf „Workflow erstellen“, um ein Flussdiagramm Ihres Scraping-Projekts anzuzeigen. Sie können es nach Bedarf anpassen, indem Sie Schritte hinzufügen oder entfernen.



4. Schritt: Datenbeschriftungen anpassen

Manchmal beschriftet Octoparse Datenfelder falsch. Diese sollten Sie korrigieren. Ändern wir beispielsweise eine Spalte mit dem falschen Namen „Titel“ in „Bewertung“. indem Sie auf den Spaltennamen doppelklicken und den richtigen eingeben.



Ändern Sie auf ähnliche Weise auch andere falsch beschriftete Spaltennamen.

Sie werden feststellen, dass unser Workflow auch einige nutzlose Daten wie Währungssymbole oder Schaltflächentexte entfernt. Sie können diese Felder entfernen, indem Sie auf die drei Punkte neben dem Spaltennamen klicken und die Option „Feld löschen“ auswählen. Option aus dem Menü.



Nachdem wir die Datenfelder organisiert und benannt haben, sieht unsere Vorschautabelle so aus.



5. Schritt: Starten Sie Ihren Etsy Scraper

Sobald alles eingerichtet ist, klicken Sie oben rechts im Fenster auf „Speichern“ und anschließend auf „Ausführen“, um mit dem Scraping der Daten von Etsy zu beginnen.



Es wird eine Eingabeaufforderung angezeigt, in der Sie gefragt werden, ob Sie die Aufgabe lieber auf Ihrem Gerät oder in der Cloud ausführen möchten. Wir haben uns entschieden, dieses Tutorial lokal auszuführen.



Denken Sie daran, dass Sie die Aufgabe manuell stoppen müssen, indem Sie auf „Stopp“ oder „Pause“ klicken, um zu verhindern, dass sie unbegrenzt ausgeführt wird, da wir kein Seitenlimit festgelegt haben und Etsy möglicherweise endlose Seiten hat.



6. Schritt: Exportieren Sie die gescrapten Etsy-Daten

Schließlich können Sie die gescrapten Daten in Formate wie Excel, CSV oder andere exportieren, je nach Ihren Anforderungen.

Web Scraping von Etsy mit Python

Während Scraping mit No-Code-Tools am einfachsten ist, gibt es auch eine einfache Möglichkeit, Etsy mit Python zu scrapen.

Die Etsy Python APIverfügt über integrierte Funktionen zum Scrapen von Produkt- und Anbieterdaten von Etsy.

Die Produkt-Scraping-Funktion verwendet die Produkt-URL als Eingabe und extrahiert unter anderem die Produkt-ID, den Titel, die Beschreibung und den Preis. Ributes. Die Verkäuferfunktion funktioniert auf die gleiche Weise und gibt Datenfelder wie Verkäufername, Standort, Anzahl der Verkäufe und Produktliste zurück.

Sie müssen lediglich die Bibliothek mitpip install etsy_scraper auf Ihrem System installieren und sie durch Eingabe vonEtsy_scraper importieren.

Rufen Sie anschließend die Produkt- oder Verkäuferfunktion mit der entsprechenden Etsy-URL als Eingabe wie folgt auf;

import etsy_scraper productScrape(https://www.etsy.com/listing/540091623/italian-garden-essential-oil-candle?click_key=100bc1abf4cfe1ad2b3fef753903f0f5003a836b%3A540091623&click_sum=e4f02487&external=1&ref=hp_signed_out_opfy-1-1) vendorScrape(https://www.etsy.com/shop/OctoandCo?ref=shop-header-name&listing_id=540091623&from_page=listing)

Diese Bibliothek verfügt jedoch über eine eingeschränkte Funktionalität und kann weder Etsy-Produktlistenseiten noch Suchergebnisse scrapen.

Sie müssen also einen Etsy-Scraper in Python von Grund auf neu programmieren. Hier sind die grundlegenden Schritte dazu:

1. Python installieren:Laden Sie die neueste Version von Python herunter vonoffizielle Website.
   
   
2. Installieren Sie BeautifulSoup und andere Bibliotheken:Sie müssen die für das Web-Scraping erforderlichen Python-Bibliotheken installieren.
   
   
   • BeautifulSoup4zum Parsen von HTML- und XML-Dokumenten
   • AnfragenBibliothek zum Erstellen von HTTP-Anfragen
   • lxmlzum Parsen von XML und HTML in Python
   • soupsievefür erweiterte CSS-Auswahl
     
     
3. Schreiben Sie den ursprünglichen Code:Öffnen Sie Ihren Code-Editor und importieren Sie BeautifulSoup aus bs4 und Anfragen.
   
   
4. So tun, als wäre es ein Browser:Fügen Sie in Ihr Skript Folgendes ein:HTTP-Headerum eine Browseranfrage zu imitieren. Ändern derBenutzeragentHeader ist häufig erforderlich, um auf Webseiten zuzugreifen, die den Zugriff auf Skripte oder Bots einschränken.
   
   
5. Webseite abrufen:Verwenden Sie die Bibliothek „requests“, um die Etsy-Seite abzurufen, die Sie scrapen möchten. Übergeben Sie die URL und die Header als Argumente.
   
   
6. Seite analysieren:Sobald Sie den Seiteninhalt haben, verwenden Sie BeautifulSoup, um ihn zu analysieren. Dazu müssen Sie ein BeautifulSoup-Objekt erstellen und „lxml“ als Parser angeben.
   
   
7. CSS-Selektoren verwenden: Überprüfen Sie die Etsy-Seite, um die CSS-Selektoren zu identifizieren, die den Daten entsprechen, die Sie scrapen möchten. Verstehen Sie die Struktur der Webseite und finden Sie die Klassen oder Tags, die Ihre gewünschten Daten enthalten.
   
   
8. Daten extrahieren:Durchlaufen Sie die von den CSS-Selektoren ausgewählten Elemente und extrahieren Sie die benötigten Informationen, wie Produkttitel, Preise, Bewertungen oder Bilder.
   
   
9. Daten exportieren:Sobald Ihr Skript wie erwartet funktioniert, exportieren Sie die Daten in ein Dateiformat Ihrer Wahl, z. B. CSV oder JSON.

Ein ausführliches Tutorial mit Codeausschnitten finden Sie unterdiesen Blog.

Etsy ohne Hürden scrapen

In unserem Tutorial haben wir nur an der Oberfläche der Etsy-Daten gekratzt und sind daher auf keine Probleme gestoßen. Ihr Etsy-Scraper kann jedoch auf Widerstand stoßen, wenn große Datenmengen gescrapt werden.

Das Scraping großer Datenmengen erfordert das Senden zahlreicher HTTP-Anfragen an den Etsy-Webserver, was keinem normalen menschlichen Verhalten entspricht. Dadurch kann die Maske Ihres Etsy-Scrapers aufgehoben und dieser dauerhaft blockiert werden.

Aber hier sind die guten Neuigkeiten:AdsPower kann dafür sorgen, dass Ihre Etsy-Scraping-Projekte reibungslos ablaufen, ohne blockiert zu werden.

AdsPower ist ein seriöser Anti-Erkennungs-Browser, der Ihre Scraping-Aktivitäten maskiert. Er verwendet fortschrittliche Techniken wie Proxy-Rotation, Fingerprint-Spoofing und Anforderungsverzögerungen, um Ihren Scraper zu tarnen und ihn für Etsys Anti-Bot-Systeme wie normalen Browserverkehr aussehen zu lassen.

Melden Sie sich noch heute kostenlos bei AdsPower an und scrapen Sie Etsy, ohne Sperren oder Verbote befürchten zu müssen.