Eine Schritt-für-Schritt-Anleitung zum eBay-Scraping

Unter den E-Commerce-Giganten hält eBay den Viertgrößter Marktanteil, nach Amazon, Walmart und Apple. Dies bietet kleinen E-Commerce-Vermarktern und Unternehmen eine großartige Gelegenheit, Marktforschung zu betreiben und ihre Konkurrenten auf eBay auszuspionieren.

Dazu müssten Sie allerdings eBay-Angebote und Produktseiten durchsuchen, was nicht jedermanns Sache ist.

Aber machen Sie sich keinen Stress. Diese Anleitung stellt Ihnen zwei Methoden zum Durchsuchen von eBay für unterschiedliche Fähigkeiten vor. Aber bevor wir mit dem Scraping bei eBay beginnen, ist es wichtig, die Haltung von eBay zum Web Scraping zu kennen.

Wenn Sie neben eBay auch am Scraping anderer Plattformen interessiert sind, wie z. B. Instagram, TikTok, Walmart, Reddit, Facebook, und Twitter, fühlen Klicken Sie einfach und erkunden Sie unsere umfassenden, auf jede Plattform zugeschnittenen Anleitungen!

Erlaubt eBay Web Scraping?

In der eBay-Nutzungsvereinbarungwird klar und deutlich erklärt: „Sie erklären sich damit einverstanden, keine Roboter, Spider, Scraper, Data-Mining-Tools, Tools zur Datenerfassung und -extraktion oder andere automatisierte Mittel zu verwenden, um auf unsere Dienste zuzugreifen, zu welchem Zweck auch immer, außer mit der vorherigen ausdrücklichen Zustimmung von eBay.“

Diese Aussage geht direkt auf die Frage ein, und die Antwort lautet nein. Das bedeutet, dass Sie, unabhängig davon, ob Sie ein registrierter Benutzer oder ein Gast sind, an diese Bedingungen gebunden sind, sobald Sie die Website nutzen.

Insbesondere diejenigen mit einem eBay-Konto sollten es vermeiden, dieses zum Scraping von eBay zu verwenden. Dies kann zu einer dauerhaften Sperrung des Kontos führen, wie es bereits der Fall war trat bei einigen Benutzern auf.

Wenn Sie eBay jedoch scrapen, ohne angemeldet zu sein, bleibt Ihr Konto sicher. Zwar können weiterhin Anti-Scraping-Maßnahmen wie CAPTCHAs oder fehlgeschlagene Anfragen auftreten, aber zumindest ist Ihr Konto nicht gefährdet.

Darüber hinaus wird das Scraping öffentlich verfügbarer Daten weltweit allgemein als ethisch vertretbar angesehen, unabhängig von den Servicebedingungen von eBay. Da die meisten Daten auf eBay öffentlich zugänglich sind, können Sie eBay ohne größere Probleme scrapen.

Apropos öffentlich verfügbare eBay-Daten: Sehen wir uns an, welche öffentlich verfügbaren Daten sich zum Scrapen von eBay lohnen.

Wertvolle Daten zum Scrapen von eBay

Welche wertvollen eBay-Daten zum Scrapen variieren je nach Ihren Anforderungen. Möchten Sie Produktideen sammeln, einen bestimmten Wettbewerber analysieren oder eine allgemeine Marktforschung durchführen, um die Nachfrage zu ermitteln?
Was auch immer Ihr Ziel ist, die häufigsten Daten, für die ein eBay-Scraper verwendet wird, sind:

• Produktdetails:Produkttitel, Bild, Preis, Bewertung, Produktbeschreibung, Zustand, Artikelmerkmale usw.

• Produktlisten:Links, Titel, Bilder, Preise, Bewertungen usw.

• Verkäuferinformationen:Verkäuferbewertungen, Feedback-Score, Artikelkatalog, Kontaktdaten usw.
  

Obwohl wir in diesem Handbuch eBay nur nach wichtigen Datenfeldern durchsuchen, können Sie dieselbe Methode auch für andere Elemente verwenden, die wir hier nicht behandelt haben.

Zwei Methoden zum eBay-Scraping

Sie können eBay entweder mit einem No-Code-Scraping-Tool oder mit einer Programmiersprache wie Python scrapen. Diese Anleitung behandelt beide Methoden. Beginnen wir mit der No-Code-Tool-Methode.

1. eBay-Scraping mit einem No-Code-Tool

Wenn Sie keine Programmierkenntnisse haben, aber schnell und einfach eBay-Scraping durchführen möchten, gibt es zahlreiche benutzerfreundliche Web-Scraper, die das für Sie erledigen.

In dieser Anleitung verwenden wir ein solches Tool namens Octoparse zum Scrapen von eBay-Angeboten. Hier sind die Schritte, die Sie befolgen müssen:

Schritt 1: Octoparse herunterladen und einrichten

Gehen Sie zunächst zu Octoparse Website und Laden Sie die Anwendung herunter. Folgen Sie den Installationsanweisungen, um es auf Ihrem Computer einzurichten.

Nachdem Sie Octoparse heruntergeladen und installiert haben, öffnen Sie es und registrieren Sie sich entweder für ein neues Konto oder melden Sie sich mit Ihren bestehenden Google- oder Microsoft-Anmeldeinformationen an.

Hinweis: Es gibt zwei Möglichkeiten, eBay auf Octoparse zu scrapen.

Octoparse bietet zwei Möglichkeiten, eBay oder andere Websites zu scrapen: Zum einen können Sie eine vorgefertigte Vorlage zum Scrapen von eBay verwenden, zum anderen können Sie Ihren eigenen eBay-Scraper erstellen.

Das Scraping von eBay mit vorgefertigten Vorlagen ist einfach. Öffnen Sie die Vorlagengalerie, indem Sie auf die Schaltfläche „Vorlagen“ klicken, die im obigen Screenshot angezeigt wird. Suchen Sie nach „eBay“ und es werden alle eBay-Scraping-Vorlagen für verschiedene Aufgaben angezeigt, z. B. eBay-Shop-Scraper, Produkt- oder Produktlisten-Scraper usw.

In dieser Anleitung zeigen wir Ihnen jedoch, wie Sie eBay mit der zweiten Methode scrapen, die genauso einfach ist. Fahren wir also mit der Erstellung unseres benutzerdefinierten eBay-Scrapers fort.

Schritt 2: Geben Sie die eBay-URL ein, um einen automatischen Workflow zu erstellen.

Öffnen Sie Octoparse und kopieren Sie die URL der eBay-Seite, die Sie scrapen möchten. Fügen Sie sie in die Suchleiste in Octoparse ein und klicken Sie auf „Start“. Dadurch wird die eBay-Seite in Octoparse geöffnet.

Für diese Demo haben wir die URL einer Suchergebnisseite für die Suchanfrage „Boots“ verwendet.

Schritt 3: Zu scrapende Daten auswählen

Sobald Sie die Starttaste drücken, wird die Seite in Octoparse geladen. Octoparse erkennt außerdem automatisch Webseitendaten auf der Seite, die es als scrapbar erachtet.

Nach Abschluss der automatischen Erkennung sehen Sie, dass alle relevanten Produktdaten automatisch erkannt und mit entsprechenden Beschriftungen versehen wurden (einige Beschriftungen müssen möglicherweise umbenannt werden) und in der Datenvorschautabelle unten angezeigt werden.

Sie können auch Spalten löschen, die möglicherweise nicht mehr benötigt werden, indem Sie auf die Mülleimer-Schaltfläche rechts davon klicken.

Wenn Sie Glück haben und Die automatische Erkennung funktioniert gut. Octoparse übernimmt auch die Paginierung für Sie, damit Sie eBay-Angebote über die erste Seite hinaus scrapen können.

Sie müssen lediglich im Bereich „Tipps“ auf die Schaltfläche „Workflow erstellen“ klicken. Es wird automatisch ein Workflow generiert, der die Reihenfolge Ihres Scraping-Prozesses anzeigt. Sie können auch Schritte hinzufügen oder entfernen, die Sie für unnötig halten.

Schritt 4: Datenfelder anpassen

Da Octoparse den Datenfeldern automatisch Beschriftungen zuweist, können einige Felder falsche Namen haben. Benennen Sie diese Felder daher der Übersichtlichkeit halber um (z. B. „Produktname“, „Preis“).
Benennen wir beispielsweise diese Spalte um, die den „Zustand“ der Stiefel auflistet, aber „Info“ hieß. Doppelklicken Sie einfach auf den Spaltennamen und geben Sie den richtigen Namen ein.


Sobald Sie die Datenfelder fertiggestellt haben (d. h. unnötige Spalten gelöscht und Spaltennamen korrigiert haben), fahren Sie mit dem nächsten Schritt fort.

Schritt 5: Führen Sie Ihre Aufgabe aus

Nachdem Sie Ihre Aufgabe eingerichtet haben, klicken Sie oben rechts auf der Seite auf „Speichern“ und dann auf „Ausführen“, um mit dem Scraping von eBay zu beginnen. Octoparse navigiert durch die Seiten und scrapt eBay-Daten basierend auf Ihren Einstellungen.

Wenn Sie auf die Schaltfläche „Ausführen“ klicken, wird ein Popup-Fenster geöffnet, in dem Sie gefragt werden, ob Sie die Aufgabe auf Ihrem Gerät oder in der Cloud ausführen möchten. Für diese Demo wir werden es lokal ausführen.

Wenn Sie der Meinung sind, dass genügend Daten extrahiert wurden, müssen Sie manuell die Pause-Taste drücken, da es sonst möglicherweise nie zu einem Stopp kommt, da eBay unendlich viele Produkte hat.

Drücken Sie die Schaltfläche „Stopp“ und dann im angezeigten Popup-Fenster auf „Exportieren“.

Schritt 6: Daten exportieren

Jetzt können Sie die Daten je nach Bedarf als Excel, CSV oder in andere Formate exportieren.

2. eBay-Scraping mit Python

Scraping-Tools ohne Code sind zwar einfacher zu verwenden, bieten aber möglicherweise nicht die Präzision und Anpassungsmöglichkeiten, die Code bietet. Im Gegensatz dazu bietet die Programmierung Ihres eigenen eBay-Scrapers in Python mehr Flexibilität und Kontrolle, da Sie auf Elemente zugreifen können, die für eBay-Scraper ohne Code nicht zugänglich sind.

Der einzige Nachteil ist jedoch, dass Sie zumindest minimale Programmiererfahrung benötigen.

Wenn Sie also über diese Erfahrung verfügen, können Sie diese Schritte zum Erstellen eines eBay-Scrapers in Python befolgen.

1. Python installieren: Bevor Sie mit der Programmierung eines Python-eBay-Scrapers beginnen, stellen Sie sicher, dass Python auf Ihrem Computer installiert ist.
   

2. Erforderliche Bibliotheken installieren: Verwenden Sie pip, um die erforderlichen Bibliotheken zum Scraping von eBay zu installieren, z. B. „requests“ zum Senden von HTTP-Anfragen an die Produktseiten von eBay und „beautifulsoup4“ zum Parsen von HTML-Inhalten.
   

3. Bibliotheken importieren: Starten Sie Ihr Python-Skript, indem Sie die Anfragen und BeautifulSoup von bs4 importieren.
   

4. Inhalt der eBay-Seite anfordern: Verwenden Sie die Methode requests.get(), um den HTML-Inhalt der eBay-Produktseite abzurufen, die Sie scrapen möchten. In diesem Schritt beginnen wir mit dem eigentlichen Scraping von eBay.
   

5. HTML-Inhalt analysieren: Als Nächstes sollte Ihr Python-eBay-Scraper den abgerufenen HTML-Inhalt mit BeautifulSoup analysieren, um ihn durchsuchbar zu machen.
   

6. Daten extrahieren: Identifizieren und extrahieren Sie die erforderlichen Daten wie Produkttitel, Preis, Bewertung und Bilder. Verwenden Sie BeautifulSoups Methoden wie find() und find_all(), um HTML-Elemente anhand ihrer Klasse oder ID zu finden.
   

7. Extrahierte Daten speichern: Organisieren Sie die extrahierten Daten in einem strukturierten Format, z. B. einem Wörterbuch oder einer Liste, um die Handhabung und den Export zu vereinfachen.
   

Eine detaillierte Erklärung der einzelnen Schritte sowie Codeausschnitte finden Sie unterdieses Python-Tutorialfür das Scraping von eBay. Sie können eBay auch mithilfe von APIs scrapen. Davon gibt es mehrere im Internet, hier ist beispielsweise die offizielleeBay API Python.

Der beste Weg, eBay sicher und geschützt zu scrapen

Glücklicherweise sind wir beim Scrapen von eBay für dieses Tutorial nicht auf eBays Anti-Scraping-Hürden wie CAPTCHAs, Anfrageblockierung usw. gestoßen.

Wenn Sie Ihre eBay-Scraping-Aktivitäten jedoch intensivieren, können diese Abwehrmaßnahmen ausgelöst werden. Viele ununterbrochene Anfragen aus derselben Quelle können eBay dazu veranlassen, CAPTCHAs auszugeben oder Ihre IP zu blockieren.

Sie können zwar manuell einige Tipps zu Anti-Scraping-MaßnahmenSie erfordern technisches Know-how und sind möglicherweise nicht immer erfolgreich.

Mit AdsPower ist der Umgang mit den Anti-Scraping-Abwehrmechanismen von eBay ein Kinderspiel. Dieser Anti-Detect-Browser verwendet intelligente Techniken, um Ihren eBay-Scraper vor dem Anti-Bot-System zu verbergen. So wird die Arbeit einfacher:

• Erweiterte sichere Browserumgebung: AdsPower bietet eine hochsichere, unabhängige Browserumgebung, die verhindert, dass die Erkennungsmechanismen von eBay Scraping-Aktivitäten identifizieren. Die verbesserte Fingerabdruck-Anpassung stellt sicher, dass jedes Browserprofil das tatsächliche Nutzerverhalten nachahmt, wodurch Scraping sicherer und zuverlässiger wird.

• Unbegrenzte Browserprofile: Diese Funktion ermöglicht Ihnen die gleichzeitige Anmeldung bei mehreren eBay-Konten, ohne das Risiko Erkennung, perfekt für die Skalierung von Datenextraktionsprojekten.

• Nahtlose Proxy-Integration: AdsPower lässt sich mühelos mit allen wichtigen Proxy-Typen integrieren, einschließlich HTTP, HTTPS, Socks5 und SSH. Dies ermöglicht Ihnen die Rotation von IP-Adressen und das Scraping von verschiedenen Standorten weltweit, wodurch die geografischen Beschränkungen und Anti-Scraping-Maßnahmen von eBay umgangen werden.

Mit AdsPower erhalten Sie eine sichere, skalierbare und effiziente Lösung zum Scrapen von eBay-Daten, ohne sich um IP-Sperren, CAPTCHAs oder Kontosperrungen sorgen zu müssen. Melden Sie sich noch heute kostenlos an und erleben Sie, wie AdsPower sicheres Web Scraping neu definiert!