Hoe scrap je Etsy met en zonder code?

Etsy is de thuisbasis van handgemaakte goederen, vintage artikelen en ambachtelijk handwerk. Met bijna500 miljoenmaandelijkse bezoeken. Het is een zeer lucratieve markt voor verkopers die hun bedrijf willen laten groeien.

Weten wat goed verkoopt, de nieuwste trends volgen en concurrenten analyseren, is een must-have om uw bedrijf te laten groeien.

Het handmatig doorzoeken van miljoenen Etsy-productvermeldingen is echter te veel werk, zo niet onmogelijk.

Dat is het moment waarop je Etsy-gegevens moet schrapen. Als je dat doet, krijg je een heleboel waardevolle Etsy-gegevens in een georganiseerd formulier, terwijl je tegelijkertijd tijd en moeite bespaart.

Dat is precies waar deze gids over gaat. We laten je zien hoe je Etsy kunt scrapen met een no-code Etsy-scraper en Python. Dus, of je nu wel of geen programmeerervaring hebt, deze gids is nuttig.

2 manieren om Etsy te scrapen

Hieronder staan de twee methoden voor het scrapen van Etsy. De eerste gebruikt een Etsy-scraper zonder code en zal sp;helpt niet-programmeurs, terwijl de tweede afhankelijk is van Python. Kies dus uit twee benaderingen, gebaseerd op je vaardigheden.

Een kant-en-klare Etsy-scraper gebruiken

Vroeger was scraping alleen de taak van een programmeur. Maar met de opkomst van no-code scrapingtools is webscraping toegankelijk geworden voor iedereen met minimale computerkennis.

Vandaag gebruiken we een no-codetool genaamd Octoparse om Etsy te scrapen. Laten we beginnen met de stapsgewijze tutorial.

Stap 1: Octoparse downloaden en installeren

Bezoek deOctoparse websiteom de tool te downloaden. Nadat u de tool hebt gedownload, volgt u de eenvoudige stappen om deze op uw computer te installeren.

Start nu Octoparse en maak een nieuw account aan, of meld u aan met uw Google- of Microsoft-account als u er al een hebt.

Met Octoparse heb je twee opties om Etsy-gegevens te scrapen: met behulp van een vooraf gebouwde sjabloon of door een aangepaste scraper te maken.



Deze gids richt zich op het bouwen van een aangepaste Etsy-scraper. Hoewel het gebruik van een sjabloon relatief eenvoudig is, biedt het maken van je eigen sjabloon meer mogelijkheden voor aanpassing. Laten we daarmee beginnen.

Stap 2: Voer de URL van Etsy in voor een geautomatiseerde workflow

Start Octoparse en plak in de zoekbalk de URL van de Etsy-pagina die je wilt scrapen.

Je kunt de Etsy-productvermeldingspagina of de pagina met zoekresultaten schrapen. Octoparse kan elke URL verwerken.



Zodra je de URL hebt geplakt, klik je op "Start" om de Etsy-pagina in Octoparse te laden. Voor ons voorbeeld gebruiken we een pagina met zoekresultaten voorhandgemaakte kaarsen”.

Stap 3: Kies de gegevens die u wilt extraheren

Nadat u op Start hebt gedrukt, wordt de pagina geladen in Octoparse, die vervolgens automatisch de gegevens identificeert en labelt die deze als schrapbaar beschouwt.



Zodra dit proces is voltooid, ziet u alle gedetecteerde productgegevens gelabeld (mogelijk moet u sommige hernoemen voor de nauwkeurigheid) en weergegeven in een voorbeeldtabel hieronder.

U hebt de mogelijkheid om overbodige gegevenskolommen te verwijderen door op het prullenbakpictogram ernaast te klikken.

Als alles soepel verloopt, kan Octoparse ook automatisch paginering verwerken, zodat de scraper door meerdere pagina's kan navigeren.

Klik op 'Workflow maken' om een stroomdiagram van uw scrapingproject te bekijken. U kunt dit gerust aanpassen door stappen toe te voegen of te verwijderen indien nodig.



4e stap: Gegevenslabels aanpassen

Soms labelt Octoparse gegevensvelden verkeerd. U kunt dit corrigeren. Laten we bijvoorbeeld een kolom met de onjuiste naam 'titel' wijzigen in 'beoordeling'. door te dubbelklikken op de kolomnaam en de juiste in te voeren.



Verander op dezelfde manier andere verkeerd gelabelde kolomnamen.

U zult merken dat onze workflow ook wat nutteloze gegevens verzamelt, zoals valutasymbolen of knoptekst. U kunt deze velden verwijderen door op de drie puntjes naast de kolomnaam te klikken en 'Veld verwijderen' te selecteren. optie uit het menu.



Nadat u de gegevensvelden hebt georganiseerd en een naam hebt gegeven, ziet u hier hoe onze voorbeeldtabel eruitziet.



Stap 5: Start je Etsy-scraper

Zodra alles is ingesteld, klik je op "Opslaan" en vervolgens op "Uitvoeren" rechtsboven in het venster om te beginnen met het scrapen van gegevens van Etsy.



Er verschijnt een prompt met de vraag of u de taak liever op uw apparaat of in de cloud uitvoert. We hebben ervoor gekozen om deze tutorial lokaal uit te voeren.



Onthoud dat u de taak handmatig moet stoppen door op "Stoppen" of "Pauzeren" te klikken om te voorkomen dat deze voor onbepaalde tijd wordt uitgevoerd, aangezien we geen paginalimiet hebben ingesteld en Etsy mogelijk eindeloze pagina's heeft.



Stap 6: Exporteer de verzamelde Etsy-gegevens

Ten slotte kunt u de verzamelde gegevens exporteren naar formaten zoals Excel, CSV of andere formaten, afhankelijk van uw vereisten.

Webscraping van Etsy met Python

Hoewel scraping met no-code tools het makkelijkst is, is er ook een makkelijke manier om Etsy te scrapen met Python.

DeEtsy Python APIheeft ingebouwde functies om product- en leveranciersgegevens van Etsy te schrapen.

De product-scraping-functie neemt de product-URL als invoer en extraheert de product-ID, titel, beschrijving en prijs, onder andere ribben. De leveranciersfunctie werkt op dezelfde manier en retourneert gegevensvelden zoals de naam van de leverancier, de locatie, het aantal verkopen en de productlijst.

Het enige wat u nog hoeft te doen, is de bibliotheek op uw systeem te installeren met behulp vanpip install etsy_scraperen deze te importeren in uw script door te typenimporteer etsy_scraper.

Daarna roep je de product- of leveranciersfunctie aan met de relevante Etsy-URL als invoer, zoals deze;

importeren etsy_scraper productScrape(https://www.etsy.com/listing/540091623/italian-garden-essential-oil-candle?click_key=100bc1abf4cfe1ad2b3fef753903f0f5003a836b%3A540091623&click_sum=e4f02487&external=1&ref=hp_signed_out_opfy-1-1) vendorScrape(https://www.etsy.com/shop/OctoandCo?ref=shop-header-name&listing_id=540091623&from_page=listing)

Deze bibliotheek heeft echter een beperkte functionaliteit en kan geen Etsy-productpagina's of zoekresultaten schrapen.

Je moet dus een Etsy-scraper in Python helemaal opnieuw coderen. Hier zijn de basisstappen om dat te doen:

1. Python installeren:Download de nieuwste versie van Python vanaf de websiteofficiële website.
   
   
2. Installeer BeautifulSoup en andere bibliotheken:U moet de Python-bibliotheken installeren die nodig zijn voor webscraping.
   
   
   • BeautifulSoup4voor het parseren van HTML- en XML-documenten
   • verzoekenbibliotheek voor het maken van HTTP-verzoeken
   • lxmlvoor het parseren van XML en HTML in Python
   • soepzeefvoor geavanceerde CSS-selectie
     
     
3. Schrijf initiële code:Open uw code-editor en importeer BeautifulSoup vanuit bs4 en verzoeken.
   
   
4. Doe alsof je een browser bent:Neem in je script opHTTP-headersom een browserverzoek na te bootsen. Het wijzigen van deuser agentheader is vaak nodig om toegang te krijgen tot webpagina's die de toegang beperken tot scripts of bots.
   
   
5. De webpagina ophalen:Gebruik de bibliotheek 'aanvragen' om de Etsy-pagina op te halen die je wilt scrapen. Geef de URL en de headers door als argumenten.
   
   
6. Parse de pagina:Zodra u de pagina-inhoud hebt, gebruikt u BeautifulSoup om deze te parsen. Dit houdt in dat u een BeautifulSoup-object maakt en 'lxml' opgeeft als parser.
   
   
7. Gebruik CSS-selectoren:Inspecteer de Etsy-pagina om de CSS-selectoren te identificeren die overeenkomen met de gegevens die je wilt scrapen. Begrijp de structuur van de webpagina en vind de klassen of tags die de gewenste gegevens bevatten.
   
   
8. Gegevens extraheren:Loop door de elementen die zijn geselecteerd door de CSS-selectors en extraheer de informatie die u nodig hebt, zoals producttitels, prijzen, beoordelingen of afbeeldingen.
   
   
9. Gegevens exporteren:Zodra uw script werkt zoals verwacht, exporteert u de gegevens naar een bestandsformaat naar keuze, zoals CSV of JSON.

Voor een gedetailleerde tutorial met codefragmenten, ga naardeze blog.

Schraap Etsy zonder problemen

In onze tutorial hebben we alleen het oppervlak van de Etsy-gegevens geschraapt, dus we liepen niet tegen problemen aan. Het kan echter zijn dat je Etsy-scraper wat weerstand ondervindt als je grote hoeveelheden gegevens schrapt.

Het scrapen van grote hoeveelheden gegevens vereist het versturen van veel HTTP-verzoeken naar de Etsy-webserver, wat geen normaal menselijk gedrag is. Het kan het masker van je Etsy-scraper verwijderen, waardoor deze permanent wordt geblokkeerd.

Maar hier is het goede nieuws:AdsPowerkan je Etsy-projecten soepel laten verlopen zonder dat ze geblokkeerd raken.

AdsPower is een gerenommeerde anti-detectiebrowser die is ontworpen om uw scrapingactiviteiten te maskeren. Het maakt gebruik van geavanceerde technieken zoals proxyrotatie, fi vingerafdruk-spoofing en verzoekvertragingen om je scraper te camoufleren en het eruit te laten zien als gewoon browserverkeer naar Etsy's anti-botsystemen.

Meld je vandaag nog gratis aanbij AdsPower en scrap Etsy zonder angst voor blokkades of bans.