Een gedetailleerde handleiding voor het gebruik van Amazon Scraper

Webscraping via Amazon kan zeer lucratief zijn voor bedrijven, mits slim uitgevoerd. Gelooft u ons niet? Overweeg dan:dit verhaalvan een website die binnen slechts twee maanden een verbluffende $ 800.000 verdiende, terwijl ze alleen maar dagelijks Amazon-recensies verzamelden. Cool, hè?

We kunnen je niet beloven dat je in één nacht een hoop geld verdient, maar we kunnen je wel leren hoe je Amazon kunt gebruiken om dat doel te bereiken.

Lees deze blog om twee manieren te leren om Amazon te scrapen: één met een no-code Amazon Scraper en een andere waarbij we een Python Amazon Scraper bouwen met behulp van code.

Maar laten we eerst eens kijken of het oké is om Amazon te scrapen.

Is het legaal om Amazon te scrapen?

De regels voor het scrapen van Amazon zijn wat vaag.robots.txtHet bestand beschrijft de toegestane scrapingparameters in een lange lijst die specificeert welke delen gescrapt mogen worden en welke delen strikt verboden zijn.

Het robots.txt-bestand dient echter slechts als ethische richtlijn en is niet juridisch bindend. Je Amazon-scraper kan dus toegang krijgen tot verboden gebieden zonder dat er problemen optreden.

Amazon stopt hier echter niet. Het gaat verder door technische barrières te implementeren om te voorkomen dat bots de servers overbelasten.

Het maakt bijvoorbeeld gebruik van anti-scrapingmaatregelen zoals CAPTCHA-tests en snelheidsbeperking. Om deze obstakels te overwinnen, moet je Amazon-scraper beschikken over geavanceerde techniekenzoals user-agent-spoofing,CAPTCHA oplossen, of het vertragen van verzoeken, anders zou uw Amazon-scraping-poging een droom blijven.

Daarom, om kort te antwoorden“Staat Amazon webscraping toe?”: De rechtmatigheid van webscraping van Amazon-gegevens is niet eenduidig en hangt af van verschillende factoren, waaronder

• het type gescrapede gegevens
• de methoden die worden gebruikt voor het scrapen
• en het doel van de gescrapete gegevens

een dataanalysebedrijf dat door LinkedIn is aangeklaagdonder de CFAA, wegens ongeoorloofd webscrapen.

Bovendien moet u ervoor zorgen dat uw gebruik van gescrapete data legaal is. Dat wil zeggen, u mag deze niet doorverkopen of repliceren, aangezien dit ernstige juridische gevolgen kan hebben.

Nu de hamvraag: hoe scrap je Amazon?

Hoe scrap je Amazon?

Ondanks technische uitdagingen is het eenvoudig om Amazon te scrapen. Er zijn veel code- en no-code-tools op Amazon die scrapen met oplossingen om de anti-botmaatregelen van Amazon aan te pakken. Met deze tools kun je eenvoudig Amazon-recensies, producten, prijzen en andere gegevens scrapen.

Laten we dus eerst beginnen met de no-code Amazon Scraper.

No-Code Amazon Scraper:

Laten we eerlijk zijn, de kans is groot dat de huidige lezer die dit leest geen programmeervaardigheden heeft. Maar dat is geen probleem. Je hebt geen programmeerkennis nodig als er geen codeerbare Amazon-scrapers beschikbaar zijn.

Met deze tools geeft u gewoon de URL's van de product- of categoriepagina's op en de scraper haalt alle Amazon-productgegevens van die pagina op. Zodra de scraper klaar is met het webscrapen van Amazon, krijgt u ook verschillende opties om bestanden op te slaan.

We hebben voor deze demo gekozen voor Apify's Amazon Scraper. Apify heeft aparte tools voor het scrapen van verschillende onderdelen van Amazon, waaronder Amazon Product Scraper, Amazon Review Scraper en Amazon Bestsellers Scraper.

In deze handleiding gebruiken we Apify's Amazon Product Scraper. De Amazon Product Scraper heeft functies om CAPTCHA's op te lossen en proxy's in te stellen om anti-botmaatregelen te omzeilen.

Laten we beginnen met de demo.

Stap 1: Bezoek de Amazon-productscraperpagina

Ga naar deAmazon Product ScraperGa naar de Apify Store en klik op de knop 'Gratis proberen'. Met deze tool kunt u productgegevens van Amazon schrapen, waaronder prijzen, recensies, productbeschrijvingen, afbeeldingen en nog verschillende andere kenmerken.

Stap 2: Maak uw Apify-account aan

Bent u nieuw? Meld u dan gratis aan voor een Apify-account. Het platform biedt aanmeldingsmogelijkheden via e-mail, Google of GitHub.

Stap 3: Amazon-URL's van doelcontent plakken

Voer in de Apify Console de URL in van het Amazon-product of de Amazon-categorie die u wilt scrapen. We hebben hiervoor de volgende methode gebruiktVideogameconsoles en accessoiresen deMeubelscategorie in dit voorbeeld.



U kunt meer links invoegen door op de knop ‘+ Toevoegen’ te klikken. Of als er veel links zijn, kun je ze gewoon allemaal toevoegen aan een tekstbestand en uploaden naar de Amazon Scraper.

Bepaal ook het maximale aantal items dat je wilt scrapen door een limiet in te stellen in het veld 'Max. items'. We hebben dit ingesteld op 15, maar je kunt het zo hoog instellen als je wilt.

Stap 4: Schakel de CAPTCHA-oplosser in

Je kunt Amazon niet scrapen zonder een CAPTCHA-oplosser. Amazon staat erom bekend zeer efficiënt te zijn in het detecteren van bots. Zodra het botactiviteit vermoedt, stuurt het een CAPTCHA naar de bot.

Om ervoor te zorgen dat je Amazon Scraper probleemloos werkt, schakel je CAPTCHA-oplossing in.

Stap 5: Proxy configureren

Het gebruik van een proxy is essentieel om anti-scrapingmaatregelen te omzeilen. De Amazon-scraper biedt verschillende proxyopties, waaronder Residential, Datacenter of uw eigen proxy, om scrapingactiviteiten te maskeren en beperkingen te omzeilen. Lees meer over deverschillen tussen residentiële en datacenterproxy'sin onze andere blog.

De residentiële proxy-optie is standaard geselecteerd, omdat deze het beste is voor anti-scraping-systemen.

Stap 6: De Scraper starten

Start de Amazon Productscraper met de juiste parameters door op 'Start' te drukken. knop onderaan de pagina.

De status verandert van 'Actief' naar 'Geslaagd' na voltooiing.



Na voltooiing ziet u een voorbeeld van de gegevens op uw scherm.

Stap 7: Exporteer uw bestand

Klik op de knop 'Resultaten exporteren' om uw verzamelde gegevens te downloaden. Het platform ondersteunt meerdere formaten, waaronder CSV, JSON en Excel.

Python Amazon Scraper met behulp van programmeren

In de no-code Amazon Scraper die we hierboven gebruikten, mislukten, als je goed kijkt naar de eerder genoemde stap 6, 69 van de 173 verzoeken. Dit komt doordat Amazon deze verzoeken blokkeert.

Om dit probleem te omzeilen, moet je je eigen scrapingscript programmeren. In deze handleiding maken we een Python Amazon-productscraper.

Laten we beginnen.

Stap 1: Python installeren

Om onze Python Amazon-scraper te coderen, is het essentieel dat Python op je computer geïnstalleerd is. Het wordt aanbevolen omDownload de nieuwsteof recente versies voor compatibiliteit met de vereiste bibliotheken.

Stap 2: Noodzakelijke bibliotheken importeren

De kern van elke Amazon-scraper is het ophalen en parseren van webcontent. Hiervoor gebruiken we een combinatie van Python-bibliotheken.

• Verzoeken:voor het indienen van HTTP-verzoeken naar de website van Amazon
• BeautifulSoup:Navigeren en parseren van de geretourneerde HTML-inhoud
• lxml:voor parseren
• Panda's:voor het organiseren en exporteren van gegevens
  
  

Voordat u ze importeert, moet u ze installeren met de volgende opdracht:

python -m pip install requests beautifulsoup4 lxml pandas

Nu importeren we ze in ons Python-script voor de Amazon-scraper:

importverzoeken van bs4 import BeautifulSoup van urllib.parseimporturljoin importpandasalspd

Stap 3: HTTP-headers configureren

Een veelvoorkomend obstakel bij het webscrapen van Amazon zijn de verdedigingsmaatregelen van Amazon tegen geautomatiseerde toegang. Om dit te voorkomen, bootst ons Python-script voor de Amazon-scraper het verzoek van een webbrowser na door aangepaste HTTP-headers op te nemen, zoals'Gebruiker-Agent'en 'Acceptatie-Taal'.

Het is beter om meer headers toe te voegen.

custom_headers = { 'Gebruikersagent': 'Mozilla/5.0(Windows NT 10.0;Win64;x64)AppleWebKit/537.36(KHTML, zoals Gecko)Chrome/122.0.0.0Safari/537.36', 'Accept-Taal':'en-US,en;q=0.9', 'Accept-Encoding': 'gzip, deflate, br, zstd', 'Accepteren': 'image/avif,image/webp,image/apng,image/svg+xml,image/*,*/*;q=0.8', 'Referer':'https://www.amazon.com/' }

Om deze headers voor uw browser op te halen,

• Druk op F12 op een Amazon-pagina om de ontwikkelaarstools te openen.
• Open het tabblad Netwerken en selecteer kopteksten
• Laad de pagina opnieuw
• Selecteer de eerste aanvraag
• Scroll op het tabblad Kopteksten naar beneden naar de sectie Aanvraagkopteksten en kopieer de waarden van de hierboven genoemde kopteksten.
  
  
  
  

Zonder deze headers is de kans groot dat Amazon de get-verzoeken blokkeert en een reactie zoals de volgende retourneert met statuscode 503 (fout) in plaats van 200 (geslaagd).

Voor geautomatiseerde toegang tot Amazon-gegevens kunt u contact opnemen met api-services-support@amazon.com.

Stap 4: Productinformatie extraheren

Onze Amazon Product Scraper bevat de volgende functie:scrape_amazon_productdie de cruciale taak van het extraheren van productgegevens uitvoert. De functie neemt de URL van de Amazon-categoriepagina als invoer en retourneert een woordenboek met de productinformatie.

De methode stuurt vervolgens een verzoek naar Amazon met behulp van de URL en de aangepaste headervariabele die we hierboven hebben gemaakt.

Daarna halen we met behulp van de CSS-selectors van BeautifulSoup de producttitel, prijs, afbeeldings-URL en beschrijving op van de afzonderlijke productpagina's.

def scrape_amazon_product(url): response = requests.get(url, headers=custom_headers) als response.status_code != 200: print(f"Fout bij het ophalen van de webpagina:{url}") return Geen soep = BeautifulSoup(response.text, "lxml") title_element=soup.select_one("#productTitle") titel =title_element.text.strip() if title_element anders Geen price_element= soup.select_one('span.a-offscreen') prijs = price_element.textif price_elementanders Geen image_element= soup.select_one("#landingImage") image = image_element.attrs.get("src") als image_element anders Geen description_element = soup.select_one("#productDescription") description = description_element.text.strip() if description_element anders Geen return { "title": title, "prijs": prijs, "image": image, "description": description, "url": url }

Stap 5: Omgaan met productvermeldingen en Paginering

Voor ons Amazon-scraper Python-script om uitgebreide gegevens te verzamelen door door categoriepagina's te bladeren en paginering te verwerken, navigeert het script door de productvermeldingspagina's van Amazon.

Het identificeert productlinks met behulp van CSS-selectors en volgt de paginering door de 'Volgende'-pagina te detecteren link.

bezochte_urls=set() defparse_pages(listing_url): globaal bezochte_urls response=requests.get(listing_url, headers=custom_headers) print(response.status_code) soup_search = BeautifulSoup(response.text, "lxml") link_elements = soup_search.select("[data-asin] h2 a") pagina_gegevens= [] voor linkin link_elementen: full_url = urljoin(listing_url, link.attrs.get("href")) if full_urlniet in bezochte_urls: bezochte_urls.add(volledige_url) print(f"Product schrapen van {full_url[:100]}", flush=True) product_info = scrape_amazon_product(full_url) if product_info: page_data.append(product_info) next_page_el= soup_search.select_one('a.s-pagination-next') if next_page_el: next_page_url = next_page_el.attrs.get('href') volgende_pagina_url = urljoin(listing_url, volgende_pagina_url) print(f'Scraping volgende pagina: {next_page_url}', flush=True) page_data+= parse_pages(next_page_url) return page_data

Stap 6: Gescrapt data opslaan

Ten slotte worden de gescrapt data samengevoegd tot een lijst met woordenboeken, die vervolgens worden omgezet in een Pandas DataFrame. Dit DataFrame wordt vervolgens geëxporteerd als een CSV-bestand.

def main(): data = [] search_url = "https://www.amazon.com/s?k=dell&rh=n%3A13896617011&ref=nb_sb_noss" data = parse_pages(search_url) df = pd.DataFrame(data) df.to_csv("Computer_Tablets.csv", orient='records') if __naam__== '__main__': main()

Gebruik Amazon Scraper onopvallend

Amazon scrapen is meestal eenvoudig. Je kunt echter te maken krijgen met meerdere uitdagingen, zoals CAPTCHA's, blokkeringen van verzoeken en snelheidslimieten.

Om deze problemen te voorkomen, kun je een antidetectiebrowser gebruiken, zoalsAdsPower. AdsPower zorgt ervoor dat uw Amazon-scraper onopgemerkt blijft door functies aan te bieden zoals vingerafdrukspoofing en proxyrotaties.

Dus Meld je nu gratis aan en begin naadloos met het scrapen van Amazon.