Hoe kun je eenvoudig van Alibaba scrapen?

Alibaba heeft een verbluffend monopolieop de Chinese e-commercemarkt. Omdat China wereldwijd bekendstaat om de productie van enorme hoeveelheden spullen, is Alibaba een vruchtbare bodem voor marketeers die de Chinese markt willen verkennen, goedkope producten willen vinden en flinke winsten willen maken.

Maar om deze goudmijn aan te boren, moet je weten hoe je Alibaba kunt scrapen. Gelukkig hebben we deze handleiding voor je.

We laten je zien hoe je Alibaba-producten kunt scrapen met een no-code scraper. Maar voordat we daaraan beginnen, laten we het hebben over wat Alibaba denkt over webscraping.

Is het legaal om Alibaba te scrapen?

Volgens de Alibaba Gebruiksvoorwaarden is het ten strengste verboden om zonder schriftelijke toestemming van Alibaba.com inhoud van de site “systematisch op te halen” om een verzameling, database of directory te maken of samen te stellen. Dit omvat het gebruik van robots, spiders, automatische apparaten of zelfs handmatige processen voor dergelijke doeleinden.

Het standpunt van Alibaba wordt steeds logischer als je bedenkt dat het platform in juni 2021 te maken kreeg met een ernstig datalek van 1,1 miljard gebruikersgegevens, inclusief gebruikersnamen en mobiele nummers.

Gezien deze omstandigheden is het duidelijk dat Alibaba de bescherming van de content van zijn site en de privacy van zijn gebruikers serieus neemt.

Het is echter belangrijk om onderscheid te maken tussen ongeautoriseerde datascraping en ethische webscraping. Het betreffende datalek was gericht op persoonlijke gebruikersinformatie, wat onder ongeautoriseerde webscraping valt.

Webscraping daarentegen, wanneer ethisch en voor legitieme doeleinden uitgevoerd, staat op andere gronden. Ethisch webscraping richt zich op het verzamelen van openbaar beschikbare gegevens, zoals productdetails, zonder persoonlijke informatie of de gezondheid van de site in gevaar te brengen.

Zo worden bijvoorbeeld productonderzoek en markt- of concurrentieanalyse vaak beschouwd als legitieme gronden voor webscraping op Alibaba of een ander platform.

Kortom, ja, je kunt Alibaba scrapen, maar zorg ervoor dat je dit om legitieme redenen doet en dat je de veilige procedures volgt.

En dat is precies waar dit artikel over gaat. We laten je zien hoe je Alibaba kunt scrapen voor openbaar beschikbare data zonder hun richtlijnen te overtreden.

Wat is de makkelijkste manier om Alibaba te scrapen?

Omdat marketeers geen duizendpoten zijn die zowel kunnen programmeren als hun vak beheersen, wordt webscraping op Alibaba een uitdaging voor hen.

Daar springen no-code Alibaba Scrapers in om de kloof te overbruggen. Hoewel er veel oplossingen beschikbaar zijn, hebben we voor deze handleiding een gratis Alibaba scraper gekozen: Octoparse.

No-Code Alibaba Scraper

Met behulp van Octoparse laten we je zien hoe je Alibaba-producten van een categoriepagina kunt scrapen. Je kunt deze methode echter voor elke pagina van een Alibaba-website gebruiken. Laten we, met dat in gedachten, beginnen met onze gids.

Twee manieren om Alibaba te scrapen met Octoparse

Octoparse biedt twee manieren om elk platform te scrapen. Je kunt een kant-en-klare scraper uit hun templatesgalerij gebruiken of een aangepaste webscrapingtaak voor elk platform bouwen.

Laten we eens in hun templategalerij zoeken naar een geschikte Alibaba Extractor-template. Klik op de knop 'Templates' en typ 'Alibaba'. in de zoekbalk.



Oei, het lijkt erop dat we hier op een dood spoor zitten. Octoparse heeft geen kant-en-klare Alibaba Scraper in zijn arsenaal.

Hoe kun je dan nu Alibaba scrapen? Daar komt de tweede methode van Octoparse goed van pas.

We moeten een eigen Alibaba-scraper maken, wat net zo eenvoudig is. Laten we beginnen met de stapsgewijze handleiding.


Stap 1: Octoparse downloaden en installeren

Octoparse wordt geleverd als softwareprogramma, dus download de nieuwste versie van Octoparse via hun downloadpagina.

Nadat de download is voltooid, start u de installatie en installeert u Octoparse door de instructies op het scherm te volgen.

Stap 2: Registreer voor een account

Om Octoparse te gebruiken, moet u zich registreren op het platform. U kunt een nieuw account aanmaken door uw e-mailadres te gebruiken en een sterk wachtwoord te kiezen, of door uw Google- of Microsoft-account te gebruiken voor een snelle registratie.



Stap 3: Kopieer en plak de URL van de Alibaba-pagina

Open Octoparse en plak de URL van de Alibaba-pagina die u wilt scrapen in de zoekbalk. Dit kan een willekeurige pagina zijn: een productpagina, een categoriepagina of zelfs een pagina met zoekresultaten.

Voor de demonstratie hebben we de categoriepagina 'In-ear hoofdtelefoons voor gaming' gekozen.



Zodra je de link hebt geplakt, druk je op de Start-knop naast de zoekbalk.



Stap 4: Laat Octoparse de pagina laden en automatisch gegevensvelden detecteren

Nadat u in de vorige stap op de startknop hebt gedrukt, begint Octoparse met het laden van de pagina en scant de automatische detectie de pagina op scrapbare gegevens. U ziet een tipvenster boven de pagina zweven dat de voortgang van de automatische detectie weergeeft.

Automatische detectie kan enige tijd duren, afhankelijk van de paginalengte en de hoeveelheid data, dus wacht even tot het klaar is.



Zodra de automatische detectie is voltooid, ziet u dat de gegevensvelden van elk product groen zijn gemarkeerd. Dit geeft aan dat deze gegevens automatisch zijn geselecteerd om te worden gescrapt.



Voor het gemak geeft Octoparse alle scrapbare gegevens op de webpagina weer in een tabel met gegevensvoorbeelden onderaan de pagina, met aparte kolommen voor elk type gegevens.

Als je deze tabel beter bekijkt, zie je dat Octoparse allerlei productgegevens heeft geselecteerd, waaronder nuttige informatie zoals producttitel, prijs, beoordeling en afbeelding, maar ook irrelevante gegevens zoals vetgedrukte zoekwoorden en knoptekst.

Laten we dit probleem in de volgende stap oplossen.

Stap 5: Irrelevante kolommen verwijderen

Gebruik de horizontale schuifbalk onder de tabel om alle kolommen te bekijken. Maak een shortlist van de kolommen die volgens jou onnodige gegevens bevatten.

We zagen bijvoorbeeld dat de kolommen met de naam Title1, Keywords, Mark en nog een paar andere geen waarde toevoegden.





Om een kolom te verwijderen, beweegt u de muis over de kolomnaam en drukt u op de verwijderknop die verschijnt. Doe dit voor alle overbodige kolommen.

Stap 6: De workflow aanmaken

De Alibaba Scraper is bijna klaar. Klik in het tippaneel op de knop “Workflow aanmaken” knop.



Hiermee wordt het stroomdiagram voor het scrapingproces gegenereerd. Het stroomdiagram toont de volgorde van de stappen die nodig zijn om de pagina van Alibaba te scrapen. U kunt de workflow aanpassen door stappen toe te voegen of te verwijderen. Om bijvoorbeeld gegevens te scrapen die verder gaan dan alleen de eerste plaats, kunt u paginering aan de workflow toevoegen.

Stap 7: Tabellabels hernoemen

Hoewel Octoparse de tabelkolommen automatisch heeft gelabeld, hebben ze niet allemaal de juiste naam. Zo heeft de kolom met de URL van het bedrijf bijvoorbeeld de verkeerde naam Jaar_URL. De kolom met beoordelingen is ook gelabeld als Weergave. Ook andere kolommen kunnen wel een naamswijziging gebruiken.



Om een kolom te hernoemen, dubbelklikt u op de kolomnaam en typt u de juiste naam.



Deze stap is noodzakelijk omdat deze in de toekomst nuttig zal zijn bij het verwijzen naar de kolommen.

Stap 8: Voer de Alibaba Scraper uit

Nadat je er zeker van bent dat alles in orde is en je Alibaba-scraper klaar is voor gebruik, is het tijd om de scraper uit te voeren.

Druk op de knop Opslaan rechtsboven in het scherm. Begin nu met het scrapen van Alibaba door op de knop Uitvoeren naast de knop Opslaan te klikken.



Als u op de knop Uitvoeren klikt, verschijnt er een pop-upvenster met twee opties voor het scrapen van Alibaba. U kunt kiezen om Alibaba lokaal of in de cloud te scrapen.