Webscraping met Javascript: een uitgebreide handleiding

Wil je leren hoe je webscraping kunt doen met Javascript, maar weet je niet waar je moet beginnen? Geen zorgen.

In deze blog geven we je alle informatie die je nodig hebt om te beginnen met Javascriptscraping. Bovendien leiden we je stapsgewijs door het proces voor het scrapen van een website met JavaScript met Puppeteer.

Laten we beginnen.

Wat is JavaScript scraping?

In het digitale tijdperk van vandaag is JavaScript voor webscraping een essentiële vaardigheid geworden, niet alleen voor ontwikkelaars en data-enthousiastelingen, maar ook voor marketeers om te leren.

In de kern is JavaScript-scraping het proces waarbij op JavaScript gebaseerde bibliotheken of hulpmiddelen worden gebruikt om waardevolle gegevens van websites te extraheren. U kunt echter ook andere programmeertalen gebruiken, zoals Python om een website te scrapen, Javascript scraping is vooral handig voor het verzamelen van informatie van websites die veel JavaScript gebruiken om inhoud weer te geven.

Wanneer u een website scrapt met behulp van JavaScript, schrijft u in feite code om het proces van het verzamelen van gegevens uit een webbrowser te automatiseren. Het is een krachtige methode voor data-extractie, waarmee in relatief korte tijd enorme hoeveelheden informatie kunnen worden verzameld.

Of u nu markttrends wilt analyseren, concurrentie-informatie wilt verzamelen of data wilt verzamelen om leads voor uw bedrijf te genereren, data scraping met JavaScript kan een onschatbare tool zijn. Deze methode maakt gebruik van de mogelijkheden van JavaScript, een taal die diepgeworteld is in webontwikkeling, om te navigeren, data te selecteren en data van verschillende webpagina's te extraheren.

Nu we begrijpen wat Javascript webscraping inhoudt, gaan we kijken op welke manieren je Javascript kunt gebruiken om een site te scrapen.

3 veelgebruikte manieren om een website te scrapen met JavaScript

Er zijn verschillende manieren om Javascript te gebruiken om een website te scrapen. Maar welke moet je gebruiken? Het antwoord daarop hangt af van je scrapingvereisten. In dit gedeelte leggen we drie veelvoorkomende manieren uit waarop mensen een website scrapen met behulp van Javascript.

Proost op eenvoudige statische websites

Hebt u HTML-websites gezien waarvan de inhoud snel wordt geladen na de eerste aanvraag? Nou, dat komt omdat ze geen zware inhoud bevatten, zoals video's of complexe animaties. Bij het werken met dergelijke statische websites, kan het gebruik van Cheerio is een ideale keuze.

Door de onbewerkte HTML van de pagina op te halen via een HTTP-client, kunt u met Cheerio eenvoudig door de DOM navigeren en deze manipuleren.

Het is lichtgewicht en snel, vooral omdat het niet de volledige browseromgeving hoeft te laden. Zoals we al zeiden, is deze methode perfect voor eenvoudige, statische websites waar de gegevens direct beschikbaar zijn in de HTML-code.

Poppenspeler voor het scrapen van dynamische content

Als u met een complexere website werkt, met dynamische content zoals video's en afbeeldingen, of met sites die veel JavaScript gebruiken en waarvan de content dynamisch wordt geladen, is Puppeteer, een Node-bibliotheek, de beste keuze.

Puppeteer gebruikt een headless browser, een webbrowser zonder grafische gebruikersinterface (GUI), om te communiceren met webpagina's. Dit betekent Het kan gebruikersacties nabootsen, zoals het klikken op knoppen of scrollen, essentieel voor toegang tot inhoud die het resultaat is van deze interacties.

Puppeteer is krachtig voor het scrapen van moderne webapplicaties die afhankelijk zijn van AJAX en een volledige browseromgeving nodig hebben om JavaScript-code uit te voeren en content weer te geven.

Een website schrapen met jQuery

Soms hoeft u geen grote hoeveelheden gegevens te schrapen. U moet mogelijk snel informatie in één keer extraheren, zoals het schrapen van bepaalde e-mailadressen. In dergelijke gevallen isjQuery kan een handig hulpmiddel zijn. Hoewel het een client-side script is dat in de browser draait, kunt u jQuery gebruiken om eenvoudig gegevens van webpagina's te selecteren en te extraheren.

Deze methode is vooral handig voor ad-hoc scrapingtaken. Het is net zo eenvoudig als het openen van je console, het schrijven van een paar regels jQuery-code en het extraheren van de benodigde informatie. Deze aanpak is echter niet geschikt voor grootschalige of geautomatiseerde scrapingtaken.

Elk van deze methoden heeft zijn eigen voordelen en is geschikt voor verschillende scrapingbehoeften. Of het nu gaat om eenmalige data-extractie of een complexe scrapingtaak met dynamische content, JavaScript biedt een robuuste en flexibele oplossing.

In deze handleiding gaan we echter webscraping uitvoeren in Javascript met Puppeteer. We leggen je stap voor stap uit hoe je webscraping uitvoert met Javascript en Puppeteer.

Hoe voer je webscraping uit met Javascript en Puppeteer?

Web scraping kan soms ontmoedigend aanvoelen, maar de taak wordt 10x gemakkelijker als je de juiste tools kent. In deze sectie zullen we Ontdek hoe je Puppeteer, een Node-bibliotheek, kunt gebruiken voor webscraping. Puppeteer is een perfect JavaScript-hulpmiddel voor het scrapen van dynamische content.

Laten we het proces opsplitsen in drie eenvoudige stappen, waarin we laten zien hoe u afbeeldingen kunt schrapen van een Google-zoekopdracht naar "blije hond". Laten we erin duiken!

Stap 1: Een nieuwe map maken en Puppeteer installeren

Laten we eerst onze projectomgeving instellen. Maak eerst een nieuwe projectmap en initialiseer deze.

Installeer vervolgens Puppeteer, die we gaan gebruiken om te scrapen. Open je console en voer de volgende opdrachten uit:

• Voor het maken van een nieuwe map: mkdir web-scraping-puppeteer

• Voor het verplaatsen naar de map: cd web-scraping-puppeteer

• Initialiseren van een nieuw Node.js-project: npm init -y

• Puppeteer installeren: npm install puppeteer
  
  
  

Stap 2: De eerste code schrijven

Nu gaan we de eerste code schrijven om een browser te starten, naar Google Afbeeldingen te navigeren en te zoeken naar "happy do"-items. g". We zullen Puppeteer gebruiken om een nieuw browservenster te openen, de viewport in te stellen en te communiceren met de pagina-elementen.

Hier is de code voor deze stap:

Uitleg van de code:

• const puppeteer = require('puppeteer');

  • Weet je nog dat we in de eerste stap de Puppeteer in ons systeem hebben geïnstalleerd? Nou, deze regel importeert de Puppeteer-bibliotheek in het script. Vervolgens kunnen we de functionaliteiten ervan gebruiken om een headless browser te besturen.

• (async () => { ... })();

  • Deze regel zal een asynchrone functie declareren. Deze functie zal de webscraping-taken afhandelen. Asynchrone functies stellen ons in staat om Wacht tot bepaalde acties zijn voltooid (zoals het laden van pagina's) voordat u doorgaat naar de volgende stap, die cruciaal is bij het scrapen van websites.

• const browser = wachten puppeteer.launch();

  • Deze regel vertelt Puppeteer dat hij een nieuwe browsersessie moet starten. Het trefwoord waitword wordt gebruikt om ervoor te zorgen dat de browser volledig is gestart voordat het script verdergaat.

• const pagina = wachten browser.newPage();

  • Nadat u de browser hebt geopend, opent deze opdracht een nieuwe pagina (of tabblad) in de browser.

• wacht op pagina.goto('https://www.google.com/imghp?hl=en');

  • Het script navigeert van de geopende pagina naar de opgegeven URL, die in dit geval de zoekpagina van Google Afbeeldingen is. Het trefwoord 'await' zorgt ervoor dat de navigatie voltooid is voordat er verder wordt gegaan.

• wacht op pagina.setViewport({ breedte: 1080, hoogte: 1024 });

  • Hiermee stelt u de afmetingen van het weergavevenster (het zichtbare gedeelte van de pagina) in. Dit is belangrijk voor schermafbeeldingen of voor pagina's waarvan de lay-out verandert op basis van de schermgrootte.

• wacht op pagina.type('textarea[name="q"]','blije hond');

  • Deze opdracht simuleert het typen van de tekst 'blije hond' in een invoerveld op de pagina, specifiek een tekst met het naamkenmerk 'q' (wat in Google Afbeeldingen het zoekveld is).

• wacht op pagina.klik('button[type="submit"]');

  • Deze regel simuleert een klik op de knop Verzenden van het formulier, waardoor de zoekopdracht wordt gestart.

• await page.waitForNavigation();

  • Nadat u op de knop Verzenden hebt geklikt, wacht deze opdracht tot de paginanavigatie is voltooid (d.w.z. tot de zoekresultaten zijn geladen).

• wacht op browser.close();

  • Zodra alle voorgaande stappen zijn voltooid, sluit u met deze opdracht de browser.
    
    

Stap 3: De afbeelding van de "blije hond" ophalen van Google Afbeeldingen.

Nu is het onze bedoeling om de afbeelding te selecteren die we willen scrapen en de klasse, ID en bron-URL ervan te identificeren binnen de div.

Om dat te doen, moet u uw browser openen, zoeken naar "blije hond" en klikken op de afbeelding die u wilt schrapen. Nadat de afbeelding is uitgevouwen, klikt u er met de rechtermuisknop op en selecteert u de optie "Inspecteren".

De optie Inspecteren toont u de div-container van de afbeelding met de bijbehorende klasse, ID en bron-URL die u moet kopiëren om op te nemen in onze code.

Zo ziet de volledige code eruit:

In deze code:

• We zorgen er eerst voor dat Puppeteer naar Google Afbeeldingen navigeert en de zoekopdracht naar "blije hond" uitvoert.

• Zodra de resultaten zijn geladen, selecteren we alle afbeeldingen die overeenkomen met de klasse '.sFlh5c.pT0Scc.iPVvYb'.

• Vervolgens klikken we op de gewenste afbeelding in de lijst om de preview te activeren.

• We wachten tot de previewcontainer (#islsp) en de grote afbeelding erin geladen zijn.

• Ten slotte extraheren we het src-kenmerk van de grote afbeelding, die de bijbehorende URL bevat.
  
  

In het geval dat u zich afvraagt, hebben we in deze code 'als'- en 'anders'-instructies gebruikt om ervoor te zorgen dat Geeft als resultaat "Geen afbeeldingen gevonden met de opgegeven klasse" in het geval van de verkeerde klasse. Anders kan de code soms kapotgaan.

Je hebt nu met succes geleerd hoe je een website kunt scrapen met behulp van JavaScript en Puppeteer. Je kunt dezelfde aanpak gebruiken om meerdere afbeeldingen van elke website te scrapen.

Sommige websites staan u echter niet toe hun inhoud te scrapen. Ze hebben anti-scrapingtechnieken ingebouwd. die het moeilijk voor je maken om de klus te klaren. Of erger nog, je raakt misschien helemaal geblokkeerd.

Maar er is ook een oplossing voor dit probleem. Ga naar de volgende sectie om meer te weten te komen over hoe je websites scrapen zonder dat ze worden gedetecteerd of geblokkeerd.

Gebruik AdsPower voor onopgemerkt browsen

Als u een beveiligingslaag wilt toevoegen tijdens het scrapen van gegevens met behulp van JavaScript, is AdsPower de beste antidetectiebrowser die u kunt gebruiken.AdsPowerbrowser zorgt voor een naadloze webscraping-ervaring door anti-scraping-uitdagingen effectief te ontwijken.

Je kunt het ook gebruiken om meerdere gebruikersprofielen te maken en anoniem te blijven op het web.Meld u vandaag nog aan om uw account voor morgen veilig te stellen.

Afronden!

Leren hoe je webscraping uitvoert met behulp van JavaScript opent een wereld aan datamogelijkheden. Of het nu gaat om persoonlijke projecten of professionele analyses, hulpmiddelen zoals Puppeteer maken het toegankelijk en efficiënt.

Gebruik de techniek die in deze blog is genoemd en scrap de informatie die u nodig hebt. Vergeet ook niet om AdsPower te gebruiken voor veilig scrapen.