Wat zijn HTTP-headers: inzicht in de belangrijkste spelers in client-servercommunicatie

Heeft u de term "verzoeken" al eens gehoord in handleidingen voor webscraping? Dit zijn berichten die klanten naar websites sturen om toegang tot deze berichten, die vervolgens door de websiteserver worden geaccepteerd of afgewezen op basis van verschillende parameters die bekend staan als HTTP-headers.

HTTP-headers, die door beide partijen worden verzonden en ontvangen, dienen een doel dat verder gaat dan alleen het accepteren of afwijzen van verzoeken. Deze uitwisseling van verzoek- en antwoordberichten tussen de twee partijen vindt plaats aan de achterkant, buiten het zicht van de gebruiker.

U kunt ze echter nog steeds in uw browser zien. Dus, wat zijn HTTP-headers precies? Laten we in deze handleiding eens kijken hoe je HTTP-headers kunt bekijken.

Wat zijn HTTP-headers?

HTTP-headers, of browserheaders in lekentaal, fungeren als de enveloppen die informatie tussen uw webbrowser en de websiteserver dragen. Wanneer Als uw browser een webpagina opvraagt, stuurt deze een HTTP-verzoek naar de server met de vraag om die pagina. Dit bericht en het antwoord van de server bevatten HTTP-headers.

HTTP-headers zorgen ervoor dat de communicatie tussen uw browser en de website soepel, veilig en zo snel mogelijk verloopt. Ze kunnen de server bijvoorbeeld het volgende vertellen:

• welk type webpagina of bestand de browser kan verwerken

• Hoe de content moet worden weergegeven

• Hoe de communicatie tussen de browser en de server te beveiligen
  
  

Deze uitwisseling van HTTP-headers is bidirectioneel, d.w.z. zowel de client als de server nemen eraan deel. De headers aan de clientzijde kunnen informatie bevatten over de voorkeursformaten van de client (HTTP Accept Header) of identificatie van de client (User-Agent Header).

In reactie hierop kan de server de client informeren over het type content dat wordt geretourneerd (Content-Type Header) of het beveiligingsbeleid op de plaats (Strict-Transport-Security Header).

Weet u nog steeds niet wat HTTP-headers zijn? Laten we eens kijken hoe een browserheader eruitziet om het duidelijker te maken.

HTTP-headers volgen een eenvoudige sleutel-waardestructuur, ontworpen voor eenvoudig parsen en interpreteren door zowel clients als servers.

Elke browserheader bestaat uit een hoofdletterongevoelige naam, gevolgd door een dubbele punt (:), een spatie en vervolgens de waarde van de header.

Hier zijn enkele voorbeelden van HTTP-headers ter illustratie:

HeaderVeldNaam	Waarde
User-Agent:	Mozilla/5.0 (Windows NT 10.0, Win64 x64) AppleWebKit/537.36 (KHTML, zoals Gecko) Chrome/58.0.3029.110 Safari/537.3
Content-Type:	text/html; charset=UTF-8
Referer:	https://www.google.com/

4 soorten HTTP-headers

Dit waren slechts enkele headers. In werkelijkheid staan headers in een lange lijst en hebben ze verschillende typen. Laten we de verschillende typen HTTP-headers één voor één bekijken.

Aanvraagheaders

Inzicht in de vraag wat aanvraagheaders en responsheaders zijn, is een belangrijk onderdeel van de HTTP-headers.

Wanneer u verbinding maakt met een webserver, verstuurt uw browser, die als client fungeert, een bericht dat bekendstaat als een HTTP-aanvraag. In dit verzoek is een cruciaal onderdeel ingebouwd: verzoekheaders.

In HTTP/1.1 bestaan HTTP-verzoeken uit een verzoekregel gevolgd door een veld Verzoekheaders. Verzoeken zien er ongeveer zo uit:

Aanvraagregel→	GET /blog HTTP/1.1
Aanvraagheaders	Host: www.adspower.com Gebruikersagent: Mozilla/5.0 (Windows NT 10.0, Win64 x64) AppleWebKit/537.36 (KHTML, zoals Gecko) Chrome/58.0.3029.110 Safari/537.3 Accepteren: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 Accepteren-Taal: en-US,en;q=0.5 Verbinding: keep-alive

De aanvraagheaders geven meer informatie over de client of de resource die wordt aangevraagd.

Ze dienen meerdere doelen, zoals:

• Inhoudsonderhandeling:Door gebruik te maken van Accept, Accept-Language en vergelijkbare headers, kunnen clients onderhandelen over het inhoudstype, de taal en de codering met de server.

• Clientidentificatie:De User-Agent-header helpt de server bij het identificeren van de browser en het besturingssysteem van de client, zodat reacties kunnen worden afgestemd op de mogelijkheden van de client.

• Verbindingsbeheer:De verbindingsheader bevat opties zoals het openhouden van de verbinding voor verdere verzoeken.
  
  

InHTTP/2De opmaak is met een beetje gewijzigdpseudoheadersvervangen de aanvraagregel. De Host-headers zijn ook vervangen door de pseudoheader :authority.

Laten we eens kijken naar veelvoorkomende HTTP-headers voor een beter begrip van wat aanvraagheaders zijn.

• Gebruikersagent:Identificeert de browser, het besturingssysteem en het platform van de client voor de server.

• Accepteren:Specificeert de mediatypen die de client van de server wil ontvangen.

• Autorisatie:Bevat de inloggegevens voor de authenticatie van de client bij de server.

• Cookie:Verstuurt opgeslagen cookies van de client naar de server om de sessiestatus te behouden.

• Referer:Geeft de vorige webpagina aan van waaruit het verzoek is gedaan.
  
  

Responseheaders

Nadat een client een verzoek aan een webserver heeft verzonden, stuurt de server een bericht terug dat bekend staat als een HTTP-respons. Dit bericht gaat vergezeld van de status van het verzoek, gevolgd door de responsheaders.

De responsheaders informeren de client over de respons van de server en de bron die wordt teruggestuurd. Bekijk de antwoordheaders in een antwoordbericht.

Responsregel→	HTTP/1.1 200 OK
Responseheaders	Inhoudscodering: gzip Inhoudsbeveiligingsbeleid: frame-ancestors*.adspower.net Inhoudstype: text/html;charset=utf-8 Inhoudslengte: 21058 Datum: vr 8 mrt 2024 07:05:30 GMT ETag: "c561c68d0ba92bbeb8b0f612a9199f722e3a621a" Server: Apache/2.4.1 (Unix) Verbinding: Keep-Alive Cache-Control: geen cache Strict-Transport-Security: max-age=31536000 Keep-Alive: time-out=5, max=997
Opgehaalde bron	<!DOCTYPE html> <html> <head> <title>Welkom bij onze blog</title> </head> <body> <h1>Dit is onze blog</h1> <p>Welkom op onze blog, waar we inzichten en updates delen.</p> </body> </html>

De responsheaders vervullen verschillende rollen:

• Inhoudsverwerking:Via Content-Type en Content-Length zorgen responsheaders ervoor dat de client de inhoud correct interpreteert en weergeeft.

• Serverinformatie en -beheer:Headers zoals server- en specifieke besturingsinstructies (Cache-Control, Strict-Transport-Security) informeren de client over de server en geven instructies over hoe de content veilig kan worden verwerkt.

• Clientstatusbeheer:De Set-Cookieheader helpt bij het onderhouden van stateful sessies tussen de client en de server, voor meerdere verzoeken.
  
  

De algemene HTTP-headers die tot de aanvraagcategorie behoren, omvatten het volgende:

• Server:Specificeert de webserversoftware die wordt gebruikt.

• Strict-Transport-Security:Dwingt beveiligde (HTTPS) verbindingen met de server af.

• Content-Security-Policy:Definieert goedgekeurde bronnen van content die browsers moeten toestaan om te laden.

• Variabel:Geeft aan hoe toekomstige aanvraagheaders moeten worden gematcht om te bepalen of een gecacht antwoord kan worden gebruikt.

• ETag:Biedt een unieke identificatie voor een specifieke versie van een resource, voor cachevalidatie.
  
  

Behalve deze kunnen ontwikkelaars ook aangepaste HTTP-headers definiëren. Houd er echter rekening mee dat de oude naamgevingsconventie van het voorvoegsel "X-" voor een aangepaste header nog steeds van toepassing is.is verouderd.

Representatieheaders

Tijdens HTTP-communicatie wordt een type header verweven binnen HTTP-aanvragen en -reacties, zogenaamde representatieheaders. Om volledig te begrijpen wat HTTP-headers zijn, mogen we deze niet over het hoofd zien.

De representatieheaders definiëren de kenmerken van de payload van een HTTP-bericht in plaats van het bericht zelf.

Hun primaire rol is om informatie te verstrekken over het mediatype, de taal, de codering en andere aspecten van de verzonden of ontvangen gegevens.

Hier zijn veelvoorkomende HTTP-headers van dit type met hun voorbeeldwaarden:

Weergavekoptekst	Waarde
Content-Type:	text/html; charset=utf-8
Inhoudscodering:	gzip
Inhoud-Taal:	nl-NL
Inhoud-Locatie:	/documents/foo.xml

• Content-Type:identificeert het mediatype van de resource en specificeert zowel het type (bijv. tekst, toepassing, afbeelding) als het subtype, samen met eventuele bijbehorende parameters (bijv. charset=utf-8 voor tekencodering)

• Inhoudscodering:Specificeert alle coderingen die zijn toegepast op de hoofdtekst van het bericht, zoals compressie, zodat de ontvanger het bericht correct kan decoderen.

• Inhoud-Taal:Geeft de taal/talen aan die voor het publiek bedoeld zijn, waardoor lokalisatie van de inhoud mogelijk wordt.

• Content-Location:specificeert een alternatieve locatie voor de geretourneerde resource, met name als de resource beschikbaar is via meerdere URL's.
  
  

Payloadheaders

Een andere set browserheaders die HTTP-aanvraag- en antwoordberichten vergezellen, zijn payloadheaders. De payloadheaders bieden metadata over de payload zelf, in plaats van informatie over de weergave ervan. Het doel is om de gegevens veilig te transporteren en te reconstrueren volgens de representatie ervan.

Bekijk de voorbeelden van sleutel-waardeparen van veelgebruikte Payload-headers.

Weergavekoptekst	Waarde
Inhoudslengte:	21058
Inhoudsbereik:	bytes 200-1000/67589
Trailer:	Verloopt, Content-MD5
Overdrachtscodering:	geclusterd

• Content-Length:specificeert het aantal bytes van de berichttekst.

• Content-Range:specificeert de locatie van een gedeeltelijk bericht binnen de volledige berichttekst. Meestal gespecificeerd in bytes.

• Trailer:specificeert welke headers aan het einde van de berichtpayload worden opgenomen in het trailergedeelte van een bericht.

• Overdrachtscodering:specificeert hoe een berichttekst wordt gecodeerd en via het netwerk van de server naar de client wordt verzonden.
  
  

Opmerking:Veel webpagina's vermelden nog steedsAlgemene headersenEntiteitsheaders als een categorie van HTTP-headers. De huidige versie van de HTTP/1.1-specificatie ondersteunt ze echter niet meer.

Hoe controleer ik mijn HTTP-headers?

De hierboven genoemde headervelden vertegenwoordigen slechts een paar van de meest voorkomende HTTP-headers die beschikbaar zijn. Gelukkig biedt uw browser een gedetailleerd overzicht van de HTTP-headers die door uw browser zijn verzonden en ontvangen.

Als u na het lezen van deze handleiding nieuwsgierig bent naar “wat is de header van mijn browser”, of "hoe ziet een header eruit", laten we de HTTP-headers in je browser bekijken om erachter te komen.

1. Begin door een nieuw tabblad in je browser te openen. Ga verder met zoeken naar iets of navigeer rechtstreeks naar een website.

2. Zodra de webpagina volledig is geladen, krijg je toegang tot de ontwikkelaarstools in je browser door op de F12-toets te drukken.

3. Zoek en selecteer in de interface van de ontwikkelaarstools het tabblad 'Netwerk'.

4. Herlaad de huidige pagina door op Ctrl+R te drukken of door op de knop Herladen in uw browser te drukken.

5. Na het opnieuw laden laadt het ontwikkelaarspaneel de bijgewerkte gegevens. Zoek naar de eerste aanvraag die wordt vermeld onder de kolom 'Naam' en selecteer deze.

6. Na selectie wordt een gedetailleerd paneel geopend met een gedetailleerde weergave van zowel de aanvraag- als de antwoordheaders die aan de geselecteerde aanvraag zijn gekoppeld.
   
   
   
   

Neem de controle over uw HTTP-headers met AdsPower

Als webscraper kan de webserver snel herkennen dat u een geautomatiseerde bot gebruikt om toegang te krijgen tot hun site in plaats van een standaard webbrowser. Dit leidt vaak tot aanvankelijke obstakels zoals CAPTCHA's en uiteindelijk tot volledige blokkering.

Er is echter een oplossing beschikbaar. Door uw aanvraagheaders aan te passen zodat ze lijken op die van een echte gebruiker die op internet surft, kunt u deze obstakels vermijden. Maar maak u geen zorgen - Net zoals we u hebben verteld wat HTTP-headers zijn, hebben we ook een tool klaar om u daarbij te helpen.

AdsPowerMet de anti-detectiebrowser kunt u relevante browserheaders aanpassen om soepele toegang tot websites te garanderen zonder onderbrekingen. Of het nu Chrome-headers of Firefox-headers zijn, AdsPower heeft een oplossing voor beide.

Dus, Meld je vandaag nog aanen neem afscheid van slechte HTTP-headers.