Voici comment récupérer des données sur Reddit de deux manières différentes et efficaces

Il est évident que les données générées par les utilisateurs de Reddit ont une valeur immense, à tel point queGoogle et OpenAI l'utilisent pour former leurs grands modèles de langage (LLM).

Ensuite, il existe d'autres règles restrictives définies par Reddit que vous devez respecter pour utiliser l'API. De plus, après leControverse Reddit 2023, l'API est payante et reste gratuite uniquement pour les outils de modération, les développeurs ou à des fins académiques.

Créer un scraper Reddit personnalisé

Votre prochaine option consiste à scraper Reddit sans API en créant un scraper Reddit personnalisé à partir de zéro. Ceci La méthode est difficile car elle nécessite des compétences avancées en programmation, mais elle est très prometteuse si vous parvenez à la mettre en œuvre.

Cette méthode vous permet de personnaliser le scraper pour extraire tout type de données que d'autres scrapers prêts à l'emploi peuvent extraire ne peut pas être extrait. De plus, vous pouvez écrire des scripts pour adapter les tâches de scraping à vos besoins.

Cependant, développer un scraper Reddit personnalisé n'est pas une mince affaire et est coûteux et chronophage.

Utilisez le scraper Reddit sans code

Vous n'avez pas d'expérience en codage ? Rien de grave. Il existe de nombreux outils de clic et de grattage qui ne nécessitent aucune programmation.

Ces outils se présentent sous la forme de logiciels conviviaux ou d'extensions de navigateur et vous permettent d'extraire des données de Reddit en quelques minutes après quelques clics de souris seulement.

Le vrai bon côté des choses, c'est que la plupart de ces outils proposent une formule gratuite qui suffit souvent à la plupart des utilisateurs.

Comment récupérer des données de Reddit avec ou sans code ?

Maintenant, sans plus attendre, passons aux choses sérieuses et découvrons comment scraper Reddit à l'aide d'un scraper Reddit sans code et d'une bibliothèque Python.

Scrape Reddit avec Parsehub (sans code)

L'extraction manuelle des données de Reddit peut prendre une éternité. Il faut trouver des publications, les ouvrir, attendre qu'elles se chargent, puis les charger manuellement. Même si copier et coller les données dans la feuille de calcul est faisable, cela reste contre-productif, surtout lorsqu'il s'agit de traiter des centaines de publications.

Laissez les scrapers web automatiques gérer cette tâche pour vous. Ces outils vous permettent de récupérer automatiquement presque tous les types de données de Reddit, y compris les noms d'utilisateur, les liens, les titres de publications, les dates, les images et les commentaires, pour n'en citer que quelques-uns.

Parmi les principaux outils de scraping Reddit sans code, on trouve ParseHub, Apify et Octoparse.

Comme indiqué précédemment, le scraping de Reddit à l'aide d'un outil sans code est un jeu d'enfant, mais vous avez besoin de quelques conseils pour commencer.

Alors, apprenons à extraire Reddit à l'aide de ParseHub.

• Téléchargez ParseHub : Rendez-vous sur la page officielle Site Web ParseHub et choisissez l'option de téléchargement appropriée pour votre système d'exploitation. Le programme d'installation sera téléchargé. Exécutez le programme d'installation et ParseHub s'installera en quelques minutes.

• Créer un compte : Si vous utilisez ParseHub pour la première fois, vous devrez inscrivez-vous et créez un compte. Le processus est extrêmement rapide. Saisissez simplement votre nom, votre adresse e-mail et votre mot de passe, et vous serez connecté à votre nouveau compte.

• Démarrer un nouveau projet : Sur l'écran d'accueil, cliquez sur le bouton Nouveau projet.
  
  

• Sur le nouvel écran, collez le lien du subreddit que vous souhaitez scraper. Nous vous recommandons d'utiliser l'ancienne mise en page de Reddit, car elle est la plus adaptée au scraping.

• Nous allons scraper le subreddit NBA pour une démonstration.
  
  

• Appuyez sur le bouton Démarrer et le subreddit se chargera sur l'écran principal.
  
  

• Sélectionner les données pertinentes : Supposons que nous souhaitions récupérer les titres et les liens de tous les articles. Cliquez sur le titre du premier article sur la page. L'article sélectionné Le premier titre deviendra vert et les autres titres de publication deviendront jaunes. Sélectionnez maintenant le deuxième titre de publication et tous les titres deviendront verts, indiquant qu'ils ont tous été sélectionnés.
  
  

• Sur le panneau latéral, donnez un nom approprié à la sélection, c'est-à-dire aux publications.
  
  

• Effectuer d'autres sélections : Supposons que nous souhaitions également connaître la date de chaque publication. Pour cela, cliquez sur le symbole « + » sur la sélection de publication et choisissez « Sélection relative ».
  
  

• Cliquez maintenant sur le titre du premier article, puis sur l'horodatage de l'article. La page entière commence à ressembler à ceci.
  
  

• Renommer la sélection nouvellement créée en date.
  
  

• La sélection de date extrait l'horodatage pertinent, mais nous voulons la date et l'heure de la publication. Cliquez donc sur le symbole « + » à côté de la sélection de date, cliquez sur Avancé pour ouvrir le menu complet, et sélectionnez Extraire.
  
  

• Ouvrez la liste déroulante à côté de Extraire et sélectionnez « Attribut de titre ».
  
  

• Vous remarquerez que la sélection extrait désormais les dates et les heures.
  
  

• Répétez pour plus de types de données : Répétez l'étape précédente pour les noms d'utilisateur, le nombre de commentaires et les votes positifs.
  
  

• Ajouter une pagination : les sélections effectuées jusqu'à présent extraient uniquement les données de la première page. Pour passer aux pages suivantes, cliquez sur le symbole « + » de la sélection de page et choisissez « Sélectionner ».
  
  

• Faites défiler vers le bas de la page et cliquez sur Suivant.
  
  

• Cliquez sur le symbole « + » sur la sélection suivante et choisissez « Cliquer ».
  
  

• Une fenêtre contextuelle apparaît vous demandant s'il s'agit du bouton de la page suivante. Sélectionnez Oui et saisissez le nombre de pages. ;doit être cliqué. Nous en avons écrit 2, donc au total, nous allons gratter 3 pages. Appuyez maintenant sur le bouton Répéter le modèle actuel.
  
  

• Le projet est prêt.
  
  

• Exécutez le projet : appuyez sur le bouton Obtenir les données.
  
  

• Sélectionnez Exécuter. Dans quelques minutes, les données seront prêtes. Choisissez le format de fichier souhaité.
  
  

Scrape Reddit avec Python (code)

Sachant comment récupérer des données sur Reddit à l'aide d'un outil sans code, vous vous demandez peut-être pourquoi les gens ont recours à l'écriture de scripts de programmation pour la même tâche.

La réponse réside dans la liberté qu'offre cette méthode.

En utilisant un scraper Reddit sans code, vous ne pouvez extraire que les types de données qu'il vous autorise à extraire. Il peut également y avoir d'autres limitations, telles que des limites de pages ou de publications.

Vous pourrez peut-être contourner ces limitations en optant pour le forfait premium. Mais cela peut mettre un bsp;dent dans votre portefeuille, et de plus, si vos exigences de scraping sont complexes, les scrappers sans code Reddit ne peuvent pas vous aider.

C'est à ce moment-là que vous devrez vous tourner vers le scraping de Reddit avec Python ou d'autres langages de programmation.

En récupérant Reddit avec Python, vous pourrez non seulement extraire n'importe quelle donnée et n'importe quel nombre de pages, mais vous pourrez également faire ainsi sans débourser un seul centime. Ce n'est le cas que si vous savez coder vous-même. Sinon, vous devrez engager un expert en scraping.

Voyons donc comment récupérer des données Reddit avec Python :

1. Installer les bibliothèques requises : Assurez-vous d'avoir installé les bibliothèques nécessaires, telles que PRAW (Python Reddit API Wrapper) et Pandas.

2. Créer une application Reddit : Accédez au site Web de Reddit et créez une nouvelle application. Obtenez l'ID client, le secret client, le nom d'utilisateur et le mot de passe.

3. Authentifier : utilisez les informations d'identification obtenues pour vous authentifier auprès de l'API de Reddit à l'aide de PRAW.

4. Choisissez Subreddit : Spécifiez le subreddit que vous souhaitez scraper.

5. Récupérer les données : utilisez PRAW pour récupérer les publications du subreddit choisi, c'est-à-dire spécifier le nombre de publications et les attributs souhaités.

6. Stocker les données : Stockez les données extraites dans un format approprié, tel qu'un DataFrame à l'aide de Pandas.

7. Analyser ou visualiser : Analysez ou visualisez les données extraites selon les besoins de votre projet ou analyse.
   
   

Pour une compréhension approfondie et des extraits de code pour chaque étape, rendez-vous sur ce blog détaillé.

Sécurisez votre activité de scraping contre le blocage

Selon Redditaccord d'utilisation, l'accès au site par automatisation et la récupération de données depuis Reddit sans consentement préalable sont interdits.

Cependant, il n'existe pas beaucoup d'informations sur les mesures préventives de Reddit contre le scraping, telles que les interdictions d'adresses IP ou les suspensions de comptes.

Cela pourrait indiquer l'attitude indulgente de Reddit envers le scraping. Mais il existe toujours des risques que votre scraper rencontre des obstacles tels que le CAPTCHA, des limites de débit ou des suspensions.

Voici ce que leLe navigateur anti-détection AdsPower est conçu pour être géré. AdsPower fait apparaître vos scrapers comme de vrais utilisateurs grâce à des mesures anti-empreintes digitales afin que vous puissiez extraire des données de manière transparente.

Maintenant que vous savez comment scraper Reddit avec et sans codage,Inscrivez-vous gratuitement à AdsPower et parcourez les subreddits utiles sans interruption.