Cómo rastrear contenido en Reddit de dos maneras diferentes y efectivas

Es obvio que los datos generados por los usuarios de Reddit tienen un valor inmenso, tanto queGoogle y OpenAI lo usan para entrenar sus grandes modelos de lenguaje (LLM).

Luego, existen otras reglas restrictivas establecidas por Reddit que debes cumplir para usar la API. Además de eso, después de Controversia de Reddit de 2023, la API tiene un coste y solo permanece gratuita para desarrolladores de herramientas de moderación o fines académicos.

Crea un raspador de Reddit personalizado

Tu siguiente opción es raspar Reddit sin API creando un raspador de Reddit personalizado desde cero. Esto El método es difícil porque requiere habilidades avanzadas de programación, pero es muy prometedor si logras hacerlo.

Este método le permite personalizar el raspador para extraer cualquier tipo de datos que otros raspadores predefinidos podrían extraer. No podrá extraer. Además, puede escribir scripts para ampliar las tareas de raspado según sus necesidades.

Sin embargo, desarrollar un raspador de Reddit personalizado no es tarea fácil, es costoso y requiere mucho tiempo.

Usa el raspador de Reddit sin código

¿No tienes experiencia en codificación? No es gran cosa. Hay muchísimas herramientas de clic y raspado que no requieren programación.

Estas herramientas vienen en forma de software fácil de usar o extensiones de navegador y te permiten extraer datos de Reddit en cuestión de minutos con solo unos pocos clics del mouse.

El lado positivo es que la mayoría de estas herramientas tienen un plan gratuito que suele ser suficiente para la mayoría de los usuarios.

¿Cómo extraer datos de Reddit usando código y sin código?

Ahora, sin más preámbulos, pongámonos manos a la obra y descubramos cómo extraer datos de Reddit usando un raspador de Reddit sin código y una biblioteca de Python.

Extraer contenido de Reddit con Parsehub (sin código)

Deja que los raspadores web automáticos se encarguen de este trabajo por ti. Estas herramientas te permiten raspar automáticamente casi todo tipo de datos de Reddit, incluidos nombres de usuario, enlaces, títulos de publicaciones, fechas, imágenes y comentarios, por nombrar algunos.

Algunas de las principales herramientas de raspado de datos sin código de Reddit incluyen ParseHub, Apify y Octoparse.

Como se indicó anteriormente, extraer datos de Reddit con una herramienta sin código es muy fácil, pero se necesita orientación para comenzar.

Aprendamos a extraer datos de Reddit con ParseHub.

• Descargar ParseHub: Visita la página oficial de Sitio web de ParseHub y elija la opción de descarga adecuada para su sistema operativo. Se descargará el programa de instalación. Ejecútelo y ParseHub se instalará en unos minutos.

• Crear cuenta: Si es la primera vez que usas ParseHub, tendrás queRegístrate y crea una cuenta. El proceso es rapidísimo. Solo introduce tu nombre, correo electrónico y contraseña, e iniciarás sesión en tu nueva cuenta.

• Iniciar nuevo proyecto: En la pantalla de inicio, haga clic en el botón Nuevo proyecto.
  
  

• En la nueva pantalla, pega el enlace del subreddit que quieres extraer. Te recomendamos que uses el diseño anterior de Reddit, ya que funciona mejor para fines de extracción.

• Estaremos recopilando información del subreddit de la NBA para una demostración.
  
  

• Presiona el botón de inicio y el subreddit se cargará en la pantalla principal.
  
  

• Seleccionar datos relevantes: Digamos que queremos extraer los títulos y enlaces de todas las publicaciones. Haga clic en el título de la primera publicación de la página. La publicación seleccionada El primer título se volverá verde y los demás títulos de publicaciones se volverán amarillos. Ahora, seleccione el segundo título de publicación y todos los títulos se volverán verdes, lo que indica que todos han sido seleccionados. />
  

• En el panel lateral, asigne un nombre apropiado a la selección, es decir, a las publicaciones.
  
  

• Realizar más selecciones: Supongamos que también queremos la fecha de cada publicación. Para ello, haga clic en el símbolo "+" de la selección de publicaciones y elija Selección relativa.
  
  

• Ahora haz clic en el título de la primera publicación y, después, en la marca de tiempo de la publicación. La página completa comienza con este aspecto.
  
  

• Renombrar la selección recién creada a la fecha.
  
  

• La selección de fecha extrae la marca de tiempo relevante, pero queremos la fecha y la hora de la publicación. Entonces, haga clic en el símbolo“+” junto a la selección de fecha, haga clic en Avanzado para abrir el menú completo y seleccione Extraer.
  
  

• Abre el menú desplegable junto a Extraer y selecciona "Atributo de título".
  
  

• Notarás que la selección ahora muestra las fechas y las horas.
  
  

• Repetir para más tipos de datos: Repita el paso anterior para nombres de usuario, recuento de comentarios y votos positivos.
  
  

• Añadir paginación: Las selecciones hasta ahora solo extraen los datos de la primera página. Para pasar a las siguientes páginas, haga clic en el símbolo "+" de la selección de página y seleccione Seleccionar.
  
  

• Desplázate hacia abajo hasta el final de la página y haz clic en siguiente.
  
  

• Haga clic en el símbolo "+" en la siguiente selección y elija Hacer clic.
  
  

• Aparece una ventana emergente que pregunta si este es el botón de la siguiente página. Seleccione Sí e ingrese el número de páginas. ;debería hacer clic. Escribimos 2, así que en total, rasparemos 3 páginas. Ahora presione el botón Repetir Plantilla Actual.
  
  

• El proyecto está listo.
  
  

• Ejecutar el proyecto: Presione el botón Obtener datos.
  
  

• Seleccione Ejecutar. En un par de minutos, los datos estarán listos. Elija el formato de archivo que desee.
  
  

Extraer contenido de Reddit con Python (Código)

Al saber cómo extraer datos de Reddit con una herramienta sin código, te preguntarás por qué la gente recurre a escribir scripts de programación para la misma tarea.

La respuesta está en la libertad que ofrece este método.

Al usar un raspador de Reddit sin código, solo puedes raspar los tipos de datos que te permite. También puede haber otras limitaciones, como límites de páginas o límites de publicaciones.

Es posible que puedas evitar estas limitaciones si actualizas al plan premium. Pero eso puede poner un bsp;abolladuras en tu billetera, y además, si tus requisitos de raspado son complejos, los raspadores de Reddit sin código no pueden ayudarte.

Aquí es cuando tendrás que recurrir a raspar Reddit con Python u otros lenguajes de programación.

data-type="text">Al extraer datos de Reddit con Python, no solo podrá extraer cualquier dato y cualquier número de páginas, sino que también podrá oing así sin pagar ni un solo centavo. Solo es el caso si usted mismo sabe codificar. De lo contrario, tendrá que contratar a un experto en scraping. />

Entonces, veamos cómo extraer datos de Reddit con Python:

1. Instalar bibliotecas requeridas: Asegúrese de tener instaladas las bibliotecas necesarias, como PRAW (Python Reddit API Wrapper) y Pandas.

2. Crear aplicación de Reddit: Vaya al sitio web de Reddit y cree una nueva aplicación. Obtenga el ID de cliente, el secreto de cliente, el nombre de usuario y la contraseña.

3. Autenticar: Use las credenciales obtenidas para autenticarse con la API de Reddit mediante PRAW.

4. Elegir subreddit: Especifique el subreddit que desea raspar.

5. Extraer datos: Use PRAW para recuperar publicaciones del subreddit seleccionado, es decir, especifique la cantidad de publicaciones y los atributos deseados.

6. Almacenar datos:Almacenar los datos extraídos en un formato adecuado, como un DataFrame utilizando Pandas.

7. Analizar o visualizar: Analice o visualice los datos recopilados según sea necesario para su proyecto o análisis.
   
   

Para una comprensión profunda y fragmentos de código para cada paso, dirígete aeste blog detallado.

Evita que tu actividad de scraping sea bloqueada

Según Redditacuerdo del usuario, está prohibido acceder al sitio mediante automatización y extraer datos de Reddit sin consentimiento previo.

Sin embargo, no hay mucha información sobre las medidas preventivas de Reddit contra el scraping, como prohibiciones de IP o suspensiones de cuentas.

Esto podría indicar la actitud indulgente de Reddit hacia el scraping. Pero aún existe la posibilidad de que tu scraper se encuentre con obstáculos como CAPTCHA, límites de velocidad o suspensiones.

Esto es lo que elEl navegador antidetección AdsPower está diseñado para su manejo. AdsPower hace que sus scrapers parezcan usuarios reales mediante medidas antihuellas para que pueda extraer datos sin problemas.

Ahora que ya sabes cómo extraer contenido de Reddit con y sin codificación,Regístrate gratisen AdsPower y recopila subreddits útiles sin interrupciones.