Django + Celery + Selenium to Scrape Anything with Python
🚀 Sign up for Bright Data Now https://brdta.com/justin
Selenium with Bright Data can scrape nearly any website regardless of Captcha or Login required. In this series, you are going to use Django and Celery to ensure you can scrape on your schedule and store the data with excellent structure. We will be tracking Amazon product price fluctuations.
Topics Covered:
⦿ Integrating Django with Celery for scheduled and background task processing
⦿ First-hand experience with Selenium in Jupyter for live browser automation
⦿ Advanced proxy scraping techniques using Bright Data and Selenium including handling complex challenges like Amazon Captchas
⦿ Building helper functions to streamline your scraping module
⦿ Combining Django and Jupyter for an enhanced data-driven development experience
⦿ Data parsing with BeautifulSoup4 to effectively find and extract the data you need
⦿ Efficient data storage using Django models
⦿ Offloading heavy scraping tasks with Celery for improved application performance
⦿ Automating and scheduling scraping tasks within the Django admin using Celery
⦿ Plus, much more in-depth knowledge and practical tips!
Recommended to Watch
⦿ Try Django 3.2 (or similar): https://www.youtube.com/playlist?list=PLEsfXFp6DpzRMby_cSoWTFw8zaMdTEXgL
⦿ 30 Days of Python (up to about day 15): https://www.youtube.com/playlist?list=PLEsfXFp6DpzQjDBvhNy5YbaBx9j-ZsUe6
⦿ Some HTML / CSS Experience is ideal
Resources
⦿ Code: https://github.com/codingforentrepreneurs/Web-Scraping-with-Django-Celery
⦿ Subscribe: https://cfe.sh/youtube
⦿ Django: https://djangoproject.com
⦿ Bright Data: https://brdta.com/justin
🚀 Next up? Web Scraping with Python + AI our Free Udemy Course: https://www.udemy.com/course/smarter-web-scraping-with-python-ai/
00:00:00 - Welcome
00:02:23 - Tools
00:06:07 - Rapid Fire Django + Celery Integration
00:19:06 - Setup Project
00:21:23 - First Look at Selenium with Jupyter
00:25:08 - Proxy Scraping with Bright Data + Selenium
00:32:08 - Helper Functions for Bright Data Module
00:35:55 - Django + Jupyter Integration
00:39:00 - Parsing Data with BeautifulSoup4
00:52:02 - Amazon Captcha + Prepare Parser Helper Functions
00:58:30 - Saved Scraped Data with Django Models
01:10:51 - Celery Task to Offload Scrape-to-Save
01:22:29 - Schedule Scraping Events with Celery in the Django Admin
01:33:16 - Thank you and next steps
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Django + Celery + Selenium to Scrape Anything with Python», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.