Веб-скрейпинг (Парсинг) Python Selenium. Как парсить сайт Питон и Селениум
Веб-скрейпинг (Парсинг) Python Selenium. Как парсить сайт Питон и Селениум? - Конкретный минимальный пример для ознакомления и получения первичных знаний о библиотеке selenium Python, а также понятий о парсинг и веб-скрейпинге веб-сайта. - Практическое программирование по плейлистам.
О чем данный видеоролик?
Это первичное видео по парсингу и скрейпингу веб-сайта, где предоставлены минимальные возможности библиотеки selenium на Питоне. Данный видеоролик не раскрывает полноценную суть библиотеки Селениума, а также не является 100 руководством к написанию Парсеров и Скрейперов. Данный видеоролик носит информационно-ознакомительный характер и продемонстрирован в виде демо-версии (трейлера) к моему будущему плейлисту.
В видео приведены ответы на следующие вопросы -
1. Что такое DOM дерево и HTML
2. Что такое скрейпинг и парсинг
3. Что такое динамические и статические сайты
4. Как правильно спарсить динамический сайт Питон
5. Selenium python парсинг и тестирование
6. Правильная установка драйвера в новой версии Selenium - технологии explicit, implicit ожиданий и сервисы
О чем будет плейлист?
На самом деле, я принял решение разделить свой материал на два основополагающих плейлиста - по созданию парсеров и изучению скрейпинга, а также по реализации и написанию автоматизированных тестов для проверки веб-приложений. ПРОШУ ЗАМЕТИТЬ, что первый из соответствующих плейлистов также каснется и написания ботов на телеграм, с применением библиотеки aiogram. - Да-да, все мы этого ждем. Также будут разобраны библиотеки requests, bs4 - beautifulsoup и т.п
Timecodes:
00:00:00 - о чем данное видео
00:01:08 - создание директории
00:01:34 - что за новый плейлист
00:01:44 - что такое библиотека selenium python
00:03:00 - что такое парсинг и скрейпинг
00:05:58 - что такое DOM дерево
00:07:18 - что такое объектная модель документа
00:08:19 - что такое динамические и статические сайты
00:09:20 - бэкенд и фронтенд сайты
00:10:00 - поиск сайта наобум
00:11:10 - библиотека requests
00:11:51 - HTML структура страницы
00:13:10 - начало работы и импорт библиотеки
00:15:20 - создание driver и архитектуры приложения
00:17:18 - как установить driver на новой версии selenium
00:17:59 - установка webdriver_manager
00:19:28 - создание драйвера Service
00:21:21 - первый запуск и тест
00:24:11 - работа в цикле while True
00:24:37 - explicit & implicit ожидания
00:25:47 - div элемент в разметке
00:27:36 - вывод элемента div по указанному id
00:28:00 - импорт webdriverwait
00:29:21 - что такое expected_conditions
00:31:30 - менеджер контекста wait
00:32:18 - except TimeoutException
00:33:20 - второй запуск и тест
00:35:36 - заключение
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Веб-скрейпинг (Парсинг) Python Selenium. Как парсить сайт Питон и Селениум», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.