Парсинг динамических сайтов с помощью Selenium в Python

• 06.09.2023
• 602
• Библиотеки Python
• Selenium

Динамические веб-сайты, которые динамически загружают контент с помощью технологий вроде AJAX, представляют собой вызов для стандартных методов парсинга. Однако Selenium, как инструмент автоматизации браузера, отлично справляется с такими задачами.

Работа с динамически загружаемым контентом

Для интеракции с динамически загружаемым контентом часто требуется "ждать" его загрузки.

from selenium import webdriver

URL = 'https://example.com/dynamic-page'
driver = webdriver.Chrome()
driver.get(URL)

# Получение динамического контента
dynamic_content = driver.find_element(By.ID, 'dynamic-content-id').text
print(dynamic_content)

driver.close()

Ожидание элементов и данных, загружаемых посредством AJAX

Ожидание важно при работе с динамическим контентом.

Явное ожидание:

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, 'dynamic-content-id'))
)
print(element.text)

Неявное ожидание:

driver.implicitly_wait(10)  # ожидание 10 секунд
element = driver.find_element(By.ID, 'dynamic-content-id')
print(element.text)

Парсинг данных из одностраничных приложений

Для SPA можно использовать тот же подход, что и для динамически загружаемого контента.

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

URL = 'https://example.com/spa-page'
driver = webdriver.Chrome()
driver.get(URL)

# Ожидание загрузки SPA
element = WebDriverWait(driver, 20).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, '.spa-content'))
)

content = element.text
print(content)

driver.close()

Советы

Добавим несколько дополнительных советов и рассмотрим более сложные случаи, которые могут возникнуть при скрапинге динамических веб-сайтов.

• Обработка исключений

При работе с Selenium всегда стоит учитывать возможность возникновения исключений. Например, элемент может не быть найден или страница может не загрузиться за отведенное время.

try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, 'dynamic-content-id'))
    )
    print(element.text)
except TimeoutException:
    print("Элемент не был найден в течение 10 секунд.")

• Работа с выпадающими списками, модальными окнами и всплывающими уведомлениями

Динамические сайты часто используют модальные окна или выпадающие списки, которые могут влиять на доступность других элементов.

# Ожидание и взаимодействие с модальным окном
modal = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, '.modal'))
)
close_button = modal.find_element(By.CSS_SELECTOR, '.close-button')
close_button.click()

• Скроллинг страницы

Иногда контент загружается динамически при прокрутке страницы. В таких случаях вам может понадобиться прокручивать страницу с помощью Selenium.

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

• Работа с cookies и сессиями

Для автоматизированного доступа к некоторым сайтам может потребоваться работа с cookies или сохранение сессии.

# Сохранение cookies
all_cookies = driver.get_cookies()
# Добавление cookies
for cookie in all_cookies:
    driver.add_cookie(cookie)

• Избегание блокировок

Многие сайты используют различные механизмы для блокировки автоматизированных запросов. Помимо использования прокси и изменения User-Agent, рекомендуется не делать слишком много запросов в короткие промежутки времени и регулярно менять IP-адреса, если это возможно.

Заключение

Selenium предоставляет современные инструменты для скрапинга динамических сайтов. Понимание правильного использования ожиданий в ключевой момент скрапинга позволит успешно извлекать данные даже с самых динамичных веб-сайтов.