Как избежать ошибки тайм-аута при использовании веб-драйвера chrome selenium

Я создал несколько скриптов Python с использованием селена, которые будут генерировать веб-страницу, содержащую таблицу данных, содержащую почти 100 000 строк и 25 столбцов. Один пример этого кода можно найти здесь. После этого я намерен наскребать этот стол прекрасным супом. Однако я снова и снова получаю это сообщение об ошибке.

selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from renderer: -0.001
  (Session info: chrome=81.0.4044.113)

Есть ли причина, по которой это сообщение продолжает появляться? Есть ли способ исправить код, чтобы моя веб-страница могла продолжать загружаться и позволяла мне очищать ее?

Любая помощь действительно приветствуется.


python-3.x python beautifulsoup selenium
person BLuta    schedule 17.04.2020    source источник
comment
Вы можете использовать webdriver wait. Так что селен будет ждать, пока/если страница не загрузится в заданный период времени. Я предлагаю вам погуглить. Также используйте --headless chrome для более быстрой загрузки страницы и используйте beautifulSoup с селеном для более быстрого парсинга.   -  person Abhay salvi    schedule 18.04.2020

Ответы (1)


arrow_upward
0
arrow_downward

Итак, у меня есть следующий код для перехода с одной веб-страницы на другую, но я все равно получаю ту же самую ошибку тайм-аута.

driver.switch_to.window(driver.window_handles[1])
WebDriverWait(driver, 60).until(EC.visibility_of_element_located((By.XPATH, '/html/body/p[2]/text()[2]')))
df_url = driver.current_url

что я упускаю из этого, что больше не истечет время ожидания?

person BLuta    schedule 30.04.2020