Airflow로 selenium 덱 생성 시 driver.quit()을 하면 무한 running 현상

Airflow는 작업 간에 별도의 프로세스를 사용하므로, 각 작업이 별도의 프로세스로 실행됩니다. 이로 인해 문제가 발생할 수 있습니다. driver.quit()은 Chrome 브라우저를 종료하는 메서드입니다. 하지만 Airflow는 작업이 별도의 프로세스에서 실행되므로, driver.quit()을 호출하더라도 작업이 계속해서 실행되는 것으로 보입니다. 이 문제를 해결하기 위해서는 다음과 같은 방법을 시도해 볼 수 있습니다: 1. 작업이 끝난 후에 직접 프로세스를 종료하는 방식으로 변경합니다. 작업이 완료되면 driver.quit()을 호출한 후 sys.exit()를 사용하여 프로세스를 종료합니다. 이렇게 하면 작업이 정상적으로 종료되고 프로세스도 종료됩니다. 2. Airflow에서 제공하는 Selenium 컨테이너를 사용하여 작업을 실행합니다. Airflow는 컨테이너를 사용하여 작업을 실행하므로, 컨테이너 자체가 종료되면 자원이 해제됩니다. 이 방법을 사용하면 별도의 종료 처리를 걱정할 필요가 없습니다. 위의 두 가지 방법 중 하나를 선택하여 작업을 수정해보시기 바랍니다.

1import sys
2from selenium import webdriver
3
4def task():
5    driver = webdriver.Chrome()
6    while True:
7        if 마지막 페이지라면:
8            driver.quit()
9            break
10         
11        크롤링 코드...
12
13    크롤링된 데이터 전처리 코드 ...
14    
15    sys.exit()  # 프로세스 종료
16
17task()