Airflow로 selenium 덱 생성 시 driver.quit()을 하면 무한 running 현상

Airflow는 작업 간에 별도의 프로세스를 사용하므로, 각 작업이 별도의 프로세스로 실행됩니다. 이로 인해 문제가 발생할 수 있습니다. driver.quit()은 Chrome 브라우저를 종료하는 메서드입니다. 하지만 Airflow는 작업이 별도의 프로세스에서 실행되므로, driver.quit()을 호출하더라도 작업이 계속해서 실행되는 것으로 보입니다. 이 문제를 해결하기 위해서는 다음과 같은 방법을 시도해 볼 수 있습니다: 1. 작업이 끝난 후에 직접 프로세스를 종료하는 방식으로 변경합니다. 작업이 완료되면 driver.quit()을 호출한 후 sys.exit()를 사용하여 프로세스를 종료합니다. 이렇게 하면 작업이 정상적으로 종료되고 프로세스도 종료됩니다. 2. Airflow에서 제공하는 Selenium 컨테이너를 사용하여 작업을 실행합니다. Airflow는 컨테이너를 사용하여 작업을 실행하므로, 컨테이너 자체가 종료되면 자원이 해제됩니다. 이 방법을 사용하면 별도의 종료 처리를 걱정할 필요가 없습니다. 위의 두 가지 방법 중 하나를 선택하여 작업을 수정해보시기 바랍니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import sys
from selenium import webdriver

def task():
    driver = webdriver.Chrome()
    while True:
        if 마지막 페이지라면:
            driver.quit()
            break
         
        크롤링 코드...

    크롤링된 데이터 전처리 코드 ...
    
    sys.exit()  # 프로세스 종료

task()