목록To use CUDA with multiprocessing you must use the 'spawn' start method (1)

히비스서커스의 블로그

[Pytorch] Airflow 사용 시 error: RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method 에러

상황 airflow의 GPU를 사용하는 DAG 코드를 작성하다가 다음과 같은 에러를 마주쳤다. 코드 from airflow import DAG from airflow.operators.python import PythonOperator from datetime import datetime from models import our_model import torch test = DAG( dag_id = 'test', start_date = datetime(2022,5,5), catchup = False, schedule = '@once' ) train = PythonOperator( task_id = 'train', python_callable = train, dag = test ) def train(): ..
Programming/Python 2023. 6. 1. 23:23
이전 Prev 1 Next 다음