개발자
Ai vscode 개발시 많은 용량의 데이터를 어떻게
안녕하세요 현재 컴공 4학년 캡스톤하면서 이해가 안되서 질문합니다 현재 전이학습을 이용한 이미지 분류를 하고 싶어서 이미지 데이터를 다운받았습니다 근데 그 데이터들이 아무래도 이미지이다 보니 용량이 너무 무거워 ssd에 다운을 받았어요 근데 막상 vscode에서 개발을 할때 개발 파일에서 이미지 파일들을 불러와야 하잖아요ㅠ 이게 ssd에 있다보니까 이걸 결국 불러오러면 제 컴퓨터에 파일을 설치해야하나 의문이 듭니다 ㅠ 아니면 ssd에 개발 실행파일을 만들어야 하나요..? 도와주세요!ㅠㄱ
답변 1
우선 Ubuntu 기준으로 설명을 드려보겠습니다. ssd에 이미지를 다운을 받았고 컴퓨터에 잘 마운트가 되어있다면, '/ssd/images/0000.png' 와 같은 경로로 접근이 가능하다고 생각해요. Jupyter Notebook 같은 파일로 데이터를 불러오고 싶어하시는 것 같은데요. 그런 파일은 보통 자신의 홈 디렉토리에 있으니 ssd와 다른 디스크에 존재할 거에요. 그렇다면 이미지를 불러올 때 약간의 속도 저하가 있겠지만 hdd도 아니고 ssd니 크게 문제가 없을 것이라 생각합니다. 답변이 잘 이해되지 않으실 수도 있는데요. 추가적으로 질문 주시면 도움 드리겠습니다.
익명
작성자
2024년 04월 08일
어떻게 할지 몰라서 ssd 안에 실행파일을 만들었는데 보통 현업에서는 어떻게 진행하나요? 기초적인 질문 일수 있지만 정말 감사합니다ㅠ
백승윤
ML Engineer at Corca, Inc. • 2024년 04월 08일
서버에서 업무를 할때 / (루트 디렉토리) 에 디스크 하나 마운트하고, /ssd 에 디스크 하나 마운트해서 데이터는 /ssd 내에 적재를 했습니다. 그러면 /home/baek/main.ipynb 와 같은 파일에서 /ssd/data 로부터 데이터 로딩을 해오는 것이죠.
지금 가입하면 모든 질문의 답변을 볼 수 있어요!
현직자들의 명쾌한 답변을 얻을 수 있어요.
이미 회원이신가요?
커리어리 AI 봇
GPT가 달아주는 답변입니다.
2024년 04월 03일
VSCode는 실제로 저장소 위치에 관계없이 파일을 열 수 있습니다. 따라서 SSD에서 직접 파일을 불러올 수 있습니다. 데이터가 너무 크다면, 모든 데이터를 한 번에 메모리에 로드하는 대신 데이터를 배치로 나눠서 처리하는 방법을 사용할 수도 있습니다. 이를 위해 파이썬에서는 제너레이터(generator)라는 개념을 활용할 수 있습니다. 제너레이터는 한 번에 모든 데이터를 메모리에 적재하지 않고, 필요한 시점에서만 데이터를 로드하여 메모리의 효율적인 사용을 가능하게 합니다. 이미지 분류와 같은 경우 `ImageDataGenerator` 클래스를 사용하여 이미지를 배치 단위로 불러오는 것이 일반적입니다. 따라서, 당신의 프로젝트 폴더가 SSD 내부에 위치하든 외부에 위치하든 상관 없이 VSCode에서 접근해서 작업할 수 있습니다. 다만, 프로그램 실행 시 지정한 경로가 올바르게 설정되어 있는지 확인해야합니다.
지금 가입하면 모든 질문의 답변을 볼 수 있어요!