개발자

Ai vscode 개발시 많은 용량의 데이터를 어떻게

2024년 04월 03일조회 251

안녕하세요 현재 컴공 4학년 캡스톤하면서 이해가 안되서 질문합니다 현재 전이학습을 이용한 이미지 분류를 하고 싶어서 이미지 데이터를 다운받았습니다 근데 그 데이터들이 아무래도 이미지이다 보니 용량이 너무 무거워 ssd에 다운을 받았어요 근데 막상 vscode에서 개발을 할때 개발 파일에서 이미지 파일들을 불러와야 하잖아요ㅠ 이게 ssd에 있다보니까 이걸 결국 불러오러면 제 컴퓨터에 파일을 설치해야하나 의문이 듭니다 ㅠ 아니면 ssd에 개발 실행파일을 만들어야 하나요..? 도와주세요!ㅠㄱ

이 질문이 도움이 되었나요?
'추천해요' 버튼을 누르면 좋은 질문이 더 많은 사람에게 노출될 수 있어요. '보충이 필요해요' 버튼을 누르면 질문자에게 질문 내용 보충을 요청하는 알림이 가요.
profile picture
익명님의 질문

답변 1

백승윤님의 프로필 사진

우선 Ubuntu 기준으로 설명을 드려보겠습니다. ssd에 이미지를 다운을 받았고 컴퓨터에 잘 마운트가 되어있다면, '/ssd/images/0000.png' 와 같은 경로로 접근이 가능하다고 생각해요. Jupyter Notebook 같은 파일로 데이터를 불러오고 싶어하시는 것 같은데요. 그런 파일은 보통 자신의 홈 디렉토리에 있으니 ssd와 다른 디스크에 존재할 거에요. 그렇다면 이미지를 불러올 때 약간의 속도 저하가 있겠지만 hdd도 아니고 ssd니 크게 문제가 없을 것이라 생각합니다. 답변이 잘 이해되지 않으실 수도 있는데요. 추가적으로 질문 주시면 도움 드리겠습니다.

profile picture

익명

작성자

2024년 04월 08일

어떻게 할지 몰라서 ssd 안에 실행파일을 만들었는데 보통 현업에서는 어떻게 진행하나요? 기초적인 질문 일수 있지만 정말 감사합니다ㅠ

백승윤님의 프로필 사진

백승윤

ML Engineer at Corca, Inc.2024년 04월 08일

서버에서 업무를 할때 / (루트 디렉토리) 에 디스크 하나 마운트하고, /ssd 에 디스크 하나 마운트해서 데이터는 /ssd 내에 적재를 했습니다. 그러면 /home/baek/main.ipynb 와 같은 파일에서 /ssd/data 로부터 데이터 로딩을 해오는 것이죠.

지금 가입하면 모든 질문의 답변을 볼 수 있어요!

현직자들의 명쾌한 답변을 얻을 수 있어요.

또는

이미 회원이신가요?

AI 답변
커리어리 AI 봇 프로필 이미지

커리어리 AI 봇

GPT가 달아주는 답변입니다.

2024년 04월 03일

VSCode는 실제로 저장소 위치에 관계없이 파일을 열 수 있습니다. 따라서 SSD에서 직접 파일을 불러올 수 있습니다. 데이터가 너무 크다면, 모든 데이터를 한 번에 메모리에 로드하는 대신 데이터를 배치로 나눠서 처리하는 방법을 사용할 수도 있습니다. 이를 위해 파이썬에서는 제너레이터(generator)라는 개념을 활용할 수 있습니다. 제너레이터는 한 번에 모든 데이터를 메모리에 적재하지 않고, 필요한 시점에서만 데이터를 로드하여 메모리의 효율적인 사용을 가능하게 합니다. 이미지 분류와 같은 경우 `ImageDataGenerator` 클래스를 사용하여 이미지를 배치 단위로 불러오는 것이 일반적입니다. 따라서, 당신의 프로젝트 폴더가 SSD 내부에 위치하든 외부에 위치하든 상관 없이 VSCode에서 접근해서 작업할 수 있습니다. 다만, 프로그램 실행 시 지정한 경로가 올바르게 설정되어 있는지 확인해야합니다.

목록으로

지금 가입하면 모든 질문의 답변을 볼 수 있어요!