#colab

lgbm 관해 질문이 있슴다

제가 이제 막 ai 에 대해서 공부중인데 이번에 막 lgbm이 업데이트 되면서 early_stopping_rounds나 verbose가 책이나 영상속에서 했던 것처럼 코드를 똑같이 적어도 작동되지 않고 알맞지않은 키워드라고 뜹니다 이 경우 혹시 lgbm이나 사이킷런의 버전을 낮춰야 되는지, 낮춰야된다면 어떻게 낮출 수 있는지 (colab에서) 알려주시면 감사하겠습니다 선배님들

LLM LoRA 학습 시켜보신 분 계신가요??

안녕하세요 선배님들 저는 NLP에 관심이 많은 대학생입니다. AI 법률 어드바이저 언어모델을 만들기위해 생활법령 100문 100답 데이터를 스크랩하여 LLM 학습에 맞는 데이터셋을 준비했습니다. 하지만 이유는 잘 모르겠는데 모델 학습이 수월하게 되지 않습니다... 학부생 수준에서 쉽지 않네요... https://github.com/juicyjung/LAW-Alpaca 코드랑 세부사항은 여기 레포에서 보실 수 있고 Colab에서 작업했습니다. 현재 2가지 문제가 있습니다. 1. Training Loss가 어느순간부터 0으로만 나오는 현상 (LoraConfig의 r을 16 이상으로 올리거나 TrainingArguments epoch을 6 이상으로 늘릴 때 주로 발생) 2. 이상한 말을 막 내뱉는 현상 (학습이 된건지 안된건지 잘 모르겠습니다..) 훌륭한 선배님들 도움 주시면 감사하겠습니다..ㅠㅠ 열심히 해보려고 하는데 어려운게 많네요ㅠㅠ..

yolov5 훈련 시간

현재 제가 사용하고 있는 로컬의 사양은 i711700, 32g ram, rtx 4070 vram12g입니다. 코랩에서 제공하는 gpu(t4)보다 상위의 사양으로 알고 있습니다. 간단한 이미지 분류에서도 훈련 시간 차이에서 확인하였습니다. 본론으로 들어가 현재 저는 1200장의 데이터 중 300장을 train test split하여 yolov5모델을 학습하고 검증 중입니다. 여기에서 학습을 하기 위한, yolov5의 train.py를 실행할 때, 똑같은 데이터와 코드로 colab에서는 300장을 훈련시키는데에 10분 채 걸리지 않는데, 저의 로컬에서는 7시간이 지나도 훈련 중입니다. 하지만 300장이 아닌 100장으로 로컬에서 훈련 시켰을 땐 90초 이내로 훈련이 완료되었습니다. 이 문제에 대해 설명해주시면 감사하겠습니다.

[Python/Tensorflow] 인공지능에서, 독립변수의 예측값이 변하지 않고 같을 때

Google Colab으로 진행하고 있으며, Jupyter에서도 실행해 보았으나 똑같은 오류가 발생하였습니다. 언어는 [Python/Tensorflow]입니다. 먼저, 이 AI의 제작 목적은 백신의 누적 투여량(독립변수)과 그에따른 사망률,신규사망자,신규확진자(종속변수)의 관계를 파악하여 예측하기 위한 목적입니다. 데이터는 한국데이터포털에 업로드된 정형화데이터(.csv)를 다운받아 사용하였습니다. 코드와 해결해야할 부분은 사진으로 첨부해두었습니다. 독립변수와 종속변수를 지정하고, 간단한 형태의 모델구축을 하였고 학습시켜서 loss값이 떨어지며 학습되는 것까지는 정상적으로 된것같았습니다. 하지만, 사진에서, print(model.predict(독립[:20])) print(신규사망종속[:20]) 부분이 model.predict(독립)으로 예측한 값이[23.933895]로 같은 숫자로 나옵니다. 어떤 부분에서 오류가 발생했을까요?