최근에 실무에서 AI를 파인튜닝해서 서비스해야하는 프로젝트가 주어져서 항해 플러스 AI 코스에 합류하게 되었습니다.

주 토요일마다 정기 모임을 갖고, 평일 저녁에 멘토링, 스터디를 하는 방식인데 1주차에는 간단하게 딥러닝 기초에 대한 발제만 들었기 때문에 부트캠프에서 배운 것들 위주로 정리했습니다.

블로그에 올린 내용과 동일합니다!

https://velog.io/@soonmac/hh-plus-ai-week1-dl-basic

1. 인공지능, 머신러닝, 딥러닝의 차이점

• 인공지능 : 인간의 지능을 모방하여 문제를 해결하는 기술. 규칙 기반부터 자율 학습까지 다양한 방식이 있음

• 머신러닝 : 데이터를 이용해 모델을 학습 → 예측, 결정

• 딥러닝 : 머신러닝의 하위 분야. 신경망을 여러층으로 쌓아서 데이터를 학습. 대규모 데이터, 복잡한 문제에 강함 (대신 학습에 비용이 많이 발생)

2. 딥러닝의 개념

• 인공신경망을 기반으로 한 머신 러닝의 한 분야

• - 인공신경망 : 인간의 두뇌를 수학적으로 모방한 것!

• 인공신경망의 층을 쌓아올려서 데이터로부터 특징을 자동으로 학습하고, 이를 통해 복잡한 문제를 해결함

• 입력 데이터에서 중요한 패턴 추출 → 예측, 분류, 생성 등 다양한 작업 수행

• - 이 중요한 패턴은 컴퓨터 기준이라서 사람의 기준과 다름!

• 이미지, 자연어, 음성, 의료 다양한 분야에 쓰임

=> 💡 사람의 뇌 구조를 따와서 컴퓨터에 적용시킨 느낌

3. 머신러닝의 과정

• 태스크 정의 → 평가 지표 정의 → 최적화

• - 태스크 정의 : AI가 해결해야할 문제를 정의 - 입력과 예측값 출력.

• - 평가 지표 정의 : AI가 예측한 값과 실제 값(정답)을 비교해서 정확도를 계산하는 방식으로 정의 - 함수로 표현

• - 최적화 : 평가 지표가 가장 좋은 AI 모델을 찾기

4. 🌟선형 회귀 (linear regression)

• ✅ 머신러닝의 기본 작동 원리!

• 알고 있는 데이터 값을 사용하여 모르는 데이터의 값을 예측하는 데이터 분석 기법

• 그래프 위에 점이 우리가 알고 있는 데이터 값이고, 데이터 값들의 경향성을 선으로 그려낸 것

• 최적의 선을 찾기 위해 계속 방향을 수정해서 try (사람이랑 닮았죠?)

• 원인에 해당하는 변수 x (=독립 변수)

• 결과에 해당하는 변수 y (=종속 변수)

• 직선 그래프니까 f(x) = wx + b 이런 식으로 표현할 수 있음.

5. 최적의 선을 찾기 위한 여정 - MSE(평균 제곱 오차)

• 최적의 선을 찾기 위해서는 우선 오차를 계산해야함.

• 여기서는 오차의 제곱의 평균을 구해서 AI가 내놓은 예측 값과 실제 값의 오차를 계산하고 있다.

  $$
  l(f) = \frac{1}{N}\sum_{i=1}^N(f(x_i) - y_i)^2.
  $$

• N : 데이터의 총 개수

• $f(x_i)$: 머신러닝 모델이 예측한 값

• $y_i$ :실제 값. 모델이 맞춰야할 정답

• $f(x_i) - y_i$ : 모델이 예측한 값과 실제 값의 차이 (= 오차)

• $(f(x_i) - y_i)^2$ : 제곱하는 이유 - 오차가 양수, 음수 상관없이 양수로 만들어서 평가하기 위해

• $\sum_{i=1}^N (f(x_i) - y_i)^2$ : 모든 데이터에서 발생한 오차를 다 더한다.

• $\frac{1}{N}$ : 평균을 내기 위해 데이터 포인트의 개수대로 나누기!

(예시)

실제 피규어 가격 $y_i$ = 100만 원

모델이 예측한 피규어 가격 $f(x_i)$= 120만 원

오차 = 120−100= 20 (만원)

오차 제곱 = 400

좋아.. 오차까지는 구하는 방법을 알았다. 이걸로 성능 평가도 할 수 있을 것 같다.

그러면 기울기를 수정해야하는데, 여기서는 경사하강법이라는 것을 배웠다.

1. 처음에는 모델 그래프의 직선인 $f(x) = wx + b$ 에서 기울기를 결정하는 $w$와 $b$의 값을 랜덤하게 초기화를 함.

2. 그런 다음, 오차를 계산하고 업데이트 방향을 결정함. 이 때 기울기(미분)를 사용해 업데이트 방향을 정함

3. 이렇게 기울기 값을 이용해 $w$와 $b$를 계속 수정하면서 오차가 점점 줄어드는 방향으로 이동함

4. 이 과정은 기울기가 거의 0에 가까워질 때까지 반복됨.

5. 오차가 최소로 되는 지점을 찾는 여정이라 할 수 있겠다

6. 선형 회귀는 XOR 문제를 해결할 수 없다?!

• 단일 퍼셉트론 - 선형 분류(y = ax + b로 표시되는 선형(직선) 함수)

• - ⇒ XOR(베타적 논리합) 같은 비선형(곡선) 문제 해결 X

• 선형 함수(선형적 = 직선 line)

• - XOR 문제는 두 입력이 다를 때만 True(1)을 출력하기 때문에, 단일 퍼셉트론으로는 해결X

  - BUT 다중 퍼셉트론은 은닉층을 통해 비선형성을 학습할 수 있어서 XOR 문제를 해결할 수 있음

7. 🧠 퍼셉트론과 다층 퍼셉트론

• 퍼셉트론 : 사람 뇌의 뉴런을 수학적으로 흉내낸 것

• 다층 퍼셉트론(MLP 멀티 레이어 퍼셉트론)

  • 위에서 설명한 뉴런 같은 퍼셉트론을 여러 층으로 쌓은 것

  • 입력층, 은닉층, 출력층으로 구성됨

    • 입력층 : 각각의 입력을 처리

    • 은닉층 : 복잡한 문제 계산

    • 출력층 : 결과 출력

8. 인공신경망은 어떻게 작동하나요?

1. 입력값(x) 받음 → 입력값에 가중치(weight)를 곱하고 편향(bias)을 더함. $y = Wx + b$

> 💡 가중치(weight)

• 입력 데이터의 중요도를 조절하는 값 ⇒ “이 입력이 결과에 얼마나 영향을 미칠까?”

• 예시 ) 라면을 끓일 때 넣는 물, 라면, 스프, 계란이 맛(결과)에 영향을 줌!

  • 그러나 각 재료의 중요도는 다를 수 밖에 없음

  • 스프에 중요도(가중치)를 높게 줄 수도 있고, 계란에 상대적으로 낮은 중요도(가중치)를 줄 수도 있다~

> 💡 편향(bias)

• 만일 입력값이 0일 때 가중치를 아무리 곱해도 결과는 0으로 나옵니다.

• 이걸 방지하기 위해 입력값이 0이어도 어떤 출력을 만들게끔 더해주는 값이 편향!

1. 가중치과 편향이 적용된 계산 결과를 활성화 함수(activation function)를 통과시킴

이 과정이 없으면 복잡한 문제를 풀 수가 없어요

2. 출력 값 계산

- 결과값이 나옵니다.

3. 오차 계산 및 학습

- 예측 값과 정답의 차이를 계산 (오차) ⇒ 손실 함수

- 오차를 최소화하기 위해 가중치와 편향을 조정

- 이 과정을 여러 번 반복해서 학습함

9. 활성화 함수

   • 입력값을 비선형적으로 변환하여 신경망이 더 복잡한 패턴을 학습할 수 있도록 돕는 함수

   • ReLU: f(x) = max(0, x) - 0과 x 사이의 max 값을 반환, 음수는 0으로 출력. 계산이 간단하다.

   • Sigmoid: f(x) = 1 / (1 + e^(-x)) - 출력값을 0과 1 사이로 변환 ⇒ 확률 표현하기 적합

10. 작동 과정

    1. 입력 데이터 각 뉴런에 전달 (입력층)

    1. 숫자(벡터) 형태 [0.2, 0.5, 0.1]

    2. 각 뉴런은 가중치와 편향을 적용해서 활성화 함수로 보냄 (은닉층)

    3. 활성화 함수를 통해 출력값을 결정! (출력층)

    4. 예측 값과 실제 값(=기대값)의 차이를 계 (손실 계산)

    5. 적절한 선을 찾기 위해 가중치와 편향의 값을 조정 하여 다시 1번으로 돌아감 (반복 학습!)

    1~3번까지 예측값을 얻어내는 과정 = “순전파”

    5번의 오차를 줄이는 과정 = “역전파”

-------------------------------

이렇게 딥러닝과 인공신경망의 동작 원리에 대해 정리해보았습니다^^

아마 다음주에는 과제 피드백 받은 거랑 자연어, 트랜스포머에 대해 작성할 것 같네요

#항해99 #항해 플러스 AI 후기 #AI 개발자 #LLM