인공지능 모델 - Neural Network

인간의 뇌가 작동하는 방식

1. 외부의 자극이 감지 되면 -> 자극 감지 기관으로부터 뇌의 특정 부분까지 신경계가 활성화 -> 해당 정보를 처리
2. 신경세포(Neuron)들은 전기적인 신호를 이용하여 메세지를 주고 받음

 

Neural Network 신경망

계층 구조가 뇌에 있는 뉴런의 네트워크 구조와 유사한 컴퓨팅 모델

Neuron에 해당하는 Node 요소들을 연결하여 만든 네트워크, 전기적 신호는 외부 자극에 따라 연결 관계를 바꾸는 방식으로 만들어지는데 이 연결관계를 node들의 가중치(weight)로 처리한다.

 

신경망은 inputs(외부자극)에 가중치를 곱한 총합이 activation function(활성 함수)에 따라 출력되는 방식으로 구성된 것

신경망의 트레이닝은 inputs 을 취합하여 최종 출력과 비슷한 결과를 낼 수 있도록 계속하여 가중치를 조절하는 과정을 의미하며, Data 를 통한 반복적인 트레이닝을 통해 가중치가 정해지게 된다.

back propagation
가중치의 작은 변화는 최종 출력에도 작은 변화를 준다.
즉, 기대하는 출력과 신경망을 통한 실제 출력간의 오차를 반대로 inputs 쪽으로 전파시키면서 가중치를 갱신하면 된다는 의미로
Data 에 반복적으로 해당 과정을 거치게 되면 가중치는 훈련 데이터에 최적화된 값으로 변하게 되고 기대하는 출력에 실제 신경망의 출력과 근사하게 된다는 개념

 

1. 피드포워드 신경망

• 기본적이고 일반적인 유형의 아키텍처 (얕은 신경망)
• 정보는 입력->출력으로 단방향 이동
• 입력 레이어와 출력 레이어 사이에 숨겨진 레이어가 존재하며 숨겨진 레이어가 2 이상인 경우 심층 신경망이라고 한다.

2. 순환 신경망(RNN)

• 복잡한 유형의 네트워크로 입력의 순차적 종속성을 모델링하는 피드백 루프가 있는 구조
• 시퀀스의 모든 요소에 대해 동일한 작업을 수행하며 출력은 이전 계산에 따라 달라짐
• LSTM(Long Short Term Memory Network) 유형이 가장 널리 사용된다.
• 음성 인식 및 자연어 처리(NLP)에 사용

3. 컨벌루션 신경망(ConvNet, CNN)

• 데이터 범주가 필터링 되는 여러 레이어가 존재하여 이미지 인식, 텍스트 언어 처리 및 분류에 효과적
• 각 레이어는 서로 다른 특징을 검출해낸다.
• 입력 레이어, 출력 레이어, 여러 컨벌루션 레이어(가중치를 공유하는 노드를 사용하여 입력에서 창을 이동), 풀링 레이어, 완전 연결 레이어 및 정규화 레이어를 포함하는 숨겨진 레이어로 구성된다.

신경망의 장점

• 병렬 처리 능력은 네트워크가 한 번에 둘 이상의 작업을 수행할 수 있음을 의미
• 비선형적이고 복잡한 관계를 학습하고 모델링하는 기능은 입출력 간의 실제 관계를 모델링하는데 유리
• 분배 방법과 같은 입력 변수에 제한이 없음
• 변동성이 큰 데이터와 일정하지 않은 분산을 더 잘 모델링할 수 있음을 의미
• 보이지 않는 데이터의 출력을 예측 가능

신경망의 단점

• 적절한 네트워크 구조를 결정하기 위한 규칙이 존재하지 않음 -> 시행착오를 통해 적절한 인공 신경망 구조를 찾을 수 있음
• 네트워크는 숫자 정보로 작동하므로 숫자 값으로 변환이 필요
• 병렬 처리 기능을 갖춘 프로세서의 요구 사항으로 인해 신경망은 하드웨어에 종속됨