박서희연구소

Transformer 모델은 자연어의 순서를 이해하지 못한다Transformer 모델은 순차적으로 데이터를 처리하지 않기 때문에 입력 텍스트의 순서를 직접적으로 인식하지 못한다.이는 RNN(Recurrent Neural Network) 및 LSTM(Long Short_term Memory) 모델과 가장 큰 차이점으로, Transformer는 입력 토큰 간 관계를 병렬적으로 처리한다. 문제: 단순히 토큰을 병렬로 처리하면, "I love AI"와 "AI love I"가 모델에게 동일하게 보일 수 있음해결: 위치 인코딩(Positonal Encoding)Transformer는 입력 토큰의 위치 정보를 반영하기 위해, 위치 인코딩을 사용Sine 및 Cosine 함수로 위치를 나타내는 고유한 벡터를 생성이 벡..

Transformer 모델 소개Transformer 모델은 NLP(자연어 처리) 분야에서 큰 변화를 가져온 딥러닝 모델이며, 번역, 요약, 질의응답 등 다양한 자연어 처리 작업에서 뛰어난 성능을 보여준다.Transformer 모델은 무엇인가?Attention 메커니즘을 중심으로 동작하는 신경망 모델로, 입력 문장의 모든 단어간 관계를 한 번에 파악할 수 있다.기존의 RNN(순환 신경망)이나 LSTM과 달리 순차적으로 데이터를 처리하지 않아도 되기 때문에 학습 속도가 빠르고, 긴 문장에서도 효과적으로 학습할 수 있다. 왜 중요한가?병렬 처리 가능: RNN은 순서대로 데이터를 처리해야 하지만, Transformer는 병렬로 데이터를 처리할 수 있어 학습 속도가 빠름장거리 의존성 처리: Attention 메..

Neural Network을 훈련할 때, 중요한 몇가지가 있다. 예를 들어 m개의 training sample의 training set가 있을 때, training set를 처리하는 익숙한 방법은 아마 for문을 이용해 m개의 데이터를 일일히 보는 방법일 것이다. 하지만 for문을 굳이 사용하지 않고 처리하길 원한다. Logistic Classification에 대해 알아보겠다. Logistic Classification은 Binary Classification을 위한 알고리즘이다. 예를 들어, 고양이 사진이 주어졌을 때 1(cat)인지 0(non cat) 중 어떻게 분류했는지 출력하기를 원하고 이때 y로 출력 레이블을 표시한다. 사진이 컴퓨터에 저장되는 방식을 보면, Red, Green, Blue의 해..

Deep Learning의 관심사가 왜 높아졌는지, 그래프를 그리면 쉽게 설명할 수 있다. 가로 축은 어떤 task에 대한 데이터의 양(label이 있는 데이터)을 나타내며, 세로 축은 학습 알고리즘의 성능을 나타낸다. 스팸 메일 분류기, 광고 클릭 수 예상의 정확도, 자율 주행 자동차가 다른 차량의 위치를 파악할 때(Neural Network의 정확도같은)를 예를 들 수 있다. Traditional learning algorithm의 성능은 데이터를 추가하는 동안 성능이 향상되지만, 어느정도 지나면 성능이 정체기에 이름(방대한 데이터로 무엇을 해야 할지 모름) Neural Network의 규모가 커짐에 따라 훈련시킬 수 록 성능이 좋아짐 규모는 Neural Network의 크기, Hidden Unit(..

지금까지 대부분의 Neural Network를 통해 만들어진 경제적인 가치들은 Supervised Learning을 통해 계산이 되었다. Supervised Learning에서 입력 x와 출력 y에 매핑되는 함수를 학습하려 한다. Input(x) Output(y) Application Home features Price Real Estate Ad, user info Click on ad? (0/1) Online Advertising Image Object (1,...,1000) Photo Tagging Audio Text transcript Speech Recognition English Chinese Machine Translation Image, Radar info Position of other c..

6개의 주택이 있으며, 주택의 크기와 가격을 알고 있는 상태에서 주택의 가격을 예측할 수 있는 함수를 만든다고 가정한다. 선형 회귀를 알고 있다면, 직선으로 그래프를 그릴 것임 주택의 가격은 음수가 될 수 없기 때문에 음수에 닿을 직선 대신 선을 꺾어 그려 0으로 끝나도록 함 주택 크기 대비 주택 가격을 예측하는 함수가 그려짐 주택 가격을 예측하는 함수를 간단한 Neural Network으로 생각해볼 수 있음 x라고 불릴 주택의 크기가 신경망의 입력 입력은 작은 원인 노드로 들어감 y라고 불릴 주택의 가격을 출력 작은 원이 Neural Network에서 하나의 뉴런이 되고, 뉴런이 하는 일은 주택의 크기를 입력받아 선형 함수를 계산하고 결과값과 0중에 큰 값을 주택의 가격으로 예측 이런 0에서 증가하는..