박서희연구소

Transformer 모델은 자연어의 순서를 이해하지 못한다Transformer 모델은 순차적으로 데이터를 처리하지 않기 때문에 입력 텍스트의 순서를 직접적으로 인식하지 못한다.이는 RNN(Recurrent Neural Network) 및 LSTM(Long Short_term Memory) 모델과 가장 큰 차이점으로, Transformer는 입력 토큰 간 관계를 병렬적으로 처리한다. 문제: 단순히 토큰을 병렬로 처리하면, "I love AI"와 "AI love I"가 모델에게 동일하게 보일 수 있음해결: 위치 인코딩(Positonal Encoding)Transformer는 입력 토큰의 위치 정보를 반영하기 위해, 위치 인코딩을 사용Sine 및 Cosine 함수로 위치를 나타내는 고유한 벡터를 생성이 벡..

Transformer 모델 소개Transformer 모델은 NLP(자연어 처리) 분야에서 큰 변화를 가져온 딥러닝 모델이며, 번역, 요약, 질의응답 등 다양한 자연어 처리 작업에서 뛰어난 성능을 보여준다.Transformer 모델은 무엇인가?Attention 메커니즘을 중심으로 동작하는 신경망 모델로, 입력 문장의 모든 단어간 관계를 한 번에 파악할 수 있다.기존의 RNN(순환 신경망)이나 LSTM과 달리 순차적으로 데이터를 처리하지 않아도 되기 때문에 학습 속도가 빠르고, 긴 문장에서도 효과적으로 학습할 수 있다. 왜 중요한가?병렬 처리 가능: RNN은 순서대로 데이터를 처리해야 하지만, Transformer는 병렬로 데이터를 처리할 수 있어 학습 속도가 빠름장거리 의존성 처리: Attention 메..

Kubernetes란?Kubernetes는 Application의 많은 Instance를 Container의 형태로 자동화된 방식으로 쉽게 deploy하고, host하며 Application 내의 다른 서비스들끼리 소통 할 수 있도록 도와준다. Kubernetes ClusterKubernetes Cluster는  Node의 Set으로 구성되어 있다. 물리적이거나, 가상의 형태일 수 있고, 온프레미스 또는 클라우드 상에 있을 수 있고, Containter의 형태로 Application을 host한다. Cluster 안에는 Worker Node가 존재하는데 이는 선박으로 비유할 수 있으며, 아래와 같은 역할을 수행한다.Container 적재 가능하지만 누군가는 선박에 Container를 어떻게 적재할지 계획..

데이터베이스의 성능성능 이슈는 Disk I/O를 어떻게 줄이느냐에서 시작되는데, Disk I/O란 Disk Drive의 Platter(원판)를 돌려서 읽어야 할 데이터가 저장된 위치로 Disk Header를 이동시킨 다음 데이터를 읽는 것을 의미한다.이 때 데이터를 읽는데 걸리는 시간은 Disk Header를 움직여서 읽고 쓸 위치로 옮기는 단계에서 결정된다. 즉 Disk의 성능은 Disk Header의 위치 이동 없이 얼마나 많은 데이터를 한 번에 기록하느냐에 따라 결정된다고 볼 수 있다.그렇기 때문에 순차 I/O가 랜덤 I/O보다 빠를 수 밖에 없으며, 현실에서는 대부분의 I/O 작업이 랜덤 I/O 랜덤 I/O를 순차 I/O로 바꿔서 실행하는 것에서 연결지어 데이터베이스 Query Tuning은 랜덤..

Python shape : 튜플 값 return import numpy as np arr = np.array([[12, 20], [13, 15]]) print(arr.shape) # (2, 2) NumPy numpy.c_ : 두번째 축(axis 1)을 따라 열 방향으로 결합 import numpy as np np.c_[np.array([1, 2, 3]), np.array([4, 5, 6])] ''' array([[1, 4], [2, 5], [3, 6]]) ''' np.c_[np.array([[1, 2, 3]]), 0, 0, np.array([[4, 5, 6]])] # array([[1, 2, 3, ..., 4, 5, 6]]) numpy.linalg.solve : Ax=B 형태의 선형 방정식 시스템을 풀 ..

Neural Network을 훈련할 때, 중요한 몇가지가 있다. 예를 들어 m개의 training sample의 training set가 있을 때, training set를 처리하는 익숙한 방법은 아마 for문을 이용해 m개의 데이터를 일일히 보는 방법일 것이다. 하지만 for문을 굳이 사용하지 않고 처리하길 원한다. Logistic Classification에 대해 알아보겠다. Logistic Classification은 Binary Classification을 위한 알고리즘이다. 예를 들어, 고양이 사진이 주어졌을 때 1(cat)인지 0(non cat) 중 어떻게 분류했는지 출력하기를 원하고 이때 y로 출력 레이블을 표시한다. 사진이 컴퓨터에 저장되는 방식을 보면, Red, Green, Blue의 해..

기본 기호 대문자 소문자 이름 사용 예 대문자 소문자 이름 사용 예 A σ alpha(알파) 계수, 기울기, 가중치 등 𝑁 𝜈 nu(누) B β beta(베타) Ξ 𝜉 xi(크사이) Γ γ gamma(감마) Ο ο omicron(오미크론) Δ δ delta(델타) 변화량, 거리 등 Π 𝜋 pi(파이) Ε ε epsilon(엡실론) 𝑃 𝜌 rho(로) 상관관계, 통계치 등 𝑍 𝜁 zeta(제타) Σ 𝜎 sigma(시그마) Sigmoid 함수, 임의의 함수 등 𝐻 𝜂 eta(에타) 𝑇 𝑇 tau(타우) 임계치 등 Θ 𝜃 theta(세타) 파라미터, 변수 모음 Υ υ upsilon(입실론) Ι ι iota(이오타) Φ 𝜙 phi(파이/피) 𝐾 𝜅 kappa(카파) 𝑋 𝜒 chi(카이) Λ 𝜆 lambda(람다..

Deep Learning의 관심사가 왜 높아졌는지, 그래프를 그리면 쉽게 설명할 수 있다. 가로 축은 어떤 task에 대한 데이터의 양(label이 있는 데이터)을 나타내며, 세로 축은 학습 알고리즘의 성능을 나타낸다. 스팸 메일 분류기, 광고 클릭 수 예상의 정확도, 자율 주행 자동차가 다른 차량의 위치를 파악할 때(Neural Network의 정확도같은)를 예를 들 수 있다. Traditional learning algorithm의 성능은 데이터를 추가하는 동안 성능이 향상되지만, 어느정도 지나면 성능이 정체기에 이름(방대한 데이터로 무엇을 해야 할지 모름) Neural Network의 규모가 커짐에 따라 훈련시킬 수 록 성능이 좋아짐 규모는 Neural Network의 크기, Hidden Unit(..