박서희연구소

[Model] Transformer Model Pipeline(트랜스포머 모델 파이프라인)

SEOHUI PARK — Tue, 26 Nov 2024 13:52:16 +0900

Transformer 모델은 자연어의 순서를 이해하지 못한다

Transformer 모델은 순차적으로 데이터를 처리하지 않기 때문에 입력 텍스트의 순서를 직접적으로 인식하지 못한다.

이는 RNN(Recurrent Neural Network) 및 LSTM(Long Short_term Memory) 모델과 가장 큰 차이점으로, Transformer는 입력 토큰 간 관계를 병렬적으로 처리한다.

문제: 단순히 토큰을 병렬로 처리하면, "I love AI"와 "AI love I"가 모델에게 동일하게 보일 수 있음

해결: 위치 인코딩(Positonal Encoding)

Transformer는 입력 토큰의 위치 정보를 반영하기 위해, 위치 인코딩을 사용
Sine 및 Cosine 함수로 위치를 나타내는 고유한 벡터를 생성
이 벡터가 임베딩 벡터에 더해져 순서 정보를 추가

Pipeline 단계별 이해

1. 데이터 준비(Preprocessing)

텍스트 전처리: 불필요한 문자 제거, 소문자 변환 등
토큰화: 텍스트를 토큰 단위로 분리하고 고유 ID로 변환
예: "I love AI" -> [101, 1045, 2293, 2060, 102]
패딩 및 정렬: 길이를 맞추기 위해 [PAD] 토큰 추가

2. 임베딩(Embedding)

임베딩 레이어: 토큰 ID를 고차원 벡터로 변환
위치 인코딩 추가: 각 토큰에 순서 정보를 반영

3. Transformer 모델 처리

Multi-Head Self-Attention:
모든 토큰 간 관계를 계산하여 문맥 정보를 이해
예: "AI"는 "love"와 연결되며 중요한 의미를 가짐
Feedforward Network:
각 토큰의 의미를 비선형적으로 변환
잔차 연결 및 정규화:
학습 안정성 및 성능 향상

4. Postprocessing

확률 분포 생성: 각 토큰의 확률 계산
디코딩:
Greedy Decoding, Beam Search, Sampling을 사용하여 최종 결과 생성

실제 적용 사례: 번역 모델

입력 테스트: "Translate English to French: How are you?"
토큰화 및 임베딩:
토큰: [Translate, English, to, French, :, How, are, you, ?]
Transformer 처리:
디코더가 "Comment allez-vous?"를 생성
최종 출력:
"Comment allez-vous?"

- 끝 -

[Model] Transformer Model(트랜스포머 모델)

SEOHUI PARK — Fri, 22 Nov 2024 17:50:53 +0900

Transformer 모델 소개

Transformer 모델은 NLP(자연어 처리) 분야에서 큰 변화를 가져온 딥러닝 모델이며, 번역, 요약, 질의응답 등 다양한 자연어 처리 작업에서 뛰어난 성능을 보여준다.

Transformer 모델은 무엇인가?

Attention 메커니즘을 중심으로 동작하는 신경망 모델로, 입력 문장의 모든 단어간 관계를 한 번에 파악할 수 있다.

기존의 RNN(순환 신경망)이나 LSTM과 달리 순차적으로 데이터를 처리하지 않아도 되기 때문에 학습 속도가 빠르고, 긴 문장에서도 효과적으로 학습할 수 있다.

왜 중요한가?

병 렬 처리 가능: RNN은 순서대로 데이터를 처리해야 하지만, Transformer는 병렬로 데이터를 처리할 수 있어 학습 속도가 빠름
장거리 의존성 처리: Attention 메커니즘을 통해 멀리 떨어진 단어들 사이의 관계도 효과적으로 학습할 수 있음
다양한 응용 분야: 번역, 문장 생성, 감정 분석 등 여러 NLP 분야에서 우수한 성능을 보임

주요 구성 요소

1. Attention 메커니즘

Attention은 입력 문장의 모든 단어들이 서로 어떤 관계를 갖는지 파악하여, 중요한 정보에 더 집중할 수 있게 함
이를 통해 모델은 문맥을 더 잘 이해하고 중요한 단어에 가중치를 부여함
예를 들어, "저는 커피를 좋아해요"라는 문장에서 "커피"와 "좋아해요"는 밀접한 관련이 있고, Attention 메커니즘을 통해 이러한 관계를 파악하여 "커피"에 더 집중함

2. Encoder-Decoder 구조

Encoder: 입력 문장을 내부 표현으로 변환
Decoder: Encoder의 출력와 이전에 생성한 단어들을 사용해 새로운 문장을 생성

3. Positional Encoding

순서를 고려하지 않는 모델이기에, 단어의 위치정보를 추가로 제공해야 함
Positional Encoding은 각 단어의 위치를 나타내는 벡터를 단어 임베딩에 더해주는 방식으로 위치 정보를 전달

자가 지도 학습이란 무엇인가?

Self-Supervised Learning(자가 지도 학습)은 레이블이 없는 대량의 데이터를 활용하여 모델을 학습 시키는 방법으로, 데이터의 일부를 숨기거나 변형하고, 모델이 이를 예측하거나 복원하도록 학습한다.

레이블이 없는 데이터로부터 효율적으로 학습할 수 있어, 방대한 데이터를 활용할 수 있음
언어의 구조와 의미를 모델이 스스로 학습하게 함

Transformer와 자가 지도 학습의 관계

Transformer 모델은 자가 지도 학습과 결합하여 강력한 언어 모델을 생성한다.(대표적으로 BERT와 GPT가 있음)

1. BERT(Bidirectional Encoder Representations from Transformers)

학습 방식: Masked Language Modeling(마스크드 언어 모델링) - 문장에서 일부 단어를 마스킹하고, 모델이 그 단어를 예측하도록 학습
특징: 문장의 앞뒤 문맥을 모두 활용하여 단어를 이해
예시: "나는 [MASK]를 좋아해요"에서 [MASK] 부분을 예측하도록 모델을 학습

2. GPT(Generative Pre-trained Transformer)

학습 방식: Autoregressive Language Modeling(자동 회귀 언어 모델링) - 이전 단어들을 기반으로 다음 단어를 예측
특징: 순차적으로 단어를 생성하며, 문장 생성에 탁월
예시: "나는 커피를" 다음에 올 단어를 예측하여 문장을 완성

실제 활용 사례

언어 번역: 입력 문장을 다른 언어로 번역하는 데 사용
질의응답 시스템: 질문에 대한 적절한 답변을 생성
텍스트 요약: 긴 문서를 짧게 요약
챗봇: 자연스러운 대화 생성에 활용

장점 요약

빠른 학습 속도: 병렬 처리가 가능하여 대용량 데이터도 효율적으로 학습
높은 정확도: 다양한 NLP 작업에서 우수한 성능을 보여줌
유연성: 사전 학습된 모델을 다양한 작업에 쉽게 적용할 수 있음

한계점 및 고려 사항

연산 자원 요구: 모델의 크기가 크고 연산량이 많아 많은 자원이 필요
데이터 의존성: 대량의 학습 데이터가 필요하며, 데이터 품질이 성능에 큰 영향을 미침

- 끝 -

[Kubernetes] Kubernetes Cluster Architecture(쿠버네티스 클러스터 아키텍쳐)

SEOHUI PARK — Wed, 19 Jun 2024 00:46:24 +0900

Kubernetes란?

Kubernetes는 Application의 많은 Instance를 Container의 형태로 자동화된 방식으로 쉽게 deploy하고, host하며 Application 내의 다른 서비스들끼리 소통 할 수 있도록 도와준다.

Kubernetes Cluster

Kubernetes Architecture

Kubernetes Cluster는 Node의 Set으로 구성되어 있다. 물리적이거나, 가상의 형태일 수 있고, 온프레미스 또는 클라우드 상에 있을 수 있고, Containter의 형태로 Application을 host한다.

Cluster 안에는 Worker Node가 존재하는데 이는 선박으로 비유할 수 있으며, 아래와 같은 역할을 수행한다.

Container 적재 가능

하지만 누군가는 선박에 Container를 어떻게 적재할지 계획하고, 적재해주어야 하며, 위치를 모니터링하고 추적하며 적재 전 과정 등을 관리해야 하기에 이런 역할을 해줄 제어선이 필요하다.

제어선은 Kubernetes Cluster의 Master Node로 비유할 수 있다.

Master Node는 아래와 같은 역할을 수행한다.

Kubernetes Cluster를 관리
다른 Node에 대한 정보를 저장
어떤 Container가 어디로 갈 것인지 계획
Node와 Container를 모니터링

많은 어떤 선박에서 언제, 어떤 Container가 매일 적재되고 하역을 한다면, 이러한 정보를 유지해야할 것이다.

이러한 정보는 ETCD라 불리는 고가용성의 Key-Value DB에 저장된다.

선박이 도착할 때, 크레인을 사용해 Container를 적재할 것이다.

크레인은 Container의 사이즈, 용량, 이미 탑재된 Container의 수, 선박의 목적지, 어떤 형태의 Container를 실을 수 있는지 등의 정보를 식별해야 한다.

이런 역할을 Kube-Scheduler가 한다.

Kube-Scheduler의 역할

Container 리소스 요구사항, Worker Node의 용량 또는 제약 조건과 같은 기타 정책을 기반으로 Container를 배치할 적절한 Node 식별

Container가 손상되거나 파괴되는 상황이 있을 수 있는데 이런 상황에 새로운 Container를 만들 수 있도록 처리가 필요할 것이다.

이런 역할에 도움을 주는 친구들이 Controller-Manager, Node-Controller, Replication-Controller 이다.

Controller-Manager, Node-Controller, Replication-Controller 의 역할

Cluster에서 새로운 Node를 온보딩하며, Node를 사용 할 수 없게 되거나, 파괴된 상황을 처리
Replication Group에서 항상 원하는 수의 Container가 실행되도록 보장

하지만 어떻게 위의 녀석들과 소통을 하고 관리할 수 있을까?

Kube API Server가 있다. Kubernete의 주요 관리 컴포넌트이다.

Kube API Server의 역할

Cluster 내의 모든 operation을 위한 오케스트레이션
외부의 사용자가 Cluster에 대한 작업 요청을 위한 Kubernetes API 역할
Cluster의 상태를 모니터링하고 필요에 따라 변경하기 위한, 다양한 Controller와 서버와 통신하기 위한 Worker Node에 노출

근데, Container란 녀석을 실행하기 위해선 어떻게 해야할까?

이 녀석을 실행하기 위해서는 Container Runtime Engine이 필요하다.

대중적으로 Docker가 있다. 따라서 우리는 Docker가 필요하거나 이와 동등한 무엇인가가 필요하다.

Kubernetes는 ContainerD, Rocket과 같은 다른 Runtime Engine을 지원한다.

다음은 선박의 Container의 상태와 선박의 상태에 대해 보고서를 Master에게 전송해줄 캡틴이 필요하다.

그 역할을 해주는 것이 Kubelet이란 녀석인데, Cluster의 각 Node에서 실행되는 에이전트이다.

Kubelet의 역할

Kube API Server로 부터 지침을 듣고 필요에 따라 Node에 Container를 deploy 하거나 파괴함

Kubelet은 선박의 Container 관리를 하는 캡틴에 가깝지만, Worker Node에서 실행되는 Application은 서로 통신이 가능해야 한다.

Web 서버가 다른 노드의 DB 서버에 어떻게 도달할 수 있을까?

이는 Kube Proxy Service 라고 알려진 또 다른 Worker Node에서 실행되는 또 다른 Component에 의해, Worker Node 사이의 통신을 가능하게 한다.

Kube Proxy Service의 역할

Worker Node에서 실행중인 Container에 서로 연결될 수 있도록, 필요한 규칙이 있는지 확인

요약하면, 우리는 Master와 Worker Node가 있고, Master는 ETCD Cluster를 갖고 있으며, Cluster에 대한 정보를 저장한다.

Kube Scheduler는 Node의 Container 또는 Appliaction의 scheduling을 책임진다.

- 끝 -

[Interview] Database(데이터베이스)

SEOHUI PARK — Wed, 28 Feb 2024 13:44:34 +0900

데이터베이스의 성능

성능 이슈는 Disk I/O를 어떻게 줄이느냐에서 시작되는데, Disk I/O란 Disk Drive의 Platter(원판)를 돌려서 읽어야 할 데이터가 저장된 위치로 Disk Header를 이동시킨 다음 데이터를 읽는 것을 의미한다.

이 때 데이터를 읽는데 걸리는 시간은 Disk Header를 움직여서 읽고 쓸 위치로 옮기는 단계에서 결정된다. 즉 Disk의 성능은 Disk Header의 위치 이동 없이 얼마나 많은 데이터를 한 번에 기록하느냐에 따라 결정된다고 볼 수 있다.

그렇기 때문에 순차 I/O가 랜덤 I/O보다 빠를 수 밖에 없으며, 현실에서는 대부분의 I/O 작업이 랜덤 I/O
랜덤 I/O를 순차 I/O로 바꿔서 실행하는 것에서 연결지어 데이터베이스 Query Tuning은 랜덤 I/O 자체를 줄여주는 것이 목적이라고 할 수 있음

Index란?

Index는 말 그대로 책의 맨 처음 또는 맨 마지막에 있는 색인이라고 할 수 있다.

DB Table의 모든 데이터를 검색해서 원하는 결과를 가져 오려면 시간이 오래 걸린다. 그래서 Column의 값과 해당 Record가 저장된 주소를 Key/Value의 쌍으로 Index를 만들어 둘 수 있다.

DBMS의 Index는 항상 정렬된 상태를 유지하기 때문에 원하는 값을 탐색하는데는 빠르지만 새로운 값을 추가하거나 삭제, 수정하는 경우 Query 실행 속도가 느려진다.

Index는 데이터의 저장 성능을 희생
그 대신 데이터의 읽기 속도를 높 임
Index 생성을 남발하면 데이터 저장 성능이 떨어지고 Index의 크기가 비대해져서 오히려 역효과만 불러올 수 있음

Index 자료구조

B+-Tree Index 알고리즘 : 대부분의 관계형 DB 시스템에서 Index 구조와 파일 시스템에서 메타데이터 Indexing에 널리 사용되며, B-Tree의 변형으로, 데이터의 효율적인 삽입, 삭제, 검색을 지원하며, 특히 Range Queries(범위 검색)과 Sequential Access(순차 접근)에 최적화되어 있음

Hash Index 알고리즘 : in-memory DB나 캐싱 시스템, Key-Value Stores같은 NoSQL DB에서 단순하고, 데이터를 빠르게 검색하기 위해 사용되는 Indexing 기법 중 하나로 Hash Table을 기반으로 하며, Key에 대한 Hash Function을 적용하여 데이터의 저장 위치를 결정하며 Equality Searches(등가 검색)에 최적화되어 있음. 하지만, 데이터의 순서나 범위 검색이 중요한 경우는 B+-Tree같은 기법이 더 적합할 수 있음

왜 Index 를 생성하는데 B-Tree 를 사용할까? : B-Tree는 자동으로 균형을 유지하는 균형 트리 구조로, 모든 리프 노드가 같은 레벨에 위치하기에, 모든 검색 경로의 길이가 동일하게 유지되어, 검색, 삽입, 삭제 연산이 일관된 시간 복잡도를 가짐

Normalization(정규화)

데이터 중복을 최소화하고 무결성을 향상시키며, 데이터 조작 시 발생할 수 있는 여러 문제를 방지하기 위함

다만 과도한 정규화는 쿼리의 복잡성을 즉아시키고, 조인 연산이 많아져 성능 저하를 초래할 수 있음

데이터 중복 감소 : 정규화는 테이블을 재구성하여 중복된 데이터를 제거해 데이터의 일관성을 유지하고 저장 공간을 효율적으로 사용하는데 도움이 됨
데이터 무결성 향상 : 정규화된 DB는 데이터 간의 관계를 명확하게 정의하고, 이를 통해 데이터의 정확성과 일관성을 유지하여 삽입, 삭제, 수정 시 발생할 수 있는 오류를 줄임
갱신 이상 방지 : 데이터 중복으로 인해 정보가 일관되지 않게 갱신되는 현상을 말하며, 정규화를 통해 데이터 항목이 하나의 위치에만 저장되므로, 데이터 갱신 시 일관성을 유지할 수 있음
삽입 이상 방지 : 새로운 데이터를 추가할 때 불필요한 데이터도 함께 입력해야 하는 문제를 말하며, 정규화된 구조에서는 각 정보가 적절한 테이블에 분포되어 있어 문제를 줄일 수 있음
삭제 이상 방지 : 한 정보의 삭제가 다른 중요한 정보의 손실로 이어지는 현상으로 정규화를 통해 중요 정보를 분리하여 저장함으로 한 정보의 삭제가 다른 정보에 영향을 미치 않도록 할 수 있음
쿼리 성능 향상 : DB 구조를 단순화하고, 불필요한 데이터 중복을 제거함으로 쿼리의 성능을 개선할 수 있으며, 특히 검색과 조인 연산이 많은 복잡한 쿼리의 경우 정규화된 구조가 성능 향상에 크게 기여 가능
유지 보수성 향상 : 정규화된 DB는 보다 명확한 구조를 가지고 있어 시스템의 확장, 수정 및 유지 보수에 용이하고, 데이터 구조의 변경이 필요할 때, 중복 데이터와 갱신 이상의 영향을 최소화하며 효율적인 작업 수행 가능

데이터베이스 트랜잭션이 안전하게 수행됨을 보장하는 성질

원자성(Atomicity) : 트랜잭션과 관련된 작업들이 부분적으로 실행되다가 중단되지 않는 것을 보장
예) 자금 이체는 성공할 수도 실패할 수도 있지만 보내는 쪽에서 돈을 빼 오는 작업만 성공하고 받는 쪽에 돈을 넣는 작업을 실패해서는 안됨
정합성(Consistency) : 트랜잭션 처리 전과 처리 후 데이터 모순이 없는 상태를 유지하는 것을 의미
예) 모든 계좌는 잔고가 있어야 한다면, 이를 위반하는 트랜잭션은 중단
독립성(Isolation) : 트랜잭션 수행 시, 다른 트랜잭션의 연산 작업이 끼어들지 못하도록 보장하는 것을 의미하며, 또한 트랜잭션 밖에 있는 어떤 연산도 중간 단계의 데이터를 볼 수 없음
예) 은행 관리자는 이체 작업을 하는 도중에 쿼리를 실행하더라도 특정 계좌간 이체하는 양 쪽을 볼 수 없다. 공식적으로 고립성은 트랜잭션 실행내역은 연속적이어야 함을 의미
지속성(Durability) : 성공적으로 수행된 트랜잭션은 영원히 반영되어야 함을 의미하며, 또한 시스템 문제, DB 일관성 체크 등을 하더라도 유지되어야 함
예) 전형적으로 모든 트랜잭션은 로그로 남고 시스템 장애 발생 전 상태로 되돌릴 수 있다. 트랜잭션은 로그에 모든 것이 저장된 후에만 commit 상태로 간주될 수 있음

Statement, PreparedStatement 비교

Statement	PreparedStatement
Statement 객체는 SQL문을 실행하기 위해 사용되며, SQL문은 실행 시점에 문자열로 Statement 객체에 제공	PreparedStatement는 미리 컴파일된 SQL문을 사용하여 DB 쿼리를 실행하며, "?"를 사용한 플레이스홀더를 포함하고, 실행 전에 적절한 값으로 플레이스홀더를 채워넣어야 함
주로 SQL문이 실행 시점에 결정되는 상황에서 사용, 즉 쿼리 자체가 런타임에 동적으로 구성될 필요가 없는 경우 적합	SQL문 내에서 사용될 값들을 파라미터로 전달받아 실행 시점에 바인딩함, 이를 통해 동일한 구조의 SQL문을 여러 번 실행할 때 효율적
Statement를 사용할 때 매번 SQL문이 컴파일되므로, 반복 실행 시 성능 저하가 발생할 수 있음, 또한 SQL Injection 공격에 취약할 수 있음, 이는 사용자 입력을 직접 쿼리에 포함시킬 경우 발생할 수 있는 보안 문제	PreparedStatement는 SQL문이 미리 컴파일되고 파라미터만 실행 시점에 바인딩되므로, 반복 실행 시 Statement보다 높은 성능을 제공, SQL Injection 공격에 대한 내성이 있어 보안 측면에 더 안전

SQL, NoSQL 비교

SQL	NoSQL
테이블 기반, 데이터는 행과 열로 구성, 테이블은 명확한 스키마에 따라 구성, 스키마는 테이블의 구조를 정의하며, 데이터 타입, 관계 등을 명시	다양한 데이터 모델을 지원(Key-Value Store, Document, Column, Graph DB 등) 각 모델은 특정 유형의 데이터 관리에 최적화
고정된 스키마, 데이터 구조는 사전에 정의, 모든 데이터는 정의된 스키마에 맞춰 저장	유연한 스키마, 데이터 구조를 사전에 정의할 필요가 없으며, 애플리케이션의 필요에 따라 데이터 구조를 동적으로 변경 가능
높은 수준의 데이터 무결성을 보장하기 위한 엄격한 규칙(외래키, 트랜잭션) 제공	관계형 DB에 비해 느슨한 데이터 무결성 규칙을 가지며, 성능과 확장성에 초점을 맞춤
수직 확장(서버의 하드웨어 성능 향상)에 초점을 맞추고 있으나, 최근에는 수평 확장을 지원하는 관계형 DB 등장	주로 수평 확장(여러 서버에 데이터 분산)을 지원하며, 대규모 데이터 세트와 트래픽을 처리하기 위해 설계
SQL을 사용하여 데이터를 쿼리하고 조작, SQL은 매우 강력하고 다양한 데이터 조작 및 질의 기능 제공	다양한 NoSQL DB마다 고유의 쿼리 방식과 API를 제공하며, SQL만큼 표준화되거나 강력하지 않을 수 있음
복잡한 질의와 트랜잭션이 필요한 은행, 금융 시스템, ERP, CRM 등에 적합	빅데이터, 실시간 웹 애플리케이션, IoT, 분산 데이터 저장소 등 대용량, 비구조적 데이터 처리가 필요한 경우 적합

[Python] Machine Learning에서 자주 사용하는 라이브러리 함수

SEOHUI PARK — Wed, 14 Feb 2024 20:24:38 +0900

Python

shape : 튜플 값 return

import numpy as np

arr = np.array([[12, 20], [13, 15]])
print(arr.shape) # (2, 2)

NumPy

numpy.c_ : 두번째 축(axis 1)을 따라 열 방향으로 결합

import numpy as np

np.c_[np.array([1, 2, 3]), np.array([4, 5, 6])]
'''
array([[1, 4],
       [2, 5],
       [3, 6]])
'''
np.c_[np.array([[1, 2, 3]]), 0, 0, np.array([[4, 5, 6]])]
# array([[1, 2, 3, ..., 4, 5, 6]])

numpy.linalg.solve : 형태의 선형 방정식 시스템을 풀 때 사용되며, 여기서 는 계수 행렬, 는 해를 찾고자 하는 변수 벡터, 그리고 는 결과 벡터

numpy.linalg.solve(a, b)

import numpy as np

a = np.array([[1, 2], [3, 5]])
b = np.array([1, 2])
x = np.linalg.solve(a, b)
x
# array([-1.,  1.])

numpy.ones : 주어진 모양과 유형으로 새로운 배열을 반환

numpy.ones(shape, dtype=None, order='C', *, like=None)

import numpy as np

numpy.ones(5) # array([1., 1., 1., 1., 1.])

numpy.ones((5,), dtype=int) # array([1, 1, 1, 1, 1])

numpy.ones((2, 1))
'''
array([[1.],
       [1.]])
'''
       
s = (2,2)
numpy.ones(s)
'''
array([[1.,  1.],
       [1.,  1.]])
'''

numpy.dot : 두 개의 배열의 내적을 계산

numpy.dot(a, b, out=None)

import numpy as np
numpy.dot(3, 4) # 12

numpy.dot([2j, 3j], [2j, 3j]) # (-13+0j)

a = [[1, 0], [0, 1]]
b = [[4, 1], [2, 2]]
numpy.dot(a, b)
'''
array([[4, 1],
       [2, 2]])
'''

numpy.arange : 주어진 간격 내에서 균등한 간격의 값을 return

numpy.arange([start, ]stop, [step, ]dtype=None, *, like=None)

import numpy as np

np.arange(3) # array([0, 1, 2])
np.arange(3.0) # array([ 0.,  1.,  2.])
np.arange(3, 7) # array([3, 4, 5, 6])
np.arange(3, 7, 2) # array([3, 5])

matplotlib

matplotlib.pyplot.subplots : figure와 Axes 객체 또는 Axes 객체의 배열을 생성

matplotlib.pyplot.subplots(nrows=1, ncols=1, *, sharex=False, sharey=False, squeeze=True, width_ratios=None, height_ratios=None, subplot_kw=None, gridspec_kw=None, **fig_kw)

matplotlib.pyplot.plot : x와 y 값을 마커로 표시

matplotlib.pyplot.plot(*args, scalex=True, scaley=True, data=None, **kwargs)

matplotlib.pyplot.xlim : x축의 limit을 가져오거나 설정

matplotlib.pyplot.xlim(*args, **kwargs)

matplotlib.pyplot.ylim : y축의 limit을 가져오거나 설정

matplotlib.pyplot.ylim(*args, **kwargs)

import numpy as np
import matplotlib.pyplot as plt

x = np.array([1.0, 1.2, 3, 4, 5, 6])
y = np.array([1.5, 3, 2.3, 5.3, 3.8, 5.5])

fig, ax = plt.subplots()
ax.plot(x, y)
ax.set_xlim([-1, 7])
ax.set_ylim([1, 6])

subplots 생성 후 plot 결과

- 끝 -

[Deep Learning] Binary Classification(이진 분류), Logistic Classification(로지스틱 분류)

SEOHUI PARK — Mon, 5 Feb 2024 15:02:47 +0900

Neural Network을 훈련할 때, 중요한 몇가지가 있다.

예를 들어 m개의 training sample의 training set가 있을 때, training set를 처리하는 익숙한 방법은 아마 for문을 이용해 m개의 데이터를 일일히 보는 방법일 것이다. 하지만 for문을 굳이 사용하지 않고 처리하길 원한다.

Logistic Classification에 대해 알아보겠다.

Logistic Classification은 Binary Classification을 위한 알고리즘이다.

예를 들어, 고양이 사진이 주어졌을 때 1(cat)인지 0(non cat) 중 어떻게 분류했는지 출력하기를 원하고 이때 y로 출력 레이블을 표시한다.

사진이 컴퓨터에 저장되는 방식을 보면, Red, Green, Blue의 해당되는 채널로 3개의 행렬을 따로따로 저장한다.

입력된 사진이 64 x 64 픽셀이라면 3개의 64 x 64 행렬들이 사진의 Red, Green, Blue 픽셀 강도 값을 나타낸다.

이 픽셀 강도값을 특성 벡터로 바꾸려면, 모든 픽셀 값을 입력될 특성 벡터 x의 한 열로 나열할 것이다.

픽셀 값을 하나의 벡터로 펼치기 위해 주어진 사진에 대한 특성 벡터 x를 다음과 같이 정의한다.

벡터 x 정의

이 사진의 모든 Red, Green, Blue 픽셀 강도 값들을 나열한다.

사진이 64 X 64 이기에 벡터 x의 전체 차원은 64 x 64 x 3이 된다.

training example

- 끝 -

이 내용은 Andrew Ng 교수님의 강의를 수강하고 정리하였음

[Mathematics] 수학 기호, 표기법 정리

SEOHUI PARK — Mon, 5 Feb 2024 14:43:18 +0900

기본 기호

대문자	소문자	이름	사용 예	대문자	소문자	이름	사용 예
A	σ	alpha(알파)	계수, 기울기, 가중치 등			nu(누)
B	β	beta(베타)		Ξ		xi(크사이)
Γ	γ	gamma(감마)		Ο	ο	omicron(오미크론)
Δ	δ	delta(델타)	변화량, 거리 등	Π		pi(파이)
Ε	ε	epsilon(엡실론)				rho(로)	상관관계, 통계치 등
		zeta(제타)		Σ		sigma(시그마)	Sigmoid 함수, 임의의 함수 등
		eta(에타)				tau(타우)	임계치 등
Θ		theta(세타)	파라미터, 변수 모음	Υ	υ	upsilon(입실론)
Ι	ι	iota(이오타)		Φ		phi(파이/피)
		kappa(카파)				chi(카이)
Λ		lambda(람다)	계수 등	Ψ		psi(프사이)
		mu(뮤)		Ω		omega(오메가)

스칼라, 벡터, 행렬

문헌에서 자주 사용되는 것

- 끝 -

[Deep Learning] Deep Learning(딥러닝)이 뜨는 이유

SEOHUI PARK — Mon, 5 Feb 2024 10:53:26 +0900

Scale Drives Deep Learning Progress

Deep Learning의 관심사가 왜 높아졌는지, 그래프를 그리면 쉽게 설명할 수 있다.

가로 축은 어떤 task에 대한 데이터의 양(label이 있는 데이터)을 나타내며, 세로 축은 학습 알고리즘의 성능을 나타낸다.

스팸 메일 분류기, 광고 클릭 수 예상의 정확도, 자율 주행 자동차가 다른 차량의 위치를 파악할 때(Neural Network의 정확도같은)를 예를 들 수 있다.

Traditional learning algorithm의 성능은 데이터를 추가하는 동안 성능이 향상되지만, 어느정도 지나면 성능이 정체기에 이름(방대한 데이터로 무엇을 해야 할지 모름)
Neural Network의 규모가 커짐에 따라 훈련시킬 수 록 성능이 좋아짐
규모는 Neural Network의 크기, Hidden Unit(은닉 유닛), 연결, 파라미터 수 를 가지는 것과 데이터의 규모를 의미
제일 신뢰할 수 있는 성능은 더 큰 Neural Network 훈련과 더 많은 데이터를 집어 넣는 것
Small training sets 구간에서는 알고리즘의 상대적인 순위가 잘 정의되지 않기 때문에, 데이터가 많지 않다면 구현 방법에 따라 성능이 결정되는 경우가 많음
특히, Small training sets 구간에서 더 큰 Neural Network보다 Support Vector Machine이 나을 수 있음

Sigmoid, ReLU

초창기 Deep Learning의 문제는 데이터와 계산의 규모였고, CPU나 GPU에서 아주 큰 Neural Network를 훈련시키게 된 것 만으로도 큰 성과를 낼 수 있었다.

알고리즘 자체로도 큰 혁신으로 기여하였는데(Neural Network을 더 빠르게 실행) Neural Network의 큰 발전의 원인 중 하나로, Sigmoid 함수에서 ReLU 함수로 바뀌게 된 케이스이다.

Machine Learning에서 Sigmoid 함수를 사용하는 데에는 문제가 있다.

함수의 경사가 0인 곳에서 학습이 굉장히 느려지기 때문인데, 경사가 0일 때 경사 하강법을 사용하면 파라미터가 아주 천천히 바뀌고 학습도 느려지기 때문이다.

하지만 ReLU 함수로 바꾸면, 입력값이 양수인 경우 경사가 1로 모두 같으므로 경사가 서서히 0에 수렴할 가능성이 훨씬 적어 경사 하강법 알고리즘은 훨씬 빠르게 만들었다.

빠른 계산이 중요한 이유는 Neural Network을 학습시키는 과정이 아주 반복적이기 때문인데 순서를 보면,

Neural Network Architecture 설계
구현
실험
수정

위 순서로 진행이 되는데 학습이 오래 걸리면 이 주기도 오래걸리고 생산성의 문제가 생길 수 있다.

- 끝 -

이 내용은 Andrew Ng 교수님의 강의를 수강하고 정리하였음

[Deep Learning] Supervised Learning(지도 학습)이란?

SEOHUI PARK — Thu, 1 Feb 2024 23:36:34 +0900

지금까지 대부분의 Neural Network를 통해 만들어진 경제적인 가치들은 Supervised Learning을 통해 계산이 되었다.

Supervised Learning에서 입력 x와 출력 y에 매핑되는 함수를 학습하려 한다.

Input(x)	Output(y)	Application
Home features	Price	Real Estate
Ad, user info	Click on ad? (0/1)	Online Advertising
Image	Object (1,...,1000)	Photo Tagging
Audio	Text transcript	Speech Recognition
English	Chinese	Machine Translation
Image, Radar info	Position of other cars	Autonomous Driving

부동산이나 온라인 광고 애플리케이션에서는 주로 Standard Neural Network이 사용
이미지 분야에서는 CNN(합성곱 신경망)을 주로 사용
음성은 주로 1차원의 시계열 데이터로 나타나는 시퀀스 데이터로 주로 RNN(순환 신경망)을 사용
언어는 조금 더 복잡한 RNN을 사용
이미지를 사용하는 자율주행은 CNN을 사용하기도 하고, 이미지 정보와는 다른 레이더 정보 같은 경우에는 더 복잡한 Hybrid Neural Network를 사용

Machine Learning 분야에서 구조적 데이터와 비구조적 데이터가 있음

구조적 데이터는 기본적으로 DB로 표현된 데이터를 말하는데, 예를 들어 주택 가격 예측에서 크기나 침실의 갯수 등을 열로 가진 이런 DB를 구조적 데이터라고 함
사용자가 광고를 클릭했는지 예측을 하는 경우도 구조적 데이터로, 사용자에 대한 나이 정보나 광고에 대한 정보들을 가지고 있고 y를 예측
비구조적 데이터는 음성 파일이나 이미지(픽셀)나 텍스트 데이터(단어)들이 있는데, 역사적으로 비구조적 데이터의 컴퓨터 작업이 훨씬 어려움
사람은 비구조적 데이터를 잘 이해하고, Neural Network 덕분에 컴퓨터들이 비구조적 데이터를 이해하는데 발전

- 끝 -

이 내용은 Andrew Ng 교수님의 강의를 수강하고 정리하였음

[Deep Learning] Neural Network(신경망)이란?

SEOHUI PARK — Thu, 1 Feb 2024 22:47:06 +0900

Housing Price Prediction

6개의 주택이 있으며, 주택의 크기와 가격을 알고 있는 상태에서 주택의 가격을 예측할 수 있는 함수를 만든다고 가정한다.

선형 회귀를 알고 있다면, 직선으로 그래프를 그릴 것임
주택의 가격은 음수가 될 수 없기 때문에 음수에 닿을 직선 대신 선을 꺾어 그려 0으로 끝나도록 함
주택 크기 대비 주택 가격을 예측하는 함수가 그려짐

Neuron

주택 가격을 예측하는 함수를 간단한 Neural Network으로 생각해볼 수 있음

x라고 불릴 주택의 크기가 신경망의 입력
입력은 작은 원인 노드로 들어감
y라고 불릴 주택의 가격을 출력

작은 원이 Neural Network에서 하나의 뉴런이 되고, 뉴런이 하는 일은 주택의 크기를 입력받아 선형 함수를 계산하고 결과값과 0중에 큰 값을 주택의 가격으로 예측

ReLu 함수

이런 0에서 증가하는 함수를 ReLU(Rectified Linear Unit) 함수라고 함

더 큰 Neural Network는 더 많은 뉴런들로 이루어져 있으며, 뉴런을 레고처럼 쌓은 형태에서 하나를 레고 블럭의 형태로 생각하면 됨

Housing Price Prediction

크기, 침실의 갯수, 우편번호, 동네의 재력의 입력 x 특성을 가지고 Neural Network는 가격 y를 예측할 것임

각 3개의 원들은 은닉 유닛이라고 불리며 각 4개의 입력을 받음

첫 번째 노드가 가족의 크기를 내포한다면, 어떤 계산을 하던 4개의 입력을 전부 받을 것임
Neural Network 입력층과 중앙 노드는 조밀하게 연결되어 있다고 이야기할 수 있음
충분한 양의 x와 y를 훈련 예제로 준다면, Neural Network는 x를 y로 연결하는 함수를 알아내는데 도움이 될 것

- 끝 -

이 내용은 Andrew Ng 교수님의 강의를 수강하고 정리하였음