토큰화란?- 문장을 토큰으로 분할하는 과정으로, NLP의 핵심 구성 요소- Word-based, Character-based, Subword 의 3가지 방법이 있음- 주요 Subword Tokenization 방법으로 BPE, WordPiece, Unigram 등이 있음 1) BPE (Byte Pair Encoding)- 1994년 제안된 데이터 압축 알고리즘- 자연어 처리에서 Subword로 분리하기 위한 목적으로 활용함- 기본단위(단일문자)의 리스트로 Dictionary를 만들고, 가장 많이 등장하는 글자 쌍을 토큰으로 병합- GPT, GPT-2, RoBERTa, BARD 등 2) WordPiece Tokenizer- Google이 BERT의 사전학습을 위해 개발- BPE와 동일하게 특수 토큰과 ..

인공 신경망 (Artificial Neural Network)- 정보가 입력되었을 때, 정보를 얼마나 어떻게 결정할지 결정- 입력 값, 활성화 함수, 출력 값으로 구성- 가중치와 편향에 따라 활성화 여부가 결정 활성화 함수 (Activation Function)1) Sigmoid 함수- h(x) = 1 / (1 + exp(-x))- 자연 상수를 분모로 하는 함수- 0과 1 사이의 값을 갖는다.- 미분한 값의 최대치가 0.25다. 2) tanh 함수 (하이퍼볼릭 탄젠트)- tanh(x) = sinh(x) / cosh(x)- Sigmoid 함수를 rescale한 함수- 1과 -1 사이의 값을 갖는다.- 실수의 회귀 문제에 자주 쓰인다. (수요예측 문제 등) 3) ReLU- ReLU(x) = 0 if (x=..

선형회귀(Linear Regression)- 종속 변수 y와 한 개 이상의 독립변수 x와의 선형 상관 관계를 모델링하는 기법- 최적의 기울기(weight)와 편향(bias)을 구하는 것이 문제- 평가 기준을 세워, 최적의 기울기와 편향을 탐색- 단순 반복을 해서 최적의 파라미터를 찾는 것은 어렵다! -> Gradient Descent 등을 사용 # 1. Data setimport numpy as npimport matplotlib.pyplot as pltimport randomparam1 = random.randint(1, 5) # 기울기param2 = random.randint(20, 40) # 편향data = [[3, 24], [6, 48], [9, 40], [12, 52]]x = np.array([..

TensorFlow란?- Tensor를 활용할 수 있도록 Google Brain에서 제공하는 라이브러리 Tensor란?- 단일 형태로 구성되어 있는 다차원 배열- numpy와 비슷함- "scalar"는 rank-0 tensor로, axis가 없다.- "vector"는 rank-1 tensor (1-axis)- "matrix"는 rank-2 tensor (2-axis)import tensorflow as tf# Constant Tensorrank_3_tensor = tf.constant([ [[0, 1, 2, 3, 4], [5, 6, 7, 8, 9]], [[10, 11, 12, 13, 14], [15, 16, 17, 18, 19]], [[20, 21, 22, 23, 24],..

원래는 RNN만 있었음 - 하지만 뒤로 갈수록 앞의 정보가 손실됨 Attention is All You Need - Transformer 구조. Self attention 방식 Encoder 모델 - Google의 BERT가 대표적. - 입력의 상관관계를 파악 Decoder 모델 - OpenAi의 GPT가 대표적 - 출력에 중점을 두고 순차적으로 출력 - 예측만 하기 때문에 할루시네이션, 이상한 답변 등 문제 많음 SRHF ? - 답변에 대한 보상(Reward)을 추가하면서 개선 - 강화학습 Gemini Diffusion - 구글에서 얼마 전 발표한 확산형 텍스트 생성 모델 Reasoning Model - 생각하는 방식이 완전히 강화학습으로 재학습됨 - Thinking Model Embedding Mod..

CNN이란?- 합성곱 신경망(Convolutional Neural Networks)은 주로 이미지 인식, 영상 분석, 객체 탐지 등 시각적 데이터 처리- 합성곱 층, 풀링 층, 완전연결 층의 구조를 가짐 합성곱 층 (Convolutional Layer)- 이미지와 같은 데이터에서 유용한 특징을 추출하는 역할을 함- 입력 데이터에 필터(또는 커널)를 적용하여 합성곱 연산을 수행함으로써 특징 맵 (feature map)을 생성- 데이터의 공간적 구조를 유지하면서 유의미한 패턴 (가장자리, 질감 등)을 학습 풀링 층 (Pooling Layer)- 특징을 유지한 채로, 입력 이미지의 크기를 작게 만드는 층- 특징맵의 특징맵을 만드는 레이어- 최대 풀링, 평균 풀링 등의 방법이 있음 완전연결 층 (Full..