[딥러닝] 생성형 AI의 발전 과정

원래는 RNN만 있었음
- 하지만 뒤로 갈수록 앞의 정보가 손실됨

Attention is All You Need
- Transformer 구조. Self attention 방식

Encoder 모델
- Google의 BERT가 대표적.
- 입력의 상관관계를 파악

Decoder 모델
- OpenAi의 GPT가 대표적
- 출력에 중점을 두고 순차적으로 출력
- 예측만 하기 때문에 할루시네이션, 이상한 답변 등 문제 많음

SRHF ?
- 답변에 대한 보상(Reward)을 추가하면서 개선
- 강화학습

Gemini Diffusion
- 구글에서 얼마 전 발표한 확산형 텍스트 생성 모델

Reasoning Model
- 생각하는 방식이 완전히 강화학습으로 재학습됨
- Thinking Model

 

Embedding Model

- 데이터를 쪼개서 임베딩 시켜줌

- 1024, 3072 등의 사이즈로 임베딩 시킴

- 그리고 코사인 유사도를 통해서 -> LangChain / RAG에 활용함!

 

Text -> Vector Embedding Model

- RAG를 위해서 벡터 임베딩을 해줘야 함

- Milvus, drant 등의 전문 툴을 사용하는 추세

- Load(크롤링 등) -. Split -> Embed -> Vector의 과정

- Vector store에 변환한 문서를 저장함