Unraveling Text Generation in LLMs: A Stochastic Differential Equation Approach
제목 : Unraveling Text Generation in LLMs: A Stochastic Differential Equation Approach
- 논문 정보
- 저자 : Yukun Zhang
- 출판정보 : arXiv:2408.11863v1
- 연구 목적
- LLM의 Text Generation process를 Stochastic Differential Equation (SDE)를 통해 수학적으로 모델링하고 해석하는 것을 목표
- 주요결과
- LLM의 는 SDE 의 관점에서 볼때, 크게 2가지의 trend를 가진다.
- $dX(t)=\mu (X(t),t)dt + \sigma (X(t),t)dW(t)$
- 의의 및 시사점
- LLM text generation의 대한 새로운 수학적 해석 프레임워크를 제시하여, 모델의 작동 방식에 대한 이해를 높이고 생성 텍스트의 품질 향상과 제어에 기여할 수 있는 기반을 마련