홈

A Survey on Knowledge Graphs: Representation, Acquisition and Applications 제목 : A Survey on Knowledge Graphs: Representation, Acquisition and Applications 논문 정보 저자 : Shaoxiong Ji, Shirui Pan, Erik Cambria, Pekka Marttinen, Philip S. Yu 출판정보 : IEEE Transactions on Neural Networks and Learning Systems, 2021 연구 목적 ...

The Geometry of Concepts: Sparse Autoencoder Feature Structure 제목 : The Geometry of Concepts: Sparse Autoencoder Feature Structure 논문 정보 저자 : Yuxiao Li, Eric J. Michaud, David D. Baek, Joshua Engels, Xiaoqing Sun, Max Tegmark 출판정보 : ICLR 2024 연구 목적 Sparse auto-encoder가 발견한 대규모 언어 모델의 개념 공간(concept unive...

RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval 제목 : RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval 논문 정보 저자 : Parth Sarthi, Salman Abdullah, Aditi Tuli, Shubh Khanna, Anna Goldie, Christopher D. Manning 출판정보 : ICLR 2024 연구 목적 긴 문서에서 전체적인 맥락을 이해하고 다양한 수준의 추상화...

Contextual document embeddings 제목 : Contextual document embeddings 논문 정보 저자 : Jonh X. Morris & Alexander M. Rush 출판정보 : on arxiv / 18 Oct 2024 연구 목적 문서 임베딩 모델의 성능을 향상시키기 위해 문맥을 고려한 훈련 방법과 아키텍처를 제안 방법론 Adaversarial contrastive learning을 통해 batch 내 문서들을 문맥화하는 훈련 방법을 개발 문서 임베...

Learning to Retrieve In-Context Examples for Large Language Models 제목 : Learning to Retrieve In-Context Examples for Large Language Models 논문 정보 저자 : Liang Wang, Nan Yang, Furu Wei 출판정보 : EACL / 2024 연구 목적 LLM의 in-context learning 성능을 향상시키기 위해 고품질의 in-context 예제를 식별할 수 있는 dense retriever를 반복적으로 학습하는 새로운...

Unraveling Text Generation in LLMs: A Stochastic Differential Equation Approach 제목 : Unraveling Text Generation in LLMs: A Stochastic Differential Equation Approach 논문 정보 저자 : Yukun Zhang 출판정보 : arXiv:2408.11863v1 연구 목적 LLM의 Text Generation process를 Stochastic Differential Equation (SDE)를 통해 수학적으로 모델링하고...

Stats stats binning sturges Sturges’ formula \(k = \lceil \log_2 n \rceil + 1\) doane Doane’s formula \(k = 1+\log_2 (n) + \log_2 (1+\frac{|g_1|}{\sigma_{g_1}})\) where $g_1$ is the estimated 3rd-momentum sk...

Datagenerator Virtual Drift generator Initialization Between (time_range[0]~time_range[1]), Drifts take place at drfit_time_sequence. time_range and drift_time_sequence support float (mjd) and string (datetime64, yyyy-mm-dd). CDG only support continuous columns and 2type drift mode (base&l...