사내대장부의 AI 사내대장부의 AI

AI

• LLM Inference 0.

  AI 2024. 7. 7. 21:45

  최근의 foundation model 들은 몇십억 개의 파라미터를 가지고 있다. 특히 LLM에서 hallucination을 제거하는 기법으로 많이 사용되는RAG의 경우, model의 input으로 많은 양의 정보를 줘야하기 때문에 inference 과정은 memory-, compute-intensive 하다. 1. LLM Inference 최근의 GPT와 같은 decoder-only 모델들은 causal modeling (autoregressive) 를 하도록 pre-trained 된다.즉, sequence of tokens를 입력으로 받고, 그 다음에 나올 적절한 token을 예측하여 generate 한다.이 때, stopping criteria (maximum output token) 을 만족하거나 ..

  Read More