사내대장부의 AI 사내대장부의 AI

전체 글

• OLMES: A Standard for Language Model Evaluations

  AI/논문 리뷰 2024. 7. 9. 20:17

  현재까지 language model을 evaluate하는 standard setup이 존재하지 않음.본 논문에서 제안하는 OLMES 는 standard, reproducible LLM evaluation.https://github.com/allenai/OLMo-Eval/tree/main GitHub - allenai/OLMo-Eval: Evaluation suite for LLMsEvaluation suite for LLMs. Contribute to allenai/OLMo-Eval development by creating an account on GitHub.github.com 1. IntroductionCurrently, there is no standard way to decide how to p..

  Read More
• LLM Inference 0.

  AI 2024. 7. 7. 21:45

  최근의 foundation model 들은 몇십억 개의 파라미터를 가지고 있다. 특히 LLM에서 hallucination을 제거하는 기법으로 많이 사용되는RAG의 경우, model의 input으로 많은 양의 정보를 줘야하기 때문에 inference 과정은 memory-, compute-intensive 하다. 1. LLM Inference 최근의 GPT와 같은 decoder-only 모델들은 causal modeling (autoregressive) 를 하도록 pre-trained 된다.즉, sequence of tokens를 입력으로 받고, 그 다음에 나올 적절한 token을 예측하여 generate 한다.이 때, stopping criteria (maximum output token) 을 만족하거나 ..

  Read More
• 01. 쿠버네티스 소개

  Programming/Kubernetes 2024. 4. 28. 22:43

  해당 장에서 다루는 내용소프트웨어의 개발과 배포의 변화 이해어플리케이션을 격리하고 컨테이너를 사용한 실행 환경의 차이쿠버네티스에서 사용되는 컨테이너와 도커의 이해쿠버네티스로 개발자와 시스템 관리자의 작업 간소화 하기1.1 쿠버네티스 시스템이 필요한 이유지금까지의 소프트웨어 개발과 배포 방식이 어떻게 변했는지 먼저 확인해야한다1.1.1 모놀리스 아키텍쳐에서 마이크로서비스로의 전환1.1.1.1 모놀리스 아키텍쳐(MONOLITHIC)전체 어플리케이션이 하나의 운영체제 프로세스로 실행되어 모든 것이 서로 강하게 결합되어 있는 형태이다.즉, 하나의 소프트웨어를 구성하고 있는 모든 모듈, 코드가 하나의 프로젝트에서 관리되는 형태하나의 개체로 개발, 배포, 관리가 이루어짐어플리케이션의 작은 한 부분을 변경하더라도 전..

  Read More
• YAML 이란?

  Programming/YAML 2024. 4. 4. 23:38

  YAML은 개념적으로는 '사람이 쉽게 읽을 수 있는' 데이터 직렬화 양식이다.보통 도커, 쿠버네티스 등에서 Config 파일을 생성할 때 많이 사용되고, JSON의 상위 집합으로 YAML에서 JSON 파일을 사용할 수 있다. YAML은 JSON 또는 XML과 그 형태가 매우 유사한데, YAML은 원칙적으로 들여쓰기(indent)를 통해 작성되므로 데이터가 많아질수록 다른 포맷에 비해 가독성이 좋아진다. #XML Server1 John active #JSON{ Servers: [ { name: Server1, owner: John, status: active, { ]..

  Read More
• Docker #1

  Devops 2024. 4. 3. 14:47

  Udemy의 Docker for the Absolute Beginner - Hands On - DevOps 의 수강 내용

  Read More
• [투자에 실패하는 사람들의 심리 Loss]

  책/경제 2024. 3. 27. 16:36

  기억하고 싶은 문구, 새로 알게된 용어, 그것에 대한 내 생각을 정리하기 -1회독 기억하고 싶은 말 1. 트레이딩의 가장 오래된 규칙 중 하나는 시장에 낙관적인 뉴스가 있음에도 불구하고 상승하지 않고 하락하는 상황일 때, 만약 롱을 잡고있다면 빠져나와야 한다는 뜻. 2. Loss 는 외적손실과 내적손실로 나뉘는데, 내적 손실을 사랑하는 누군가를 잃었을 때, 자존심 등과 같은 주관적인 상실히고, 외적 손실은 경쟁, 스포츠의 승점, 돈과 같은 객관적인 손실을 의미함. 이때 시장에서 트레이딩을 하면서 발생하는 외적손실을 내적손실과 별개로 생각해야지, 내면화하면 안 된다. 3. 내적 상실의 5단계 1) 부정 : 시장이 돌아섰다, 또는 내가 돈을 잃고 있게 되는 안 좋은 포지션이다 등, 손실이 발생한 사실 자체에..

  Read More
• [leetcode] - 20. Valid Parentheses

  Algorithm 2024. 3. 17. 18:08

  20. Valid Parentheses Given a string s containing just the characters '(', ')', '{', '}', '[' and ']', determine if the input string is valid. An input string is valid if: Open brackets must be closed by the same type of brackets. Open brackets must be closed in the correct order. Every close bracket has a corresponding open bracket of the same typ..

  Read More
• [leetcode] - 14. Longest Common Prefix

  Algorithm 2024. 3. 16. 22:28

  14. Longest Common Prefix Write a function to find the longest common prefix string amongst an array of strings. If there is no common prefix, return an empty string "". Example 1: Input: strs = ["flower","flow","flight"] Output: "fl" Example 2: Input: strs = ["dog","racecar","car"] Output: "" Explanation: There is no common prefix among the input strings. Constraints: 1

  Read More