바닥부터 만들어보는 LLM
LLM 구현 가이드: 바닥부터 만들어보는 대화형 언어 모델 LLM 처리 단계 요약 단계 입력 출력 설명 1. 토큰화 “hello” [2, 5, 6, 6, 7] 문자를 숫자로 변환합니다. 컴퓨터가 텍스트를 이해할 수 있도록 각 문자를 고유한 숫자로 매핑합니다. 2. 임베딩 [2, 5, 6, 6, 7] [[0.1, 0.3], [0.2, 0.4], …] 숫자 토큰을 고차원 벡터로 변환합니다. 단어 … 더 읽기