
01. LLM 모델의 파라미터
·
기타/AI
개요저번 글인 생성형 AI 소개에 이어 써보겠습니다.LLM 모델이 기억하는 원리나 각종 파라미터 등에 대해 적어볼겁니다. LLM이 뭔데LLM(Large Language Model)은 대규모 언어 모델이란 뜻입니다.말 그대로 진짜 대규모입니다. 엄청나게 거대하고 방대합니다.지금은 거들떠도 안보는 GPT-3도 1750억개의 파라미터로 이루어져있습니다. LLM은 이 단어 다음에 올 가장 자연스러운 단어가 무엇인지 추측하는 알고리즘입니다.그리고 이러한 어마어마한 학습량을 기반으로 더욱 자연스러운 단어를 선별해 내서 빅스비나 시리 같은 일반 AI보다 훨씬 사람냄새나는 답변을 제공합니다. 자연어 생성(NLP)작업을 통한 딥 러닝 알고리즘이라고도 하는데 잘 모르겠으니 넘어가죠. 작동방금 위에서 말했듯이..