개요저번 글인 생성형 AI 소개에 이어 써보겠습니다.LLM 모델이 기억하는 원리나 각종 파라미터 등에 대해 적어볼겁니다. 상당히 흥미로운 주제이지만 논문 쓰는 것 같고 막 그럽니다.    LLM이 뭔데LLM(Large Language Model)은 대규모 언어 모델이란 뜻입니다.말 그대로 진짜 대규모입니다. 엄청나게 거대하고 방대합니다.지금은 거들떠도 안보는 GPT-3도 1750억개의 파라미터로 이루어져있습니다. LLM은 이 단어 다음에 올 가장 자연스러운 단어가 무엇인지 추측하는 알고리즘입니다.그리고 이러한 어마어마한 학습량을 기반으로 더욱 자연스러운 단어를 선별해 내서 훨씬 사람냄새나는 답변을 제공합니다. 자연어 생성(NLP)작업을 통한 딥 러닝 알고리즘이라고도 하는데 잘 모르겠으니 넘어가죠.    ..

개요AI는 인간의 학습능력, 추론능력, 지각능력을 인공적으로 구현시키는 컴퓨터과학의 한 분야입니다.그렇다면 생성형 AI는 대체 뭘까요? 조금 더 심화적인 정리는 LLM 모델에 관한 정리를 참고해주세요.AI 관련 글을 쓰면 유입이 뛰는 것 같은데 저 글은 아무도 안보더라구요... 여기서라도 홍보하겠습니다.    생성형 AI기존 AI들은 이미 쌓여있던 데이터를 학습해서 분석하는 역할을 주로 했습니다.하지만 생성형 AI는 그 데이터를 분석하여 새로운 콘텐츠를 만드는 대에 초점을 두었죠. 저희가 흔히 쓰는 GPT. 그것도 마찬가지로 생성형 AI입니다. 이놈들은 엄청난 양의 텍스트 데이터를 처먹으며 자연스러운 문맥, 문장들을 학습하고 생성하는데에 특화돼있습니다. 그러니까 이 단어..