01. LLM 모델의 파라미터
·
기타/AI
개요저번 글인 생성형 AI 소개에 이어 써보겠습니다.LLM 모델이 기억하는 원리나 각종 파라미터 등에 대해 적어볼겁니다. LLM이 뭔데LLM(Large Language Model)은 대규모 언어 모델이란 뜻입니다.말 그대로 진짜 대규모입니다. 엄청나게 거대하고 방대합니다.지금은 거들떠도 안보는 GPT-3도 1750억개의 파라미터로 이루어져있습니다. LLM은 이 단어 다음에 올 가장 자연스러운 단어가 무엇인지 추측하는 알고리즘입니다.그리고 이러한 어마어마한 학습량을 기반으로 더욱 자연스러운 단어를 선별해 내서 빅스비나 시리 같은 일반 AI보다 훨씬 사람냄새나는 답변을 제공합니다. 자연어 생성(NLP)작업을 통한 딥 러닝 알고리즘이라고도 하는데 잘 모르겠으니 넘어가죠. 작동방금 위에서 말했듯이..
00. 생성형 AI란?
·
기타/AI
개요AI는 인간의 학습능력, 추론능력, 지각능력을 인공적으로 구현시키는 컴퓨터과학의 한 분야입니다.그렇다면 생성형 AI는 대체 뭘까요? 조금 더 심화적인 정리는 LLM 모델에 관한 정리를 참고해주세요.AI 관련 글을 쓰면 유입이 뛰는 것 같은데 저 글은 아무도 안보더라구요... 여기서라도 홍보하겠습니다.    생성형 AI기존 AI들은 이미 쌓여있던 데이터를 학습해서 분석하는 역할을 주로 했습니다.하지만 생성형 AI는 그 데이터를 분석하여 새로운 콘텐츠를 만드는 대에 초점을 두었죠. 저희가 흔히 쓰는 GPT. 그것도 마찬가지로 생성형 AI입니다. 이놈들은 엄청난 양의 텍스트 데이터를 처먹으며 자연스러운 문맥, 문장들을 학습하고 생성하는데에 특화돼있습니다. 그러니까 이 단어..