생성형 AI와 LLM

대규모 언어모델(LLM, Large Language Model)은 방대한 양의 텍스트로 미리 학습해 사람의 언어를 이해하고 생성하는 인공지능 모델임. 글·코드·이미지 등 새로운 결과물을 만들어내는 '생성형 AI'의 핵심 기반 기술로 소개됨.^[2][4]

결정적 계기는 2017년 구글 연구진이 발표한 「Attention Is All You Need」 논문임. 이 논문이 제시한 트랜스포머 구조는 문장 속 단어 사이의 맥락을 효율적으로 학습할 수 있게 해, 모델 규모를 키우는 방향의 발전을 열었음.^[1][3]

오픈AI는 사람의 피드백으로 모델을 다듬는 강화학습(RLHF) 방식을 적용해 대화형 모델을 만들었고, 2022년 11월 30일 챗GPT를 공개함. 이 서비스가 빠르게 확산되며 2023년 생성형 AI가 대중적 관심사로 떠오른 것으로 정리됨.^[3][5]

LLM은 트랜스포머 기반 언어모델을 규모 면에서 크게 확장한 형태로, 학습 데이터와 파라미터 수를 늘릴수록 성능이 향상되는 경향이 관찰돼 왔다는 설명임.^[2][4]