생성형 AI와 LLM

대규모 언어모델(LLM, Large Language Model)은 방대한 양의 텍스트로 미리 학습해 사람의 언어를 이해하고 생성하는 인공지능 모델임. 글·코드·이미지 등 새로운 결과물을 만들어내는 '생성형 AI'의 핵심 기반 기술로 소개됨.^[2][4]

결정적 계기는 2017년 구글 연구진이 발표한 「Attention Is All You Need」 논문임. 이 논문이 제시한 트랜스포머 구조는 문장 속 단어 사이의 맥락을 효율적으로 학습할 수 있게 해, 모델 규모를 키우는 방향의 발전을 열었음.^[1][3]

오픈AI는 사람의 피드백으로 모델을 다듬는 강화학습(RLHF) 방식을 적용해 대화형 모델을 만들었고, 2022년 11월 30일 챗GPT를 공개함. 이 서비스가 빠르게 확산되며 2023년 생성형 AI가 대중적 관심사로 떠오른 것으로 정리됨.^[3][5]

LLM은 트랜스포머 기반 언어모델을 규모 면에서 크게 확장한 형태로, 학습 데이터와 파라미터 수를 늘릴수록 성능이 향상되는 경향이 관찰돼 왔다는 설명임.^[2][4]

LLM 이 사실이 아닌 내용을 사실처럼 만들어내는 현상을 환각(hallucination) 이라 부름. 이는 특정 모델의 결함이라기보다 작동 방식 자체에서 나오는 한계로 설명됨.^[7][8]

LLM 은 사실을 데이터베이스에서 찾아오는 것이 아니라 다음에 올 가장 그럴듯한 말을 확률로 예측함. 즉 '사실인가'가 아니라 '자연스러운가'를 기준으로 최적화돼 있음. 통계적으로 그럴듯한 단어 배열이면 사실과 달라도 생성될 수 있음.^[7][8]

게다가 학습 과정에서 지식이 모델 가중치로 압축되면서 원래 출처와의 연결이 끊어짐. 서로 다른 개념이나 사건이 뒤섞여 그럴듯한 하나로 합쳐지는 경우가 생기는 이유임. 모델 안에는 사실을 검증하거나 '이건 확신이 없다'고 알릴 장치가 없음.^[7]

완전히 없애는 방법은 아직 없고, 줄이는 접근이 쓰임. 대표적인 것이 검색 증강 생성(RAG) 으로, 모델을 외부의 신뢰할 수 있는 자료와 연결해 답변을 그 자료 안으로 제한하는 방식임.^[7]

사람 피드백 기반 강화학습(RLHF)에서 환각에 불이익을 주고 정확한 답변에 보상을 주는 방식도 함께 쓰임. 다만 어느 것도 구조적 한계를 없애지는 못하므로, 중요한 사실은 원래 출처로 확인하는 것이 여전히 필요함.^[7][8]