챗GPT가 세상에 모습을 드러낸 지 1년이 지났습니다(2022년 11월 30일 출시). 주요 빅테크 기업들은 예외 없이 생성형 AI 전쟁에 뛰어들었다고 할 만큼 엄청난 관심과 인기를 누렸습니다. 이런 추세는 내년에도 이어질 듯 합니다.
지난 1년이 기술적 진보의 시기였다면, 앞으로는 온디바이스 AI를 중심으로 실생활과 연계될 것으로 전망됩니다. 생성형 AI와 관련된 주요 용어들을 정리해 보았습니다.
1. 대형 언어 모델 (LLM)
대형 언어 모델(Large Language Model, LLM)은 수십억 개 이상의 파라미터(parameter)로 구성되는 언어 모델입니다. 2018년 무렵에 모습을 드러냈으며 현재 큰 관심을 받고 있는 주제입니다. LLM 작동 방식은 크게 다음의 3가지로 나뉩니다.
- 토큰화: 자연어 처리의 일부로 일반 인간 언어를 저수준 기계 시스템이 이해할 수 있는 시퀀스로 변환하는 작업을 말하며, 여기에는 섹션에 숫자 값을 할당하고 빠른 분석을 위해 인코딩하는 작업이 수반. 언어를 더 많이 연구하고 문장이 어떻게 구성되는 지 이해할수록 특정 유형의 문장에서 다음 언어에 대한 예측이 더 정확해짐
- 트렌스포머 모델: 순차적으로 데이터를 검사하여 어떤 단어가 서로 뒤따를 가능성이 높인지 관련 패턴을 식별하는 신경망의 일종. 언어를 학습하지 않고 알고리즘에 의존하여 사람이 쓴 단어를 이해
- 프롬프트: 개발자가 정보를 분석하고 토큰화하기 위해 LLM에 제공하는 정보. 더 정확한 프롬프트를 받을수록 LLM은 다음 단어를 더 잘 예측하고 정확한 문장 구사 가능. 딥러닝 AI 학습을 위해서는 적절한 프롬프트를 선택하는 것이 중요
쉽게 말하자면 LLM은 광범위한 양의 텍스트 데이터를 학습하는 모델을 뜻합니다. 사람도 학습을 통해 언어 구사 능력이 고도화되듯 LLM도 방대한 양의 언어 데이터를 학습하면서 지식을 습득합니다. 오늘날 대부분의 텍스트 기반 생성형 AI는 LLM을 기반으로 작동합니다.
널리 알려진 주요 대형 언어 모델로는 오픈AI의 GPT 시리즈, Anthropic의 클로드(Claude), 딥마인드의 고퍼(Gopher), 메타의 OPT와 라마(LLaMA), 구글의 람다(LaMDA)와 PaLM2 등이 있습니다.
2. GPT
대형 언어 모델이 방대한 양의 언어 데이터를 학습한 모델이라고 했습니다. GPT는 미국의 인공지능(AI) 단체인 오픈AI가 2018년 선보인 대형 언어 모델의 계열입니다. ' Generative Pre-trained Transformer'의 줄임말로, 우리말로는 '사전 학습된 생성형 변환기' 정도로 변역할 수 있겠습니다. GPT 모델들은 대량의 텍스트 데이터셋으로 미리 훈련되고 인간과 같은 문자를 생성할 수 있는 변환기 아키텍처에 기반한 인공 신경망입니다.
오픈AI는 GPT-2, GPT-3, GPT-4와 같이 순차적으로 번호가 매겨진 GPT 기반 모델을 출시했습니다. 이들 각각은 훈련 가능한 매개변수(parameter)의 수가 증가함에 따라 이전보다 훨씬 더 많은 능력을 발휘합니다. 가장 최근 모델은 GPT-4로, 2023년 3월에 출시되었습니다. 흔히 부르는 챗GPT는 채팅을 뜻하는 Chat과 GPT가 합쳐진 단어입니다.
3. 매개변수
챗GPT가 사람들로부터 큰 관심을 받게 되자 주요 기업들은 자체 개발한 대형 언어 모델을 발표하기 시작합니다. 이때 언론에 많이 등장한 용어 중 하나가 매개변수(parameter, 파라미터)입니다. 매개변수는 함수나 프로그램에서 실행 중에 값이 변경될 수 있는 변수를 말합니다.
챗GPT와 같은 생성형 AI가 사용자의 질문에 대한 최적의 답을 산출하기 위해서는 정밀하게 설계된 함수가 필요합니다. 이 함수는 결과값에 영향을 미치는 '매개변수'로 이루어져 있습니다. 반드시 그런 것은 아니지만 매개변수의 크기가 클수록(수가 많을수록) 정답에 가까운 답을 도출할 수 있습니다. 주요 대형 언어 모델의 파라미터 수는 다음과 같습니다.
4. 프롬프트
챗GPT 같은 생성형 AI는 사람과 대화하는 방식으로 답을 알려줍니다. 이때 사람이 AI에게 제공하는 질문이나 명령을 프롬프트(prompt)라고 부릅니다. 생성형 AI의 답변은 어떻게 질문을 하느냐에 따라 결과가 크게 달라질 수 있습니다.
프롬프트는 곧 비용과 직결되므로 많은 기업이 효과적으로 활용하여 생산성을 높이기 위해 '프롬프트 엔지니어(prompt engineer)'라는 전문가를 고용하기도 했습니다. 최적의 결과를 얻어낼 수 있도록 효과적인 프롬프트를 작성하는 기술을 '프롬프트 엔지니어링(prompt engineering)'이라고 합니다.
5. GPU
생성형 AI 전쟁에서 최후의 승자는 "마이크로소프트(Microsoft)도 구글(Google)도 아닌 엔비디아(Nvidia)가 될 것"이라는 이야기가 있습니다. 엔비디아는 원래 컴퓨터 그래픽 카드로 유명한 회사였습니다. 컴퓨터나 게임에 관심이 있는 분이라면 지포스(GeForce)라는 단어를 들어보셨을 겁니다. 지포스는 엔비디아가 설계한 개인용 컴퓨터의 그래픽 칩셋 상표명입니다.
엔비디아의 GPU(Graphic Processing Unit)는 '그래픽 처리 장치'라고 번역되며, 컴퓨터 시스템에서 그래픽 연산을 빠르게 처리하여 결과값을 모니터에 출력해 주는 연산 장치입니다. 게임 산업이 발전함에 따라 고사양 그래픽 게임에 대한 수요가 증가했고, 엔비디아는 복잡한 그래픽 연산을 빠르게 처리할 수 있는 그래픽 카드를 개발했습니다. 때마침 AI 기업에서 모델을 학습시키는 데 복잡한 수학적 연산과 데이터를 빠르게 처리할 수 있는 기술이 필요했고, 엔비디아의 GPU는 이상적인 도구로 부상했습니다.
GPU의 강점은 병렬 처리 능력에 있습니다. CPU는 강력한 연산 능력을 가지고 있지만 한 번에 하나의 작업을 처리하는 데 최적화되어 있다면, GPU는 수백 또는 수천 개의 작은 코어를 가지고 있어서 많은 양의 연산을 동시에 처리할 수 있습니다.
6. HBM
고대역폭 메모리(High Bandwidth Memory, HBM)은 여러 개의 D램 칩을 TSV(Through Silicon Via)로 수직 연결해 데이터 처리 속도를 혁신적으로 끌어올린 고성능 제품입니다. 이름도 생소한 이 용어는 인공지능(AI) 분야에서 중요한 역할을 합니다.
인공지능(AI) 서비스는 대규모 데이터를 빠르게 처리해야 하기 때문에 고성능 메모리가 필수적입니다. HBM은 이러한 요구사항을 충족시키는 고속 메모리로서 AI 서비스의 성능을 향상시키는데 큰 역할을 합니다. 특히, 딥러닝과 같은 고도의 연산이 필요한 AI 서비스에서는 HBM의 빠른 속도와 대용량 데이터 처리 능력이 더욱 중요해집니다.
HBM은 고대역폭 메모리로서 AI 서비스의 데이터 처리 속도를 높일 뿐만 아니라, 전력 효율성도 높아서 에너지 절약에도 기여합니다. 따라서 AI 서비스의 발전과 함께 HBM의 수요도 계속해서 증가할 것으로 예상됩니다. AI 반도체 시장에서 HBM의 중요성은 계속해서 높아질 것으로 예상되며, 앞으로도 많은 기업들이 HBM 기술을 활용한 AI 반도체 개발에 노력할 것으로 보입니다.
7. 일반 인공지능 (AGI)
현재 널리 사용되는 인공지능(AI)은 정확하게는 '좁은 의미의 인공지능'입니다. 특정 작업이나 기능에 최적화된 인공지능을 의미하며, 번역, 이미지 인식, 게임 등 특정한 영역에서만 인간을 능가하는 성능을 보입니다. 체스 세계 챔피언 카스파로프나 이세돌과 겨루었던 딥블루, 알파고 등이 이에 해당합니다.
이에 비해 일반 인공 지능(Artificial General Intelligence, AGI)은 인간과 유사한 지능 수준을 가진 인공지능을 말하며, 인공지능 기술의 최종 목표로 알려져 있습니다. AGI는 인간의 지능을 모방하거나 대체하기 위해 개발된 컴퓨터 시스템으로, 기계 학습이나 패턴 인식, 자연어 처리 등의 기술을 이용하여 문제를 해결하며, 의사 결정을 스스로 내릴 수 있는 능력 또한 갖추고 있습니다.
주어진 데이터를 분석하고 학습하며 지식을 습득하며, 이를 바탕으로 문제를 해결하거나 예측하는 능력을 갖추고 있습니다. 자동화 및 로봇, 의료, 금융, 교육 등 다양한 분야에서 활용되고 있습니다.
8. 멀티 모달
초기의 챗GPT는 텍스트 기반이었습니다. 사용자는 텍스트로 질문을 했고, 답변도 텍스트로만 받을 수 있었습니다. 지금의 챗GPT는 텍스트로 특정 이미지를 만들어달라고 하면 이미지를 생성합니다. 음성으로 질문을 하더라도 텍스트나 이미지로 답변을 받을 수 있습니다. 이때 텍스트, 음성, 이미지 등을 모달(Modal)이라고 하며, 다양한 형태의 모달을 입/출력에서 활용하는 방식을 '멀티 모달(Multi-Modal)'이라고 합니다.
멀티 모달(Multimodal)은 여러 개의 감각 채널을 동시에 사용하여 정보를 입력 받거나 출력하는 것을 말합니다. 사람들이 일상 생활에서 여러 감각을 함께 사용하여 정보를 인지하고 소통하는 것처럼, 컴퓨터 시스템에서도 이러한 멀티 모달 인터페이스를 구현하고 있습니다.
예를 들어, 스마트폰에서 음성으로 전화를 걸거나 음악을 재생하면서 화면에서는 문자나 그림을 보는 경우가 대표적인 멀티 모달 사례입니다. 또한, 가상현실(VR)이나 증강현실(AR) 환경에서는 시각과 청각뿐만 아니라 촉각, 후각, 미각 등의 다양한 감각을 동시에 사용하여 몰입감 높은 체험을 제공하기도 합니다.
인공지능 분야에서도 멀티 모달 기술이 매우 중요한데, 이를 통해 다양한 종류의 데이터를 한 번에 처리할 수 있기 때문입니다. 예를 들어, 음성과 텍스트, 이미지와 텍스트 등 서로 다른 유형의 데이터를 조합하여 더 나은 분석 및 예측을 수행할 수 있습니다. 멀티 모달 기술은 우리 삶 속에서 점점 더 많은 곳에서 적용되고 있으며, 앞으로는 더욱 발전하여 더욱 자연스럽고 효율적인 정보 교류와 협업이 이루어질 것으로 기대됩니다.
9. 인간 피드백 기반 강화 학습 (RLHF)
인공지능을 훈련시키는 방법 중 하나라 '강화학습'이 있습니다. 강화학습은 머신러닝의 한 분야로, 에이전트가 환경과 상호작용하며 학습하는 방법입니다. 기존의 지도학습과는 달리 라벨링 된 데이터가 필요 없으며, 에이전트는 경험을 통해 학습합니다. 이때, 환경은 에이전트가 놓인 상황을 의미하며, 에이전트는 환경과 상호작용하며 스스로 탐색합니다.
강화학습에서 에이전트의 주요 목표는 긍정적 보상을 최대한 얻어 성능을 향상시키는 것입니다. 이를 위해 에이전트는 환경으로부터 받은 피드백을 바탕으로 행동을 수정하거나 전략을 변경합니다.
인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF)은 강화학습에 인간의 피드백을 추가한 방법입니다. 인간의 피드백을 통해 모델의 성능을 향상 시킬 수 있으며, 모델이 작성한 답변을 인간이 평가하고 이에 따른 보상을 부여함으로써 모델을 학습시킵니다.
RLHF는 이러한 강화 학습의 일반적인 프로세스에 인간의 피드백이 추가된 접근 방식입니다. 이 방식에서는 AI가 특정 작업을 수행한 후, 인간 평가자로부터 피드백을 받습니다. 이를 통해 AI는 단순히 자동화된 보상 시스템을 통해 학습하는 것이 아니라 인간의 판단과 가치관을 반영하여 보다 정교하고 인간적인 반응을 학습할 수 있게 됩니다.
10. CXL
CXL(Compute Express Link)은 컴퓨터 시스템 간의 고속 데이터 전송을 위한 인터페이스 규격으로, CPU와 GPU, SSD 등의 다양한 하드웨어 부품들을 서로 연결해주는 역할을 합니다. CXL은 다음과 같은 주요 특징을 가지고 있습니다.
- 대역폭: CXL은 고대역폭을 지원하여 빠른 속도로 데이터를 처리할 수 있습니다. 이는 대용량 데이터를 다루는 작업이나 고성능 연산을 수행하는 경우에 유용합니다.
- 저지연: 지연 시간이 짧기 때문에 데이터 처리 속도가 빠르고 안정성이 높습니다.
- 확장성: 여러 개의 CXL 링크를 병렬로 연결하여 시스템의 성능을 더욱 높일 수 있습니다.
- 호환성: 다양한 제조사의 하드웨어 부품들과 호환되기 때문에 시스템 구성이 용이합니다.
CXL은 데이터 센터나 클라우드 서비스, 그래픽 가속화, 데이터 분석 등의 분야에서 활용되며, 이를 통해 시스템의 성능을 향상시키고 운영 효율성을 높이는 데 기여합니다. 앞으로는 인공지능, 머신러닝, 딥러닝 등의 분야에서도 널리 사용될 것으로 예상됩니다.
요약하자면, CXL은 컴퓨터 시스템 간의 고속 데이터 전송을 위한 인터페이스 규격으로, 다양한 하드웨어 부품들을 서로 연결해주며, 고대역폭, 저지연, 확장성, 호환성 등의 특징을 가지고 있습니다. 데이터 센터나 클라우드 서비스, 그래픽 가속화, 데이터 분석 등의 분야에서 활용되며, 이를 통해 시스템의 성능을 향상시키고 운영 효율성을 높이는 데 기여합니다.
'IT Info' 카테고리의 다른 글
| Mac에서 무료로 PDF를 Word로 변환하는 6가지 방법 (0) | 2023.12.18 |
|---|---|
| Copilot의 첫 해를 돌아보며 (4) | 2023.12.17 |
| 이미지에서 텍스트를 추출하는 Windows 11의 숨겨진 기능 (0) | 2023.12.16 |
| 모든 대학생에게 필요한 11가지 최고의 앱 (0) | 2023.12.16 |
| 최고의 Mac용 생산성 앱 10가지 (0) | 2023.12.15 |
