생성형 AI의 기술이 무궁무진하게 발전하면서, 단순 기업용으로 쓰일 줄 알았던 기술은 우리 삶 속에도 깊숙이 침투하고 있다. 지금이야 챗 GPT나 사운드풀(Soundful), 영상 제작처럼 흥미성 콘텐츠를 생산하는 정도로 쓰이고 있지만, 발전하는 속도를 보면 단순 웃음으로 치부할 정도는 아닌 것 같다.
챗 GPT로 추출한 코드를 약간만 다듬으면 실제 작업에 쓸 수 있다는 건 익히 알 것이다. 정말 조금만 더 발전해 스스로 발생할 에러를 예상하고 수정해 완벽한 코드를 생성할 수 있게 된다면 인력을 완벽히 대체하지 않을까. 우소갯 소리로 치부하기엔 이미지 생성형 AI가 등장한 이후를 보자. 처음 등장했을 땐 일정하지 않은 캐릭터의 외형, 손이나 배경과 같은 복잡한 요소의 부정확한 표현력 등의 부족한 모습 때문에 사람을 대체할 수 있을 거란 생각은 들지 않았다.
하지만 현재 일부 게임은 물론 삽화, 표지 등 간단한 일러스트는 AI로 대체하고 있다. 특히 이런 현상은 인디 게임사에서 빈번하게 일어나고 있으며, 중견 기업에서도 AI 그림을 활용하는 경우도 자주 있다. 기계가 절대 차지할 수 없다고 예상했던, 인간만이 가질 수 있다고 여겨졌던 예술의 영역이 도리어 가장 먼저 침투당한 것이다.
AI의 영향을 끼치는 것은 게임도 포함된다. 게임은 프로그래밍, 미술, 음악, 이야기 등 여러 분야가 하나로 합쳐진 예술의 집합체지만, 대부분 전자기기에서 즐길 수 있다는 점으로 인해 AI을 접목하기 좋은 조건을 가지고 있다. 실제 DLSS나 FSR처럼 프레임을 추가해 주는 생성형 AI 기술이 익히 쓰이고 있으나, 여기서는 또 다른 어떤 게 있는지, 앞으로 어떤 AI 기술이 접목될지 간단하게 알아보려 한다.
AI, 게임에서 어떻게 쓰이고 있나
오래전부터 AI 기술이 사용된 게임 라이프
대표적인 예시는 역시 프레임 생성 기술인 DLSS, FSR을 꼽을 수 있다. 처음에 이 기술이 세상에 선보였을 땐 신세계가 열린 듯한 환호를 받았다. 그도 그럴 것이 성능이 절대적일 것만 같았던 PC 시장에서, 갑자기 AI를 통해 더욱 높은 프레임으로 게임을 즐길 수 있다니 이건 그야말로 혁신과 같았다. 적은 프레임이 나오는 게임도 높은 프레임으로 즐길 수 있어 보였으니 말이다. 하지만 DLSS가 현실에 나오자 그 반응은 거짓말같이 빠르게 사그라들었다.
물론 해당 기능이 나쁜 것은 아니었다. 실제로 프레임 향상은 있었으니 말이다. 다만 기대한 것에 비해 안정성이 다소 떨어져 게임을 하는데 멀미를 유발하거나 이미지 해상도를 떨어뜨리는 등, 기대에 못 미치는 퀄리티를 보여줘 많은 게이머는 실망을 금치 못했다.
이후 엔비디아는 지속적인 개선을 통해 후속 넘버링의 DLSS는 고사양 게임을 하면서 없어서는 안 될 기능으로 자리 잡았다. 이후 경쟁사인 AMD도 AI 업스케일링 기술인 FSR과 AFMF를 도입했다. 그래픽 카드 제조사뿐만 아니라 해당 기능의 프로그램을 판매하는 업체도 있을 정도로 AI 업스케일링 시장은 소비자 사이에서 큰 주목을 받고 있다.
게임 내에서도 AI의 발전이 있다. 올해 초에 발매한 철권 8에는 슈퍼 고스트 배틀이 있다. CPU와 전투를 벌이면 플레이어가 사용하는 기술이나 콤보, 움직임 등을 학습해 모방한다. 처음에는 살짝 멍청한 것 같지만 몇 번 플레이 하다 보면 점차 유저의 플레이를 똑같이 구현하는 것은 물론, 상황에 따라 다르게 구사하는 콤보, 압박, 움직임 등을 보면 정말 딥러닝으로 유저의 움직임을 모방하고 있다는 게 느껴진다.
슈퍼 고스트를 통해 자신의 버릇이나 자주 쓰는 기술 등을 파악할 수 있는 데다, 다른 유저의 고스트를 다운로드해 직접 대련하며 연습할 수도 있으니 딥 러닝 AI의 순기능이라 할 수 있다.
게임 속 AI의 발전 가능성
게임 속 NPC에 AI를 접목한다면?
위에서는 게임 외 부분에서, 게임의 경험을 쾌적하게 해주는 것에 그치지만, 이제 게임 콘텐츠 자체에 AI를 담아내려는 기술도 모습을 보인다. 게임 속에 등장하는 NPC에 지정된 스크립트를 재생하는 것이 아닌, 상황과 주인공의 대사, 대화의 흐름 등을 분석하고 NPC의 성격에 부합하는 대화를 실행함으로써 매번 다르고 현실적인 대화 기능을 개발 중이다.
LLM 기술을 도입한 것인데, LLM이란 대량의 언어 데이터를 학습하고 이해하여 생성하도록 훈련된 AI를 말한다. 유저와 실시간으로 자연스럽게 대화할 수 있는 AI라는 것인데 대표적으로 챗 GPT를 꼽을 수 있다. 이 AI를 게임 내에 등장하는 NPC에 적용한 것이다.
현재 여러 기업과 대학에서 게임에 LLM을 도입하는 테스트를 진행 중이며, 생각보다 놀라운 결과를 보여주고 있다. 물론 아직 공식적으로 NPC에 생성형 AI가 적용된 게임 사례를 보긴 어려우나, 오래전에 출시되었던 엘더 스크롤 V: 스카이림에 등장하는 일부 NPC에 AI를 적용하는 모드가 있다.
모드 전문 웹사이트인 Nexus에 'Inworld Skyrim - AI NPCs'라는 모드를 적용하면 25명의 주요 NPC에 챗 GPT4 기반의 생성형 AI가 적용된다. 직접 텍스트를 입력하면 NPC가 미리 입력되어 있던 스카이림과 NPC에 대한 기본 정보를 토대로 분석해 상황이나 질문에 적합한 답을 낸다. 유저는 직접 값을 조정해 AI를 적용할 NPC 목록을 추가하거나 AI가 가지고 있는 정보를 수정할 수도 있다.
물론 위의 영상은 상당히 놀라운 부분이긴 하지만, 게임을 하다가 텍스트를 입력하는 과정을 여럿 반복하다 보면 흐름이 끊겨버릴 것이다. 그럼 다른 방법으로 NPC와 대화할 순 없을까 싶었는데, 역시 인간은 모두 같은 생각을 하나보다. 시리나 빅스비 등의 AI 비서처럼 보이스로 NPC와 대화할 수 있는 기술도 개발되고 있다. 대표적인 예시로 레플리카의 스마트 NPCs, 유비소프트의 제너레이티브 AI를 꼽을 수 있다. 아직 초기 빌드의 데모만 공개한 상태지만 영상을 보면 놀라운 수준이다.
우선 레플리카의 스마트 NPCs는 지나가는 NPC 중 아무한테 말을 걸면 자연스럽게 대화가 진행된다. NPC마다 이름, 성격, 직업 등이 부여되어 있어 동일한 질문이라도 다양한 답변을 들을 수 있다. 그뿐만 아니라 어려운 질문이라도 딥러닝을 통해 자연스러운 답변을 출력하고, 이전의 대화 흐름까지 고려해 상황에 맞는 대답을 해 긴 대화도 가능하다.
지난 3월, 유비소프트에서 공개한 NEO NPC도 이와 비슷하다. 게임 속에 등장하는 조연 캐릭터와 직접 1대 1 대화를 통해 게임을 진행하는데, 엔비디아의 Audio2Face와 LLM을 사용해 자연스러운 모습의 NPC를 볼 수 있다. 단순히 캐릭터와 잡담하는 것이 아니라 상황에 대해 설명하고, 작전을 세우는 등 정보를 공유하며 보다 직접적이고 고차원적인 대화가 가능하다.
(이미지 출처: 유튜브 Corbin Brown)
다만 이런 AI의 기술이 항상 의도한 대로만 굴러가진 않을 것이다. 일종의 오류나 일부 유저의 부적절한 정보 입력으로 인해 AI가 변질된다면 게임 진행에 큰 차질을 빚을 것이다. 그래서 NEO NPC 개발자는 이를 방지하는 가드레일도 준비 중이라고 한다. 가드레일이 있다면 AI가 어느 정도 학습하는 부분을 방해해 깊이 있는 결과를 도출하지 못할까 싶지만, 안전장치를 위한 희생이라 생각하면 납득이 가기도 한다.
여기서 단순히 NPC가 유저의 질문에 대화하는 것을 넘어, 실제 사람처럼 스스로 행동하고 작업하며 일상을 보내게 되면 어떨까? 실제로 작년 4월, 스텐퍼드 대학과 구글 연구팀이 함께 챗 GPT 기반의 LLM 에이전트 시뮬레이션 실험, '제너레이티브 에이전트'를 진행한 이력이 있다.
LLM 에이전트란 위에서 설명했던 LLM의 정보를 기반으로 여러 작업을 스스로 수행하는 것을 칭한다. 한 마디로 LLM 에이전트의 LLM은 두뇌, 에이전트는 신체라고 보면 이해하기 쉽다. 여기에 더해, 연구팀은 메모리 스트림을 기반한 특이한 메모리 시스템을 설계했다.
메모리 스트림이란 에이전트가 정보나 상황을 인식하면 메모리 스트림에 1차 기록한다. 이후 기록과 인식한 상황을 기반으로 관련 정보를 검색한 뒤, 최적화된 작업을 찾아 행동한다. 여기서 메모리에 저장되는 정보는 장기적인 계획을 수립하고 더 높은 수준의 계획을 생성하는 데 사용되며, 이후로도 최적화된 결과를 출력하기 위해 메모리에 저장된다.
말로 설명하니 어려운 것 같지만 쉽게 풀어보면, 에이전트가 입수한 정보를 상황과 기록된 정보를 기반으로 검색해 가장 최적화된 행동을 하며, 이러한 기록은 메모리에 기억되어 이후에 더욱 최적화된 결과를 도출하는 것이라 보면 된다.
실험 내용은 기본 시설이 갖춰진 마을 내 LLM 에이전트 NPC를 25명을 투입한 뒤, 각자 어떻게 일상을 보내는지 테스트를 진행했다. NPC는 각자 정해진 성격과 직업이 있으며, 그들은 마을 내에서 가장 적합한 작업을 스스로 찾아가 일상을 보냈다. 흥미로운 부분은 상호작용이었다. NPC가 어떠한 행동을 할 때는 스스로 도출한 결과를 이행했으며, 다른 NPC와 대화할 때는 인공어(C언어)가 아닌 자연어로 의사소통을 진행했다.
흥미로운 점은 여기서 끝이 아니다. 연구팀은 한 NPC에게 밸런타인데이 파티라는 이벤트 정보를 심어주었다. 그러자 해당 NPC는 친밀한 관계를 가진 다른 NPC와 대화하며 밸런타인데이 파티에 대한 정보를 공유하며 초대하는 모습을 보였다. 총 12명의 NPC가 초대되었고, 파티가 열렸을 때는 5명의 NPC가 정확히 파티가 열리는 날짜, 시간에 맞춰 참석하는 결과를 보였다.
그럼 나머지 7명은 실패한 걸까? 아니다. 정확히 3명의 NPC는 파티 참석보다 다른 업무의 우선순위가 높아 빠진 것이고, 4명의 NPC는 해당 파티 정보를 명확히 인지하고 있었으나, 별다른 이유 없이 참석하지 않았다. AI 기반의 가상 사회인 걸 고려하면 상당히 현실과 흡사한 재미있는 결과다.
위의 사례들을 보면 현재 게임과 AI의 연결을 가장 적합하게 보여주는 훌륭한 예시임과 동시에 이는 NPC 캐릭터가 많이 등장하는 게임에선 필연적인 시스템이라 보인다. AI를 통해 NPC를 더 입체적이고 현실적으로 만들면 게임 자체의 완성도와 몰입도가 상향될 것이고, 스크립트를 짤 수고도 덜어 작업 효율성도 높아질 테니 말이다. 앞으로는 단순 게임의 퀄리티뿐만 아니라 NPC의 AI 접목도 소비자의 주요 니즈가 될 것으로 생각된다.
게임 리마스터링도 '딸깍'하는 시대
추억의 게임을 다시 꺼내야 할 때
물론 소비자가 게임을 할 때뿐만 아니라, 게임과 관련된 작업에도 AI는 큰 도움을 준다. 예를 들어, 게임의 리마스터링을 소개할 수 있다. 짧게는 5년, 길면 30년 전에 출시했던 고전 게임을 최신 그래픽으로 재출시하는 것이 유행이다. 그러나 이는 대부분 인기 있었던 게임 중 극히 일부분만 해당하며, 시장성이 없다고 판단되거나 인기가 적다는 이유로 리메이크되지 못한 제품도 여럿 있다.
만약 좋아했던 게임 중 그런 상황에 부닥친 것이 있다면 매우 슬플 것이다. 그렇다면 직접 리메이크를 해보는 것은 어떨까. 원래라면 게임 코드를 뜯고 새로운 텍스처로 바꾸는 등 여러 복잡한 작업이 필요하지만, 이제 AI가 있다면 이런 번거로운 과정도 대폭 간소화할 수 있다. 바로 엔비디아의 RTX Remix다.
엔비디아의 RTX Remix는 작년에 선보인 AI 기술로, 간단한 작업을 통해 게임에 레이 트레이싱 효과를 입히고 높은 화질의 텍스처로 업스케일링 하는 등 여러 기능이 있다. 최근 컴퓨텍스(COMPUTEX) 2024 기간에 새로운 기능을 발표했는데, 콤피UI와 통합해 기존보다 훨씬 편하게 특정 명령어를 입력해 원하는 고해상도 텍스처로 교체하는 작업을 사용할 수 있다.
앞으로 AI는 더 발전할 방향이 있을까?
아직은 초기일 뿐, 발전 속도와 방향은 무궁무진
아직 게임에 AI가 적용되는 것은 흔하거나 대중적인 방법은 아니지만, 게임의 외적, 내적인 시스템과 제작에 AI가 관여할 수 있는 부분은 많다. AI가 세상에 등장한 지 햇수는 얼마 되지 않았으나, 이만큼의 성장 속도를 고려하면 훗날 지금은 상상도 못 한 부분에도 적용될 것이다.
모든 기업이 AI에 열을 올리고 있다는 것을 보면 AI의 기술은 현재 게임계가 겪고 있는 물리적인 문제를 해결할 수 있는 최고의 선택으로 보인다. 요즈음 대형 게임 개발사는 AAA 게임 개발비가 급격히 증가하면서 인력을 줄이거나, 스튜디오 자체를 폐쇄하는 등 예산을 줄이는 행보를 잇고 있다. 이와 함께 게임 자체의 퀄리티가 하향 평준화되고 있다는 소비자의 불만이 겹치며 게임 시장은 혼돈에 접어들고 있다.
이 상황에서 AI 기능을 활용해 인력의 소비를 줄이고, 게임 자체의 퀄리티를 보강한다면 생산자와 소비자 모두에게 이로운 현상이 발생할 것이다. 물론 AI 기능을 지나칠 정도로 의지한다면 기대 이하의 결과물을 낳는 문제도 발생하겠지만, 현재 물리적으로 한계를 맞이하고 있는 게임 시장의 문제점을 대폭 완화할 수 있는 최고의 해결책인 것도 사실이다.
그렇기에 많은 기업은 AI 기술을 갈망하고, 또 개발을 이어갈 것이다. 앞으로 AI 기술의 발전은 더욱더 박차를 가할 것이 분명하며, 아직은 생각지도 못했던 활용처가 새롭게 발견되며 AI가 더욱 활성화되는 일도 멀지 않았다.
desk@inven.co.kr