▲이상엽 LG유플러스 CTO(전무)가 12일 기자들을 대상으로 열린 'AI 토큰 최적화 스터디'에서 발언하고 있다. 사진=LG유플러스
LG유플러스가 인공지능(AI) 서비스의 성능은 높이면서도 운영비용은 낮추는 '토큰 최적화' 기술을 앞세워 내년 기업 서비스 시장 공략을 본격화한다. AI 에이전트 확산으로 토큰 소비량이 급증하는 가운데, 모델부터 반도체 인프라까지 아우르는 최적화 역량을 통해 고객의 비용 부담을 대폭 줄이겠다는 구상이다.
LG유플러스는 지난 12일 서울 서대문구 위드스페이스에 기자를 대상으로 개최된 'AI 토큰 최적화 스터디'에서 이 같은 내용을 골자로 한 기업간거래(B2B) 토큰 사업 계획을 공개했다.
자사 AI 통화 에이전트 '익시오'와 AI컨택센터(AICC), 전사 업무 혁신AX 등 상용·실무환경에서 검증한 기술 역량을 토대로 AI 모델의 성능과 비용효율 사이 '운영 레시피'를 축적한 만큼, 이를 앞세워 B2B 시장을 빠르게 선점한다는 게 회사의 목표다.
◇ 내년 B2B 사업 본격화…“즉시 전력감 기술 확보"
토큰은 AI 모델이 정보를 처리하고 답변을 생성하는 과정에서 사용하는 기본 단위다. 최근 AI 에이전트 확산으로 토큰 소비량이 급증하면서, 통신업계에서도 기존 통신망과 데이터센터 운영 경험을 활용해 AI 연산 효율을 높이고 비용을 절감하는 기술의 중요성이 커지고 있다.
이상엽 LG유플러스 최고기술책임자(CTO)는 이날 스터디에서 “토큰 최적화는 사실 통신사 대다수가 심혈을 기울이고 있는 영역"이라면서도 “최적화라는건 다양한 목적에 맞춰 장비와 기술을 조합해야만 달성할 수 있는 것"이라고 강조했다. 단일 기술의 성능보다 고객의 업무 특성에 맞춰 다양한 기술과 인프라를 조합하는 운영 역량이 토큰 사업의 경쟁력을 좌우한다는 설명이다.
그럼에도 LG유플러스가 내년 B2B 사업 본격화를 자신하는 배경에는 회사가 실제 AI 서비스 운영 과정에서 축적한 기술 역량이 자리 잡고 있다.
실제로 익시오 출시 초기 LG AI연구원의 온디바이스 모델과 구글 제미나이를 병행 활용했던 LG유플러스는, 운영 과정에서 지속적인 최적화를 통해 자체 AI 모델과 엑사원 등의 활용 비중을 조정하며 성능 고도화와 비용 효율화 역량을 다져왔다. 고성능 AI가 필요한 작업과 상대적으로 가벼운 작업을 구분해 처리함으로써 불필요한 비용을 줄이는 방식이다.
특히 자체 온디바이스 AI 모델의 경우엔, 크기를 기존 2.4~3기가바이트(GB)에서 약 800메가바이트(MB) 수준으로 줄이면서도 경쟁 클라우드 모델 대비 95% 이상의 성능을 확보했다. 작은 모델이 답변 후보를 생성하고 큰 모델이 이를 검증하는 '추측 디코딩(Speculative Decoding)'을 활용해 토큰 생성속도를 2배 이상 높이는 성과도 거뒀다.
코딩 에이전트 분야에서도 가시적인 성과를 확보했다. LG유플러스는 내부 기술검증(PoC)을 통해 통상적으로 사용하는 모델 대비 자체 AI 모델의 코딩 에이전트 운영비용을 90% 절감한 사례를 확인했다고 밝혔다. 별도의 연산 최적화 실험에서는 동일한 인프라의 처리 효율을 4배 높였다.
연내 출시가 예정된 카카오의 '모두의 AI' 역시 내년 본격화될 LG유플러스의 B2B 사업 기반으로 활용된다. 이 CTO는 “프론트 쪽은 카카오가 하지만 모델 서빙 영역은 당사가 진행할 예정"이라며 “다양한 운영 레시피와 최적화 방법들이 연구될 것이고, 실제 다양한 토큰 팩토리 서비스 기술로 반영될 수 있을 것"이라고 설명했다.
▲(왼쪽부터) LG유플러스 권기덕 AX엔지니어링Lab장(담당), 이상엽 CTO(전무), 이혜진 기술전략담당, 김현민 소버린클라우드사업팀장이 12일 기자들을 대상으로 열린 'AI 토큰 최적화 스터디' 질의응답을 진행 중이다. 사진=LG유플러스
◇ 모델부터 반도체까지…'풀스택 최적화' 방점
LG유플러스는 AI 모델부터 운영체계, 반도체 인프라까지 광범위한 최적화 기술을 확보함으로써 풀스택 역량 구축에도 속도를 낸다는 구상이다. AI 에이전트의 불필요한 작업을 줄이는 '하네스 엔지니어링'과 질문의 난이도에 따라 적합한 모델을 선택하는 '동적 모델 라우팅', 그래픽처리장치(GPU) 추론 최적화 등이 대표적이다.
권기덕 LG유플러스 AX엔지니어링랩(Lab)장은 “고객이 질문하면 의도와 문맥을 파악하고 내부의 '디시전 모델'이 질문을 분류해 특정 모델로 라우팅하는 기술을 검증하고 있다"며 “내부 테스트에서 일반 질문은 25% 이상, 코딩 에이전트는 30% 이상 비용을 절감했다"고 설명했다.
GPU 연산과 메모리 접근 방식을 개선하는 기술도 고도화가 진행중이다. 권 랩장은 “GPU 내부의 연산 작업을 배분하는 방식을 최적화해 토큰 생산량을 3배, 응답 속도는 2배 향상하면서도 품질은 유지하는 PoC 결과가 있었다"며 “연산을 여러 개로 묶어서 하나로 처리하면 메모리 접근 횟수를 줄이고 토큰 생산량을 극대화할 수 있다"고 말했다.
반도체 인프라에서는 엔비디아와 AMD의 GPU, 퓨리오사AI와 망고부스트의 국산 프로세서(xPU)를 작업 특성에 따라 조합하는 '칩 믹스(Chip-Mix)' 전략도 추진 중이다. 입력 정보를 처리하는 '프리필'과 답변을 생성하는 '디코딩'으로 AI 추론 과정을 나눠 서로 다른 반도체에 배분하는 방식이다.
퓨리오사AI의 경우 2년 이상 협력관계를 유지하며 NPU의 활용 가능성을 검증 중이며, 망고부스트와는 AMD 프로세스에 대한 최적화를 진행하는 가운데 이른 시일 내에 실제 서비스환경에 적용이 가능할 것으로 전망됐다.
아울러 LG유플러스는 자체 AI 모델뿐 아니라 외부 빅테크 모델까지 활용해 고객의 업무 특성에 맞는 운영 환경을 제공하고 비용을 최적화한다는 방침이다.
이상엽 CTO는 “당사 토큰 최적화의 경쟁 상대는 빅테크의 모델이 아니다"라며 “빅테크의 경량화 모델이 최적화에 더 적합하다면 이를 연결해 서비스를 할 수도 있다"고 말했다. 이어 “단순히 토큰 단가를 낮추는 데 그치지 않고, 고객이 원하는 다양한 업무를 얼마나 최적의 비용으로 처리할 수 있는지에 초점을 맞추고 있다"고 했다.
;){kind=link}