LLM 경쟁의 다음 단계, ‘말하는 AI’에서 ‘일하는 AI’로

LLM 경쟁의 다음 단계, ‘말하는 AI’에서 ‘일하는 AI’로

생성형 AI 시장의 경쟁 기준이 빠르게 변하고 있다.

지난 몇 년간 시장의 관심은 더 많은 파라미터, 더 높은 벤치마크 점수, 더 자연스러운 답변을 만들어내는 LLM(Large Language Model)의 성능 경쟁​에 집중돼 있었다.

하지만 기업의 관심은 점차 다른 곳으로 이동하고 있다.

“어떤 모델이 가장 똑똑한가”보다
“이 AI가 실제 업무를 얼마나 대신할 수 있는가”가 중요해지고 있다.

모델 경쟁에서 Agent 경쟁으로

OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini 등 글로벌 기업들이 범용 LLM 시장을 빠르게 장악하면서 자체 LLM만으로 차별화하기는 점점 어려워지고 있다.

국내 AI 기업들도 이에 대응해 단순한 자체 모델 개발을 넘어 RAG, AI Agent, 온프레미스 AI, 산업 특화 AI​로 사업 영역을 확장하고 있다.

업스테이지가 2026년 공개한 Solar Open 2 역시 단순 질의응답보다는 도구 호출과 업무 수행 등 Agent 활용에 초점을 맞춘 모델이다.

코난테크놀로지도 최근 여러 AI 에이전트를 하나의 환경에서 구축·배포·관리할 수 있는 기업용 플랫폼 Agent-X를 공개했다. 법률·발전·제조 등 실제 산업현장으로 AI 적용 범위도 확대되고 있다.

AI 시장의 경쟁축이 Model에서 Workflow로 이동하고 있다는 신호다.

기업이 원하는 것은 가장 똑똑한 AI가 아니다

기업 환경에서는 반드시 최고 성능의 LLM이 필요한 것은 아니다.

금융회사는 내부 문서와 규정을 정확히 검색해야 하고, 제조기업은 생산 데이터를 분석해야 하며, 국방·공공기관은 데이터가 외부로 유출되지 않는 폐쇄형 환경이 중요하다.

따라서 기업이 AI를 선택하는 기준은 점점 다음과 같이 변하고 있다.

모델 성능
→ 데이터 연결
→ 정확성
→ 보안
→ 업무 자동화
→ 비용 효율성

이 과정에서 RAG와 AI Agent가 중요해진다.

RAG는 기업 내부의 문서와 데이터를 LLM과 연결하고, AI Agent는 여기에서 한 단계 더 나아가 검색·분석·보고서 작성·시스템 실행 등 여러 업무를 연결해 수행한다.

결국 기업 AI의 경쟁력은 좋은 답변을 만드는 것에서 실제 업무를 완료하는 것으로 이동하고 있다.

국내 LLM 기업에게는 위기이자 기회

글로벌 범용 LLM 시장에서 OpenAI, Anthropic, Google과 직접 경쟁하는 것은 쉽지 않다.

막대한 GPU 투자와 학습 데이터, 글로벌 사용자 기반을 필요로 하기 때문이다.

하지만 국내 기업에게 다른 기회가 존재한다.

1. 산업 특화 AI

금융·국방·제조·법률·의료처럼 전문 데이터와 높은 정확성이 필요한 시장에서는 범용 모델만으로 문제를 해결하기 어렵다.

산업을 이해하고 데이터를 구조화할 수 있는 기업에게 새로운 진입장벽이 만들어질 수 있다.

2. Private AI

기업 내부 데이터가 외부 AI 서비스로 전달되는 것을 원하지 않는 금융·공공·국방 분야에서는 온프레미스 또는 Private Cloud 형태의 AI 수요가 지속될 가능성이 높다.

3. AI Agent

향후 기업용 AI 시장의 가장 큰 변화 중 하나는 AI가 정보를 제공하는 수준에서 업무를 직접 수행하는 단계로 이동하는 것이다.

검색, 분석, 보고, 의사결정 지원, 시스템 실행까지 연결되면 AI의 경제적 가치도 훨씬 커진다.

투자자는 무엇을 봐야 하는가

AI 시장이 성장한다고 모든 AI 기업의 가치가 함께 상승하는 것은 아니다.

특히 LLM 기업을 평가할 때 단순히 “자체 LLM을 보유하고 있다”​는 사실만으로 높은 기업가치를 정당화하기는 점점 어려워질 것이다.

ROOT Investment는 기업용 AI 기업을 바라볼 때 다음 요소를 중요하게 본다.

첫째, 실제 고객이 존재하는가.

PoC와 MOU를 넘어 실제 유료 계약으로 연결되는지가 중요하다.

둘째, 매출이 반복되는 구조인가.

일회성 구축 프로젝트 중심인지, 라이선스·사용료·구독 등 반복매출이 축적되는 구조인지에 따라 기업가치는 크게 달라질 수 있다.

셋째, 특정 LLM에 종속되지 않는가.

GPT, Claude 또는 자체 모델 중 어떤 모델을 사용하더라도 고객의 데이터와 업무 시스템을 연결할 수 있다면 더 강한 사업 구조를 만들 수 있다.

넷째, 산업 데이터와 고객 레퍼런스가 축적되고 있는가.

장기적으로 AI 기업의 진입장벽은 모델 자체보다 데이터, 고객, 업무 프로세스에 대한 이해​에서 만들어질 가능성이 높다.

ROOT View

LLM의 성능은 앞으로도 계속 좋아질 것이다.

그러나 모델 성능이 상향 평준화될수록 기업 AI 시장에서 중요한 것은 오히려 모델 밖의 영역이 될 수 있다.

기업의 데이터를 이해하고, 기존 시스템과 연결하고, 실제 업무를 자동화하며, 그 과정에서 반복적인 매출을 만들어내는 기업.

ROOT Investment는 앞으로 AI 산업을 바라볼 때 “누가 가장 좋은 모델을 만들었는가”보다 “누가 AI를 실제 산업의 생산성으로 전환하고 있는가”​에 주목한다.

AI 경쟁의 다음 단계는 더 이상 말 잘하는 AI가 아니다.

실제로 일하는 AI다.