DeepInfra
AI 추론(Inference) 인프라의 새로운 기준 — 실리콘밸리 발 차세대 AI 클라우드가 엔터프라이즈 AI의 병목을 해소하다
DeepInfra(법인명: Deep Infra Inc.)는 2022년 9월 미국 캘리포니아주 팔로알토에서 설립된 AI 추론(Inference) 클라우드 인프라 기업입니다. 세 명의 공동창업자 모두 메시징 앱 imo.im에서 대규모 분산 시스템을 직접 구축·운영한 경험을 보유하고 있으며, 그 과정에서 도출된 핵심 통찰 — “퍼블릭 클라우드 임차보다 인프라 자체 소유가 비용·성능 양면에서 구조적으로 우월하다” — 이 DeepInfra의 사업 모델 전체를 관통하는 원칙으로 작동합니다.
동유럽 전역의 국제 프로그래밍 대회에서 최상위 성적을 거두며 알고리즘·분산 시스템 역량을 조기에 검증한 기술 창업가입니다. Northwestern University 출신으로, HalloApp 백엔드 소프트웨어 엔지니어 및 엔지니어링 팀 리드를 역임한 후 imo.im에서 수십억 건의 영상통화와 메시지를 처리하는 글로벌 규모의 자체 데이터센터 인프라를 직접 설계·운영했습니다. imo에서 전 세계 인프라의 95%를 온프레미스로 운영하며 “클라우드 임차 비용은 자체 구축 대비 구조적으로 과도하다”는 사실을 실증적으로 검증한 경험이 DeepInfra 창업의 직접적 동인이 되었습니다. AI 추론 클라우드의 수직 통합 모델을 창업 당시부터 일관되게 추진하고 있습니다.
카자흐스탄-영국 기술대학교(Kazakh-British Technical University) 정보시스템 석사 출신의 분산 시스템 전문가. imo.im에서 대규모 실시간 인프라 구축·운영을 담당했으며, DeepInfra의 Series A·B 공식 발표를 직접 집필하는 등 기술 전략 커뮤니케이션을 주도하고 있습니다.
베를린 공과대학교(TU Berlin) 물리학 및 뮌헨 공과대학교(TU München) 수학 경력 보유. 국제 수학·프로그래밍 올림피아드 수상 이력을 가지며, imo.im 고성능 메시지 인프라 개발 경험을 토대로 DeepInfra의 저지연 추론 아키텍처 설계를 주도합니다.
DeepInfra는 오픈소스 AI 모델에 대한 프로덕션급 추론 API를 종량제(pay-as-you-go) 방식으로 제공하는 AI 추론 클라우드 기업입니다. OpenAI 호환 API, 150개 이상의 모델 지원, 미국 8개 자체 데이터센터 운영을 기반으로 개발자·스타트업·엔터프라이즈 고객을 대상으로 고속 성장 중이며, Series A 이후 토큰 처리량이 25배 성장하는 강력한 수요 모멘텀을 확인했습니다. SOC 2 및 ISO 27001 인증을 통해 엔터프라이즈 보안 요건을 기본으로 충족합니다.
Llama, Mistral, DeepSeek, Claude, Gemini, Qwen 등 150개 이상의 오픈소스·프리미엄 모델을 단일 OpenAI 호환 API로 제공합니다. 텍스트 생성, 임베딩, 음성인식(ASR), 텍스트-이미지, 텍스트-영상, TTS 등 다양한 모달리티를 지원하며, 종량제 과금으로 장기 계약 없이 즉시 도입 가능합니다.
엔터프라이즈 고객을 위한 전용 GPU 인스턴스 및 클러스터 서비스. 공유 인프라의 가격 변동성 없이 예측 가능한 성능·비용으로 대규모 추론 워크로드를 운영할 수 있습니다. 자체 소유 NVIDIA GPU 인프라를 기반으로 구조적 원가 우위를 실현합니다.
초기 단계 스타트업과 개발자를 위한 크레딧·온보딩 지원 프로그램. AI 추론 인프라 도입 장벽을 낮춰 개발자 생태계를 확장하고, 장기 고객 관계의 초석을 형성하는 전략적 채널로 활용됩니다.
NVIDIA 전략적 협력 — Blackwell GPU & Dynamo 소프트웨어 조기 도입: DeepInfra는 NVIDIA 오픈 AI 에코시스템의 초기 인프라 파트너로서, Nemotron 모델·NemoClaw 에이전트 프레임워크·NVIDIA Dynamo 추론 소프트웨어를 공식 지원합니다. 차세대 Blackwell GPU 및 Vera Rubin 아키텍처의 조기 도입을 통해 추론 비용 효율성에서 최대 20배의 개선이 기대되며, NVIDIA는 이번 Series B에 직접 투자자로 참여하며 파트너십을 공식화했습니다.
에이전틱 AI(Agentic AI) 시대 대응 최적화: 단일 에이전트 작업 하나가 50~100회 이상의 모델 호출을 요구하는 에이전틱 AI 워크로드는 상시 고처리량·저지연 인프라를 필수 조건으로 합니다. DeepInfra의 스택은 이러한 연속적·대용량 토큰 생성 패턴을 기본 워크로드로 상정하여 최적화되어 있으며, 범용 클라우드 플랫폼 대비 구조적으로 유리한 성능·비용 포지션을 점합니다.
DeepInfra는 2023년 시드 라운드를 시작으로 2026년 5월까지 총 3개 라운드를 통해 누적 $136M을 조달했습니다. 시드 단계부터 Felicis Ventures와 A.Capital이 신뢰를 표명했으며, Series A에서 Felicis가 리드 투자자로 재참여했습니다. 2026년 5월 완료된 Series B($107M)는 500 Global이 공동 리드하고 NVIDIA·Samsung Next·Supermicro 등 전략적 산업 플레이어들이 대거 합류함으로써, DeepInfra가 AI 추론 인프라 분야의 핵심 플랫폼으로 부상하고 있음을 시장이 공인한 라운드로 평가됩니다.
창업 약 1년 만에 완료된 첫 번째 기관 투자 유치. 실리콘밸리의 대표적 조기 단계 VC인 A.Capital Ventures와 Felicis Ventures가 공동 리드했습니다. 당시 DeepInfra는 단일 API를 통해 주요 오픈소스 LLM을 서빙하는 초기 플랫폼을 운영 중이었으며, 이후 시드 단계 대비 약 8,000배 이상의 처리량 성장을 달성함으로써 조기 투자자의 신뢰에 응답했습니다. 자금은 기술 고도화, 모델 지원 확대, 인프라 최적화에 집중 투입되었습니다.
Felicis Ventures가 리드 투자자로 재참여하고, imo.im 공동창업자이자 DeepInfra의 최초 어드바이저·투자자인 Georges Harik이 함께 참여한 라운드. Felicis는 창업팀을 두고 “국제 프로그래밍·수학 올림피아드 금메달 수준”이라 평가하며 투자를 배증했습니다. DeepSeek 등 오픈소스 추론 모델의 급부상으로 인퍼런스 수요가 폭발적으로 확대되는 시장 환경이 이 라운드의 배경이 되었습니다. 자금은 인프라 확장, 모델 다양화, 엔터프라이즈 영업 역량 강화에 활용되었습니다.
라운드 개요: 2026년 5월 4일 공식 발표된 Series B 라운드. 500 Global과 Georges Harik이 공동 리드했으며, A.Capital Ventures·Crescent Cove·Felicis·Peak6·Upper90 등 재무적 투자자와 함께 NVIDIA·Samsung Next·Supermicro가 전략적 투자자로 참여했습니다. NVIDIA의 직접 투자 참여는 DeepInfra의 수직 통합 추론 인프라 전략에 대한 AI 하드웨어 생태계의 공식적인 지지로 해석됩니다.
성장 지표 및 시장 맥락: Series A 이후 처리 토큰 규모가 25배 증가하는 폭발적 성장을 배경으로 진행되었습니다. 동 기간 Microsoft Azure의 토큰 처리량은 5배 증가했고, OpenRouter는 연간 10조에서 100조 토큰으로 성장했습니다. AI 추론 API에 대한 기업 지출은 $3.5B에서 $8.4B으로 두 배 이상 확대되는 등 시장 자체의 고속 성장이 뒷받침되었습니다.
자금 활용 계획: ① 글로벌 컴퓨트 용량 확장(미국 외 신규 지역 데이터센터 구축), ② 개발자 툴링 고도화 및 엔터프라이즈 기능 강화, ③ 차세대 오픈소스·에이전틱 모델 지원 확대 및 NVIDIA Blackwell·Vera Rubin 조기 도입을 통한 추론 비용 효율 20배 개선 추진.
DeepInfra의 경쟁 방어력은 수직 통합 자체 GPU 인프라, 2억 명 이상의 사용자를 처리한 실전 분산 시스템 경험, 에이전틱 AI 워크로드 전용 최적화 아키텍처, NVIDIA와의 전략적 기술 협력 등 복수의 해자(moat)가 중첩되는 구조에 기반합니다. 소규모 팀이 대형 클라우드 사업자 대비 우월한 원가 효율성과 전문성으로 추론 전용 클라우드를 운영한다는 사실 자체가 진입장벽으로 작동합니다.
DeepInfra는 미국 8개 데이터센터에서 GPU 하드웨어를 직접 소유·운영합니다. 칩 선정부터 데이터센터 확보, 머신 구매, 네트워킹까지 전 레이어를 자체 설계하는 수직 통합 방식은 스팟 인스턴스나 임차 용량에 의존하는 일반 클라우드 대비 구조적으로 낮은 원가와 예측 가능한 성능을 실현합니다. imo.im에서 글로벌 인프라의 95%를 온프레미스로 운영하며 검증한 운영 노하우가 이 전략의 실현 가능성을 뒷받침합니다.
범용 클라우드는 다양한 워크로드 혼합에 최적화되어 있어 상시 고처리량 토큰 생성이라는 AI 추론의 특수성에 구조적으로 비효율적입니다. DeepInfra는 추론 전용으로 하드웨어·네트워킹·소프트웨어 세 레이어를 공동 설계(co-design)하여, 단일 에이전트 작업당 50~100회 이상의 모델 호출이 발생하는 에이전틱 AI 워크로드를 기본 최적화 대상으로 삼습니다. 에이전틱 AI 확산이 가속화할수록 DeepInfra의 포지셔닝 우위가 강화되는 구조입니다.
NVIDIA의 오픈 AI 에코시스템 초기 인프라 파트너로서 Nemotron·NemoClaw·NVIDIA Dynamo를 지원하며, 이번 Series B에 NVIDIA가 직접 투자자로 참여하며 협력을 심화했습니다. 차세대 Blackwell GPU 및 Vera Rubin 아키텍처에 대한 우선 접근권은 추론 비용 최대 20배 개선이라는 중장기 원가 우위로 전환될 수 있으며, 이는 단순한 기술 파트너십을 넘어 전략적 공급망 통합의 성격을 지닙니다.
국제 프로그래밍·수학 올림피아드 수상자 출신 세 공동창업자가 imo.im에서 2억 명 MAU를 처리하는 실시간 분산 시스템을 운영한 이력은, AI 추론 클라우드가 요구하는 고신뢰성·저지연·고가용성 설계 역량의 실질적 증거입니다. SOC 2 인증, ISO 27001 인증, Zero Data Retention 정책이 더해져 엔터프라이즈 보안 요건을 기본으로 충족합니다. 개발자 친화적 OpenAI 호환 API와 엔터프라이즈급 보안의 동시 제공이 광범위한 고객층 유입을 가능하게 합니다.
차세대 성장 동력 — 오픈소스 AI 부상과 글로벌 추론 인프라 표준화: 오픈소스 AI 모델이 독점 시스템과의 성능 격차를 빠르게 좁히면서, 저비용 고성능 추론 인프라에 대한 수요는 구조적으로 확대될 전망입니다. AI 추론 API 시장 기업 지출은 이미 1년 사이 $3.5B에서 $8.4B으로 두 배 이상 성장했습니다. DeepInfra는 Series B 자금을 기반으로 글로벌 데이터센터를 추가 확장하여, AI 추론 인프라 분야의 사실상 표준(de facto standard) 플랫폼 — AI 워크로드의 CDN — 으로 자리매김하는 전략을 추진하고 있습니다.