Groq, Inc.
Google TPU의 설계자가 만든 결정론적 추론 반도체 기업 — Nvidia와의 $200억 규모 라이선싱·인재 이전 거래를 거쳐, 창업자 없는 AI 추론 클라우드 기업으로 재편되다
Groq, Inc.는 2016년 미국 캘리포니아주 마운틴뷰(현재 본사 산호세)에서 설립된 AI 추론 전용 반도체 기업입니다. 창업자 Jonathan Ross는 Google에서 2011년부터 2016년까지 근무하며, 사내 20% 프로젝트로 시작해 이후 Google 컴퓨팅 인프라의 절반 이상을 구동하게 된 TPU(Tensor Processing Unit)의 핵심 설계를 직접 주도한 엔지니어입니다. TPU 프로젝트 완료 후 그는 Google X의 Rapid Eval Team(이른바 “문샷 팩토리”의 초기 단계)에 합류해 Alphabet의 신규 사업 발굴 과정에 참여했습니다.
NYU 쿠란트 수학연구소(Courant Institute)에서 수학·컴퓨터과학 전공, 2학년 때 박사과정 전용 과목을 이수한 최초의 학부생. Google에서 TPU의 시스톨릭 어레이(systolic array) 아키텍처와 저정밀도 연산 명령어 집합을 직접 설계·구현. 2016년 Groq를 창업해 결정론적(deterministic) 추론 전용 아키텍처인 LPU(Language Processing Unit)를 발명. 2025년 12월 Nvidia와의 라이선싱 거래에 따라 Nvidia로 이동, Chief Software Architect로 재직 중.
Google X(X Development)의 엔지니어 출신 기업가. Ross와 함께 Groq를 공동 창업해 초기 회사의 첫 CEO로 재직하며 조직 구조와 초기 사업 방향을 설계했습니다. 이후 Ross가 CEO 직책을 맡으며 회사를 이끌었습니다.
2025년 12월 — 창업자 이동과 거버넌스 전환: Nvidia와의 비독점적 라이선싱 계약 체결에 따라 Jonathan Ross와 사장 Sunny Madra 등 핵심 엔지니어링 인력 약 90%가 Nvidia로 이동했습니다. 회사는 創업자 없는 독립 법인으로 존속하게 되었으며, 前 CFO Simon Edwards가 신임 CEO로 취임한 뒤, 2026년 6월 기준으로는 Adam Winter(CEO)·Matt Eng(CFO) 체제 하에 완전히 새로운 사업 전략(AI 추론 클라우드 사업자로의 전환)을 추진하고 있습니다.
2026년 신규 경영진 — 인프라·엔터프라이즈 소프트웨어 전문가 영입: $650M 신규 투자와 함께 회사는 하이퍼스케일 인프라 운영과 엔터프라이즈 소프트웨어 경력을 겸비한 새 리더십을 구성했습니다.
前 xAI(현 SpaceXAI), Meta Datacenters 출신. 美 해군 핵잠수함 운용 경력에서 출발해 하이퍼스케일 데이터센터 운영 전문가로 성장.
엔터프라이즈 클라우드 플랫폼 Apprenda 창업자(Atos에 매각). 이후 Nuvalence(EY가 2024년 인수) 공동창업.
Schuller의 Apprenda·Nuvalence 동업자. Microsoft에서 약 10년간 클라우드·데이터센터 관리·엔터프라이즈 스토리지 제품을 총괄.
이사회 의장은 성장투자사 Disruptive의 창업자 겸 CEO Alex Davis가 맡고 있으며, 이사회에는 전략투자사 Infinitum의 창업자 겸 CIO John Yetimoglu도 참여하고 있습니다. Disruptive는 Airbnb·Databricks·Palantir·Spotify 등에 투자한 댈러스 기반 후기 단계 투자사로, Groq에 누적 약 $3.5억를 투자한 최대 기관 투자자입니다.
Groq의 핵심 기술은 LPU(Language Processing Unit)로, GPU·TPU와는 근본적으로 다른 아키텍처 철학을 취합니다. GPU가 수천 개의 단순 코어를 통한 병렬 처리량 극대화를, TPU가 학습과 추론의 균형을 추구하는 반면, LPU는 단일 코어 설계와 수백 MB 규모의 온칩 SRAM을 결합해 “결정론적(deterministic) 추론”이라는 단일 목표에 특화되어 있습니다. 컴파일러가 모든 연산을 사전에 정적으로 스케줄링함으로써 GPU 특유의 동적 스케줄링 지연과 메모리 대기 시간을 원천적으로 제거하는 방식입니다.
핵심 제품 포트폴리오:
시스톨릭 어레이 기반 결정론적 추론 칩. 정적 스케줄링으로 모든 연산 사이클을 사전 확정해 변동성 없는 지연 시간을 제공하며, GPU 대비 최대 10배 이상의 전력 효율을 표방합니다. 칩당 약 230MB의 온칩 SRAM을 탑재해 외부 HBM 메모리 의존도를 낮췄으나, 이로 인해 대형 모델은 다수의 LPU에 분산 배치해야 하는 구조적 제약도 동반합니다.
OpenAI 호환 REST API를 제공하는 완전관리형 추론 플랫폼. API 키·base URL·모델명 등 단 세 줄의 코드 변경만으로 전환이 가능하며, Llama·Qwen·Mixtral 등 오픈소스 모델을 초당 수백~수천 토큰의 속도로 서빙합니다. 회사의 사업 모델을 칩 판매에서 추론 서비스 구독·사용량 기반 클라우드로 전환시키는 핵심 채널입니다.
온프레미스·코로케이션 배치를 위한 랙 단위 LPU 클러스터로, 랙당 64~576개 이상의 LPU를 수용합니다. 국가 단위 주권 AI 인프라(사우디아라비아 등)와 규제 산업의 온프레미스 요구를 충족하는 핵심 하드웨어 제품입니다.
국가 단위 주권 AI 인프라 — 사우디아라비아 파트너십: Groq는 Aramco Digital과의 협력으로 사우디 담맘(Dammam)에 중동 최대 규모의 추론 클러스터를 단 8일 만에 구축했으며, 2025년 2월에는 사우디 왕국으로부터 $15억 규모의 확장 투자 약정을 확보했습니다. 이 인프라는 SDAIA의 아랍어 LLM ALLaM 서비스를 지원하며, GroqCloud의 사우디 리전은 중동·아시아 권역 트래픽까지 처리하는 글로벌 거점으로 발전했습니다.
Groq는 2017년 첫 시드 투자 이후 2025년까지 총 누적 약 $17.5억의 민간 자본을 조달하며 단계적으로 기업가치를 키워왔습니다. 그러나 2025년 12월 Nvidia와의 $200억 규모 라이선싱·인재 이전 거래는 전형적인 벤처 투자 라운드의 연장선이 아닌, 사업의 정체성 자체를 재편하는 변곡점이었습니다. 이 거래로 기존 주주들에게 대규모 현금이 분배된 직후, 2026년 6월 회사는 잔존 사업(GroqCloud)을 기반으로 한 신규 성장자금 $6.5억를 다시 조달하며 “AI 추론 네오클라우드” 기업으로 재출발했습니다.
Jonathan Ross와 Douglas Wightman의 창업 직후 Social Capital의 Chamath Palihapitiya가 리드한 첫 외부 투자. 이후 누적 $5억 이상을 투자하며 Groq의 가장 이른 시기부터의 핵심 후원자로 자리매김했습니다.
Tensor Streaming Processor(TSP, 코드명 “Alan”) 아키텍처의 연구개발 자금을 조달한 초기 라운드. 2020년 ISCA 학회에서 펑셔널 슬라이스(functionally sliced) 마이크로아키텍처를 공식 발표하며 학계·산업계의 주목을 받기 시작했습니다.
Tiger Global Management와 D1 Capital Partners가 공동 리드한 $3억 라운드로 글로벌 테크 투자자들이 본격 합류했습니다. BlackRock도 이 시점 최초 투자자로 참여했습니다. ChatGPT 출현 이전 시점으로, 이 자금은 TSP를 “Language Processing Unit(LPU)”으로 리브랜딩하고 대규모 언어모델 추론에 특화된 전략으로 사업 방향을 전환하는 데 활용되었습니다.
Cisco Investments, Samsung Catalyst Fund, BlackRock Private Equity Partners가 공동 리드한 $6.4억 라운드. GroqCloud의 빠른 개발자 채택(2024년 7월 기준 역사상 가장 빠른 하드웨어 플랫폼 채택 속도를 주장)과 맞물려 기업가치가 $28억으로 상승했습니다. 이 자금은 데이터센터 인프라 확장과 GroqCloud 상용화 가속에 투입되었습니다.
LEAP 2025에서 발표된 사우디 왕국·Aramco Digital의 $15억 규모 약정으로, 담맘 데이터센터 확장과 SDAIA의 아랍어 LLM 인프라 지원에 사용되었습니다. 이는 지분 투자가 아닌 인프라·매출 계약 성격이 강하지만, Groq의 글로벌 사업 확장 자금에서 가장 큰 단일 자금원으로 기능했습니다.
Disruptive가 리드하고 BlackRock·Neuberger Berman·DTCP 등이 참여한 $7.5억 라운드로, 기업가치가 $69억으로 상승했습니다. Samsung·Cisco·D1·Altimeter·1789 Capital·Infinitum 등 기존 투자자도 후속 투자로 참여했습니다. 백악관의 미국산 AI 기술 스택 수출 촉진 행정명령과 맞물려 “미국산 AI 인프라” 포지셔닝이 강조된 라운드였습니다.
불과 3개월 전 $69억으로 평가됐던 Groq를 약 2.9배 프리미엄으로 평가한 거래로, Nvidia 역사상 최대 규모입니다. 전통적 인수가 아닌 비독점 라이선싱 계약 형태를 취해 지분 자체는 이전되지 않았으나, 창업자 Jonathan Ross와 사장 Sunny Madra를 비롯해 직원의 약 90%가 Nvidia로 이동하는 등 실질적으로 인수에 준하는 구조였습니다. 美 상원과 FTC가 반독점 검토 회피 목적의 구조화 여부를 조사하는 등 규제 당국의 주목을 받았습니다.
기존 주주들이 Nvidia 거래에 따른 최종 현금 분배를 받은 후, 재구성된 법인에 대한 풀-로 라타(pro-rata) 방식의 재투자 기회로 구조화된 라운드입니다. Disruptive와 Infinitum이 백스톱(backstop) 투자자로서 리드했습니다. 이 자금은 기존 13개 데이터센터에 Nvidia의 신형 LPX 시스템을 포함한 최신 추론 기술을 탑재하는 데 사용되며, 2027년 말까지 200MW 규모로 확장하는 것이 목표입니다.
• 거래 형태: 비독점적(non-exclusive) 기술 라이선싱 계약 — 지분 인수가 아닌 영구 특허·소프트웨어 라이선스 부여
• 대가 지급: 약 $170억 규모의 현금이 3차에 걸쳐 지급(약 85% 선지급, 10% 2026년 중반, 잔여분 2026년 말) — 일부 분석에서는 총 거래가치를 약 $200억으로 평가
• 인력 이동: 창업자 Jonathan Ross(Nvidia Chief Software Architect로 합류), 사장 Sunny Madra를 포함해 직원의 약 90%가 Nvidia로 이동
• 존속 법인: GroqCloud 사업은 별도 독립 법인으로 존속, 잔류 직원은 베스팅 주식 현금화 및 신설 법인 경제적 참여권 부여
• 규제 이슈: 美 상원 및 FTC가 반독점 신고 기준 회피를 위한 거래 구조화 여부를 조사 중
Groq의 경쟁 지위는 이례적인 양면성을 갖습니다. 기술적으로는 결정론적 LPU 아키텍처가 여전히 차별화된 강점이지만, 사업적으로는 창업자와 핵심 엔지니어링 인력이 경쟁사(Nvidia)로 이동한 직후 신규 경영진 체제로 재편된 전환기에 있습니다. 경쟁 환경은 Nvidia(GPU·이제는 LPX까지), Cerebras(웨이퍼 스케일 엔진), SambaNova(재구성형 데이터플로 유닛), 그리고 Google·AWS·Intel 등 하이퍼스케일러의 자체 칩까지 포괄하는 다층 구도입니다.
컴파일 시점에 모든 연산을 정적으로 스케줄링하는 LPU는 GPU의 동적 스케줄링 특유의 지연 변동성을 근본적으로 제거합니다. 온칩 SRAM 기반의 약 80TB/s 대역폭은 Nvidia H100의 약 3.3TB/s 대비 약 24배에 달하며, 이는 순차적 토큰 생성이 핵심인 LLM 추론에서 구조적 우위로 작동합니다. 동일한 입력에 대해 항상 동일한 처리 시간을 보장하는 특성은 SLA 설계가 중요한 엔터프라이즈 추론 서비스에 특히 유효합니다.
Nvidia가 자사 차세대 LPX 플랫폼에 Groq의 LPU 기술을 채택했다는 사실 자체가 업계 최대 기업으로부터의 기술적 검증입니다. Vera Rubin NVL72(학습·고처리량)와 LPX(저지연 토큰 생성)의 이종 결합 전략은, Groq의 핵심 기술이 더 이상 “대안적 도전자”가 아니라 업계 표준 인프라의 구성 요소로 자리매김했음을 시사합니다. 이는 GroqCloud 입장에서도 향후 LPX 기반 인프라를 자사 데이터센터에 직접 도입할 수 있는 기술적 경로를 제공합니다.
북미·유럽·중동·APAC에 걸친 13개 데이터센터와 500만 명 이상의 개발자 기반은 신규 추론 클라우드 진입자가 단기간에 복제하기 어려운 운영 자산입니다. 특히 사우디아라비아와의 주권 AI 인프라 파트너십(담맘 데이터센터, $15억 약정)은 국가 단위 AI 자립 수요라는 구조적 성장 동력에 직접 연결된 독자적 채널입니다.
xAI·Meta 데이터센터 출신 COO Alan Rice, Microsoft 클라우드·스토리지 사업 경력의 CPO Rakesh Malhotra, 엔터프라이즈 소프트웨어 기업가 CTO Sinclair Schuller 등 신규 경영진은 “세계 유일의 LPU 실전 운영 경험을 가진 엔지니어링 팀”이라는 회사 측 주장을 뒷받침하는 운영 역량을 보강합니다. 칩 설계 중심에서 클라우드 서비스 운영 중심으로의 사업 전환에 필요한 역량 공백을 메우는 인선으로 평가됩니다.
창업자·핵심 인력 이탈에 따른 기술 리더십 공백: LPU를 직접 발명한 Jonathan Ross를 포함해 엔지니어링 인력의 약 90%가 Nvidia로 이동한 상황에서, 신설 법인이 독자적인 차세대 기술 혁신을 지속할 수 있을지는 검증되지 않았습니다.
메모리 용량의 구조적 제약: LPU의 온칩 SRAM 용량(칩당 약 230MB)은 대형 모델 서빙에 다수의 칩을 필요로 합니다(예: 700억 파라미터 모델에 약 600개 LPU 추정). 이는 Cerebras·SambaNova 등 경쟁사 대비 일부 워크로드에서 비용·복잡성 측면의 약점으로 지적됩니다.
규제 리스크: Nvidia-Groq 거래의 반독점 회피 구조화 여부에 대한 美 상원·FTC 조사가 진행 중이며, 결과에 따라 거래 구조나 사업 운영에 영향을 받을 가능성이 있습니다.
사업 모델 전환의 실행 리스크: 칩 설계·판매 중심에서 추론 클라우드 운영 중심으로의 전환은 검증된 기존 트랙 레코드가 제한적인 새로운 경영진 하에서 추진되고 있어, 상업적 실행 성과를 단기간에 확인하기 어렵습니다.