OpenAI·Broadcom, LLM 추론 전용 칩 'Jalapeño' 공개

3줄 요약

1. OpenAI 공식 발표(2026.06.21 PT)로, OpenAI가 Broadcom·Celestica와 공동 개발한 LLM 추론 전용 ASIC Jalapeño(OpenAI 명명: Intelligence Processor)를 공개했다. Hock Tan과 Charlie Kawwas가 Sam Altman과 Greg Brockman에게 첫 칩을 전달하는 의식적 이벤트로 막을 열었다.
2. 핵심은 두 가지다. 첫째, 범용 가속기를 다시 잘라낸 것이 아니라 LLM 추론을 위해 백지부터 설계한 칩이라는 점. 둘째, 설계에서 tape-out까지 9개월로, OpenAI 자신의 모델이 칩 설계·최적화를 가속한 사이클이라는 점. 회사는 이를 고성능 ASIC 사상 가장 빠른 개발 사이클로 자평한다.
3. 함의는 셋이다. (1) OpenAI는 모델·제품에 이어 실리콘 자체까지 풀스택으로 내려간다. (2) 와트당 성능이 현세대 SOTA 대비 상당 수준 앞서며 토큰당 비용을 끌어내릴 지렛대가 된다. (3) 2026년 말부터 Microsoft 등 파트너와 함께 기가와트 규모 데이터센터에 다세대 플랫폼으로 배포되기 시작한다.

Jalapeño — OpenAI의 첫 ‘Intelligence Processor’

Jalapeño는 OpenAI가 직접 설계한 첫 AI 가속기이며, 회사가 Intelligence Processor라는 이름을 따로 붙인 칩이다. 단일 세대 제품이 아니라, 두 회사가 함께 구축하는 다세대 컴퓨트 플랫폼의 첫 번째 칩으로 자리한다.

OpenAI 하드웨어 책임자 Richard Ho의 표현으로는, 모델 연구진과의 긴밀한 협업에서 얻은 통찰을 토대로 커널·메모리 이동·네트워킹·서빙 패턴 모두를 LLM 추론에 맞춰 다시 짠 칩이다.

“범용 가속기 변형이 아니다” — 백지부터의 추론 설계

Jalapeño는 기존 AI 워크로드용 가속기를 LLM에 맞춰 변형한 것이 아니라, 현대 LLM 추론을 위한 blank-slate 설계로 출발했다. OpenAI 자체가 매일 운영하는 ChatGPT·Codex·API·미래의 에이전트 제품을 직접 참조점으로 삼았고, 동시에 산업 전반의 현재·미래 LLM이 작동할 수 있도록 유연성을 두었다.

설계 목표는 다음 두 축의 결합으로 정리된다.

• 현세대 선도 가속기 수준의 처리량과 출력 파워
• 전용 추론 시스템에 가까운 지연(latency)

즉, 처리량 위주의 학습용 가속기와 지연 위주의 전용 추론 시스템 사이의 절충이 아니라, 두 미덕을 한 칩 안에서 동시에 잡겠다는 그림이다. 대화형·인터랙티브 LLM 제품을 대규모로 서빙하는 데 적합하다는 포지셔닝이다.

성능에 대한 회사의 표현은 신중하다. 최종 성능은 아직 측정 중이며, 상세 기술 보고서는 수개월 내 별도 공개 예정이다. 다만 초기 테스트에서 와트당 성능이 현세대 SOTA를 상당 폭(substantially) 앞선다고 밝혔다. 아키텍처 측면의 설명은 다음과 같다.

• 데이터 이동 최소화 — 메모리·연산·네트워크 사이에서 옮겨다니는 데이터를 줄인다.
• compute·memory·networking 균형 — 셋의 자원을 균형 있게 배치해 이론적 피크에 가까운 실효 활용률을 노린다.
• Broadcom Tomahawk 네트워킹 실리콘 — 대규모 생산 환경으로 끌어올리는 핵심 부품.

“9개월 만의 tape-out” — AI가 AI 칩 설계를 가속한다

가장 도드라지는 수치는 9개월이다. 초기 설계에서 제조 tape-out까지의 사이클이며, 회사는 이를 고성능 첨단 반도체 ASIC 개발 사이클 사상 가장 빠른 기록으로 자평한다. 이 속도를 뒷받침한 요소는 세 가지로 정리된다.

세 번째 항목은 보도자료 자체가 가장 무게를 두고 끌어들이는 메시지다. OpenAI는 이를 다음과 같이 적었다.

사용자에게 서비스되는 동일한 모델이, 미래 모델을 돌리는 데 쓸 인프라를 더 낫게 만드는 데 기여하고 있다. AI가 엔지니어들이 더 좋은 칩을 더 빨리 설계하도록 돕는다면, 산업 전반의 컴퓨트 비용을 끌어내리고 첨단 AI 접근을 민주화할 수 있다.

여기서 회사가 강조하는 플라이휠은 명확하다 — 더 나은 인프라 → 더 효율적인 컴퓨트 → 더 나은 학습·서빙 → 더 강력한 모델 → 더 좋은 제품 → 더 많은 사용·매출 → 다음 세대 인프라에 재투자.

임원 발언 — 풀스택 전략의 세 축

발표문에 실린 임원 인용 세 건은 각각 전략·기술·산업의 결을 따로 잡고 있다.

세 발언을 합치면, 이번 발표는 단발 칩의 공개가 아니라 모델·제품·인프라를 한 회사가 동시에 설계한다는 풀스택 선언으로 읽힌다.

“추론이 AI가 사람을 만나는 지점이다” — 풀스택의 도착점

본문 후반부는 추론이라는 단계의 의미를 짧게 그러나 분명히 짚는다.

이 작업의 요점은 단순하다 — 추론은 AI가 사람에게 닿는 지점이다. 비용·속도·신뢰성의 모든 개선은 더 빠른 ChatGPT 응답, 더 적은 대기로 더 많은 단계를 밟는 Codex 작업, 더 저렴하게 만들어지는 API 제품, 수요가 높을 때 더 안정적인 접근으로 나타난다.

Jalapeño의 약속을 사용자 체감 지표로 환산한 한 문단이다. OpenAI는 학생·개발자·소상공인·연구자·기업·어려운 문제를 풀려는 모든 사람에게 AI를 더 가용하고 신뢰할 수 있고 감당 가능하게 만드는 것이 AI를 민주화한다는 의미라고 정의한다.

가장 흥미로운 지점

이번 발표에서 내가 가장 곱씹은 것은 9개월이라는 사이클 자체보다, 그 사이클을 자랑하는 방식이다. OpenAI는 자기 모델이 자기 칩의 설계를 도왔다고 말한다. 모델 개선이 칩 개선을 가속하고, 칩 개선이 다시 모델 서빙 비용을 끌어내려 다음 세대 모델의 학습 예산이 된다. 플라이휠이라는 단어가 회사의 사전에서 늘 가벼웠던 것은 아니지만, 모델과 실리콘이 같은 회사 안에서 서로의 입력이 되는 구조라면 이번에는 그 단어가 빈말로 들리지 않는다.

또 하나, 기가와트 규모와 Microsoft 등 파트너의 조합이다. 마이크로소프트는 그동안 OpenAI의 학습 컴퓨트를 떠받쳐 온 클라우드 파트너였다. 그 자리에 이제 OpenAI가 직접 설계한 추론용 칩이 함께 깔린다. 학습은 엔비디아·MS Azure 위에, 추론은 OpenAI 자체 ASIC 위에 — 이 분기의 의미가 앞으로 몇 분기에 걸쳐 토큰 단가와 마진 구조에 어떻게 옮겨붙는지를 지켜볼 만하다.

수치 자체에서 회사가 현세대 SOTA 대비 와트당 성능이 substantially 우수라고만 적고 상세 보고서를 수개월 뒤로 미룬 점도 인상적이다. 추론 칩 시장의 비교 기준(엔비디아 H100·B200, Google TPU v5e/v5p, AWS Trainium·Inferentia, Groq, Cerebras 등)이 워낙 빠르게 움직이는 만큼, 시점이 다른 SOTA와 시점이 같은 SOTA에서 같은 단어가 다른 결과를 낳을 수 있다.

출처

OpenAI 공식 발표(2026-06-21 PT). OpenAI and Broadcom unveil LLM-optimized inference chip.

원문: https://openai.com/index/openai-broadcom-jalapeno-inference-chip/