AI 반도체 스타트업 하이퍼엑셀, 초고성능 서버 오리온 출시
하이퍼엑셀, AI 대용량 처리에 특화된 오리온 서버 출시
인공지능 반도체 스타트업 하이퍼엑셀이 고성능 서버 제품인 오리온을 출시했다고 밝혔습니다. 이 제품은 기존 고성능 GPU에 비해 두 배 이상으로 가격과 성능에서 뛰어난 특징을 가지고 있습니다.
하이퍼엑셀은 초거대 인공지능에 특화된 반도체 프로세서인 LPU(Latency Processing Unit)를 개발했습니다. 이번 오리온 서버 제품에는 자사의 LPU를 8개 탑재하여 출시되었습니다.
오리온 서버는 오픈AI의 GPT와 메타의 라마 등 대용량 모델을 효율적으로 처리할 수 있습니다. 각 서버는 최대 66B(매개변수 660억개) 크기의 모델까지 처리할 수 있으며, 특허 출원 중인 모델 병렬화 기술과 확장 네트워크 기술을 활용하여 GPU 플랫폼과는 다른 가속기 개수에 비례해 성능이 개선되는 확장성을 제공합니다.
오리온은 메타의 최신 모델인 라마2 7B 모델 기준 초당 174 토큰, OPT 66B 모델 기준 초당 23 토큰 등에 대한 실시간 토큰 생성이 가능합니다. 하이퍼엑셀 대표인 김주영씨는 "최근 공급망 문제와 높은 비용 문제를 가지고 있는 GPU 서버를 하이퍼엑셀 오리온 서버가 앞으로 대체할 것"이라고 밝혔습니다. 또한, GPU 서버에 비해 낮은 가격과 높은 전력 효율성으로 데이터센터 운영비용을 크게 절감할 수 있다고 회사 측은 전망하고 있습니다.
하이퍼엑셀은 KAIST 전기및전자공학부 교수인 김주영씨가 2023년 1월에 창업한 스타트업입니다. 지난 7월에는 거대 언어 모델에 특화된 AI 반도체인 LPU를 개발했는데, 이 LPU는 거대 언어 모델 연산에서 가장 중요한 메모리 대역폭 사용을 극대화하도록 설계되었습니다. 매트릭스와 벡터 엔진 로직을 효율적으로 집적함으로써 여러 개의 LLM을 LPU로 분산 처리할 수 있는 모델을 구현했습니다.
인공지능 반도체 스타트업 하이퍼엑셀이 고성능 서버 제품인 오리온을 출시했다고 밝혔습니다. 이 제품은 기존 고성능 GPU에 비해 두 배 이상으로 가격과 성능에서 뛰어난 특징을 가지고 있습니다.
하이퍼엑셀은 초거대 인공지능에 특화된 반도체 프로세서인 LPU(Latency Processing Unit)를 개발했습니다. 이번 오리온 서버 제품에는 자사의 LPU를 8개 탑재하여 출시되었습니다.
오리온 서버는 오픈AI의 GPT와 메타의 라마 등 대용량 모델을 효율적으로 처리할 수 있습니다. 각 서버는 최대 66B(매개변수 660억개) 크기의 모델까지 처리할 수 있으며, 특허 출원 중인 모델 병렬화 기술과 확장 네트워크 기술을 활용하여 GPU 플랫폼과는 다른 가속기 개수에 비례해 성능이 개선되는 확장성을 제공합니다.
오리온은 메타의 최신 모델인 라마2 7B 모델 기준 초당 174 토큰, OPT 66B 모델 기준 초당 23 토큰 등에 대한 실시간 토큰 생성이 가능합니다. 하이퍼엑셀 대표인 김주영씨는 "최근 공급망 문제와 높은 비용 문제를 가지고 있는 GPU 서버를 하이퍼엑셀 오리온 서버가 앞으로 대체할 것"이라고 밝혔습니다. 또한, GPU 서버에 비해 낮은 가격과 높은 전력 효율성으로 데이터센터 운영비용을 크게 절감할 수 있다고 회사 측은 전망하고 있습니다.
하이퍼엑셀은 KAIST 전기및전자공학부 교수인 김주영씨가 2023년 1월에 창업한 스타트업입니다. 지난 7월에는 거대 언어 모델에 특화된 AI 반도체인 LPU를 개발했는데, 이 LPU는 거대 언어 모델 연산에서 가장 중요한 메모리 대역폭 사용을 극대화하도록 설계되었습니다. 매트릭스와 벡터 엔진 로직을 효율적으로 집적함으로써 여러 개의 LLM을 LPU로 분산 처리할 수 있는 모델을 구현했습니다.
추천
0
비추천0
- 이전글디파인 서울: 공장과 상가 건물로 만들어진 특별한 아트페어 23.11.03
- 다음글파로스아이바이오, ‘한국바이오텍의 혁신 기술 도약’ 세션 발표 23.11.03
박성*
좋은 정보 담아갑니다.
신영*
코리아 핀테크 위크 2023 멋지네요
김한*
정말 대책없네요.
등록된 댓글이 없습니다.
