• 목록

• 페이스북 공유
• 트위터 공유

국내 AI 스타트업 업스테이지가 자체 개발한 생성AI 모델이 GPT-3.5보다 높은 점수를 기록했다고 발표했습니다. 업스테이지의 생성AI 모델은 허깅페이스에서 운영하는 오픈 LLM 리더보드에서 평가되었는데, 이 모델은 70B(700억개) 규모의 매개변수로 72.3점을 달성했습니다. 이는 챗GPT의 기반모델인 GPT-3.5(71.9점)보다 높은 성적입니다.

허깅페이스의 오픈 LLM 리더보드는 오픈소스 생성AI 모델들의 성능을 평가하는 지표로 사용됩니다. 현재 리더보드에는 100B(1000억개) 이하의 매개변수를 가진 오픈소스 LLM 500여개가 참여하고 있습니다. 평가 기준은 추론, 상식 능력, 언어이해 종합능력, 환각현상(할루시네이션) 방지 등 네 가지 지표를 기반으로 합니다. GPT-3.5의 매개변수는 175B(1750억개)개로 오픈 LLM 리더보드의 평가 대상은 아니지만 조건에 맞게 환산하면 71.9점이 됩니다.

이전에 업스테이지는 30B(300억개) 매개변수 모델로 64.7점을 기록한 뒤, 지속적인 업데이트를 통해 72.3점까지 상승시켰습니다.

업스테이지의 LLM은 공개된 메타의 라마2 모델을 파인튜닝하여 구현된 것으로, 누구나 사용할 수 있도록 공개되어 있습니다. 업스테이지는 이를 통해 본격적인 프라이빗 AI 시장 개척에 나설 계획입니다. 프라이빗 AI는 기업 내부 데이터만을 활용하여 정보 유출을 방지하고 환각 현상을 방지하는 등의 보안에 특화된 솔루션으로 평가되고 있습니다.

추천

0

비추천

0