한국 스타트업 업스테이지, 한국어 대규모 언어 모델 성능을 평가하는 리더보드 구축
업스테이지, NIA와 함께 "한국어 LLM 리더보드" 구축
인공지능(AI) 기술 스타트업 업스테이지가 한국지능정보사회진흥원(NIA)과 손을 잡고 한국어 대규모 언어 모델(Large Language Model, LLM)의 성능을 평가하고 비교할 수 있는 리더보드를 구축한다고 25일 밝혔습니다.
오는 27일에 구축되는 오픈 코(Open Ko)-LLM 리더보드는 누구나 자신이 개발한 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼입니다.
이 리더보드는 허깅페이스가 운영하는 오픈LLM 리더보드의 기존 데이터를 단순히 번역한 것이 아니라 한국어의 특성과 문화를 반영한 고품질의 데이터를 자체적으로 구축하여 한국어 특화 리더보드로의 강점을 갖췄다고 합니다.
또한 상식을 생성하는 능력을 살펴보는 상식 생성 기준을 추가하여 한국어 LLM 모델의 높은 성능과 다양성을 평가할 수 있도록 했습니다. 이 상식 생성은 업스테이지가 고려대 임희석 교수 연구진과 협업하여 구축한 데이터셋입니다.
이 데이터셋은 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함한 질문지로 구성되었습니다. 이를 통해 AI가 주어진 조건에 대해 만들어낸 결과물이 한국어 사용자라면 지닐 수 있는 일반 상식에 부합할 수 있는지를 측정한다고 합니다.
즉, 상식 생성 기준을 통해 국내에서 가장 대표적인 환각 현상의 예시로 평가되는 세종대왕의 맥북던짐 사건 등의 사례들도 방지할 수 있어 한국어와 역사에 대해 더 적합한 모델을 평가할 수 있다는 것입니다.
업스테이지 관계자는 "Open Ko-LLM 리더보드는 한국어 LLM 연구의 발전과 산업 활성화에 큰 도움이 되리라 기대한다"고 말했습니다.
인공지능(AI) 기술 스타트업 업스테이지가 한국지능정보사회진흥원(NIA)과 손을 잡고 한국어 대규모 언어 모델(Large Language Model, LLM)의 성능을 평가하고 비교할 수 있는 리더보드를 구축한다고 25일 밝혔습니다.
오는 27일에 구축되는 오픈 코(Open Ko)-LLM 리더보드는 누구나 자신이 개발한 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼입니다.
이 리더보드는 허깅페이스가 운영하는 오픈LLM 리더보드의 기존 데이터를 단순히 번역한 것이 아니라 한국어의 특성과 문화를 반영한 고품질의 데이터를 자체적으로 구축하여 한국어 특화 리더보드로의 강점을 갖췄다고 합니다.
또한 상식을 생성하는 능력을 살펴보는 상식 생성 기준을 추가하여 한국어 LLM 모델의 높은 성능과 다양성을 평가할 수 있도록 했습니다. 이 상식 생성은 업스테이지가 고려대 임희석 교수 연구진과 협업하여 구축한 데이터셋입니다.
이 데이터셋은 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함한 질문지로 구성되었습니다. 이를 통해 AI가 주어진 조건에 대해 만들어낸 결과물이 한국어 사용자라면 지닐 수 있는 일반 상식에 부합할 수 있는지를 측정한다고 합니다.
즉, 상식 생성 기준을 통해 국내에서 가장 대표적인 환각 현상의 예시로 평가되는 세종대왕의 맥북던짐 사건 등의 사례들도 방지할 수 있어 한국어와 역사에 대해 더 적합한 모델을 평가할 수 있다는 것입니다.
업스테이지 관계자는 "Open Ko-LLM 리더보드는 한국어 LLM 연구의 발전과 산업 활성화에 큰 도움이 되리라 기대한다"고 말했습니다.
추천
0
비추천0
- 이전글리벨리온, IBM데이터센터 품질검증 시작 23.09.25
- 다음글넥슨의 새로운 게임 시도에 대한 호응과 기대 23.09.25
김한*
좋은 뉴스 담아갑니다.
김한*
정말 대책없네요.
이동*
정말 최고예요!
등록된 댓글이 없습니다.