미디어그룹사람과숲, NIA 주최 Open Ko-LLM 리더보드에서 1위 차지
미디어그룹사람과숲이 한국정보화진흥원(NIA)과 업스테이지가 주최한 한국어 초거대 언어 모델 리더보드 Open Ko-LLM에서 1위를 차지했다고 24일 발표했습니다.
해당 리더보드 개발 경쟁에서 1위를 차지한 LLM(초거대언어모델)은 KoR-Orca-Platypus-13B입니다. 미디어그룹사람과숲은 (주)마커와 컨소시엄을 이루어 공동 개발한 것으로, 글로벌 IT 기업 메타에서 오픈소스로 공개한 라마2를 기반으로 자체적으로 수집·가공한 데이터에 인스트럭트 파인 튜닝을 거쳐 개발되었습니다.
이번 리더보드는 LLM의 한국어 성능을 경쟁하여 순위를 매기는 대회였습니다. 총 50개 이상의 개인 및 조직에서 100개 이상의 LLM이 제출되었고, LLM에 대한 추론 능력, 상식 능력, 언어 이해력, 환각 방지 능력, 한국어 상식 생성 능력 등 5가지 평가 지표에 따라 점수가 매겨졌습니다. KoR-Orca-Platypus-13B 모델은 평균 점수 50.13으로 1위를 기록했으며, 한국어 상식 생성 능력은 68.78점입니다. 미디어그룹사람과숲 측은 이 모델의 압도적인 성능을 강조하고 있습니다. 이전 모델인 KO-Platypus2-7B-ex로 회사는 리더보드에서 여러 차례 1위를 기록하였으며, 이를 업그레이드한 결과 다시 한번 1위를 차지하게 되었다고 밝혔습니다.
이 연구를 이끈 정철현 박사는 "이번 LLM은 AI-허브의 한국어 공공 행정 문서와 민원 응대 데이터를 중요한 데이터 소스로 활용하였습니다"라며 "이 LLM은 공공 행정 업무를 수행하는 챗봇을 위해 튜닝한 것이지만 종합 성능이 국내 1위 수준이므로…"라고 말했습니다.
해당 리더보드 개발 경쟁에서 1위를 차지한 LLM(초거대언어모델)은 KoR-Orca-Platypus-13B입니다. 미디어그룹사람과숲은 (주)마커와 컨소시엄을 이루어 공동 개발한 것으로, 글로벌 IT 기업 메타에서 오픈소스로 공개한 라마2를 기반으로 자체적으로 수집·가공한 데이터에 인스트럭트 파인 튜닝을 거쳐 개발되었습니다.
이번 리더보드는 LLM의 한국어 성능을 경쟁하여 순위를 매기는 대회였습니다. 총 50개 이상의 개인 및 조직에서 100개 이상의 LLM이 제출되었고, LLM에 대한 추론 능력, 상식 능력, 언어 이해력, 환각 방지 능력, 한국어 상식 생성 능력 등 5가지 평가 지표에 따라 점수가 매겨졌습니다. KoR-Orca-Platypus-13B 모델은 평균 점수 50.13으로 1위를 기록했으며, 한국어 상식 생성 능력은 68.78점입니다. 미디어그룹사람과숲 측은 이 모델의 압도적인 성능을 강조하고 있습니다. 이전 모델인 KO-Platypus2-7B-ex로 회사는 리더보드에서 여러 차례 1위를 기록하였으며, 이를 업그레이드한 결과 다시 한번 1위를 차지하게 되었다고 밝혔습니다.
이 연구를 이끈 정철현 박사는 "이번 LLM은 AI-허브의 한국어 공공 행정 문서와 민원 응대 데이터를 중요한 데이터 소스로 활용하였습니다"라며 "이 LLM은 공공 행정 업무를 수행하는 챗봇을 위해 튜닝한 것이지만 종합 성능이 국내 1위 수준이므로…"라고 말했습니다.
추천
0
비추천0
- 이전글구글 알파벳, 챗GPT 열풍과 독점금지 소송에도 수익 구조 흔들리지 않아 23.10.24
- 다음글에스오에스랩, KES를 통해 미래형 모빌리티에 적합한 신제품 목업 공개 23.10.24
김한*
창업뉴스라고 왔더니 창업에 관련된게 하나도 없네요.
박성*
좋은 정보 담아갑니다.
신영*
코리아 핀테크 위크 2023 멋지네요
등록된 댓글이 없습니다.
