38stock 뉴스속보

www.38.co.kr

2025년 04월 30일 13:15 유선일 기자

LG AI연구원, 세계 최고 권위 학회서 "최고논문상" 수상

LG AI연구원은 NAACL 2025에 채택된 1400편 이상의 논문 중 하나만 선정해 수여하는 '최고논문상'을 받았다. 최고논문상은 자연어 처리 분야에서 새로운 연구 방향을 제시하거나 중요한 문제를 해결한 연구 중 올해 가장 혁신적이고 중요성이 높다고 평가받은 연구가 선정된다.

논문 1 저자인 김승원 카네기멜론대 박사과정 연구생은 LG AI연구원 초지능랩의 인턴 과정 중 이문태 초지능랩장, 이경재 데이터 스쿼드(Data Squad)리더, 서민준 KAIST 교수 연구팀과 함께 생성형 AI 모델 성능을 평가하는 '빅젠 벤치(BIGGEN BENCH)'를 개발했다.

기존 생성형 AI 모델 평가 방식은 '유용성', '무해성'과 같은 추상적인 개념 지표에 의존해 사람이 평가한 결과와 차이가 있다. AI 모델이 보유한 세부 역량에 대한 측정이 어렵다는 한계가 있다.

빅젠 벤치는 △지시사항 수행 △논리적 추론 △도구 사용 능력 △안전성 △다양한 언어와 문화적 맥락 이해 능력 등 생성형 AI 모델이 갖춰야 할 핵심 역량을 9가지로 분류했다. 77개 세부 역할을 잘 수행하는지 평가하는 765개 항목으로 구성됐다.

LG AI연구원은 "빅젠 벤치를 사용해 103개 생성형 AI 모델을 평가한 결과 전문가 집단과 교차 검증에서 높은 수준의 신뢰도와 타당도를 보여 새로운 벤치마크로의 가능성을 확인했다"고 밝혔다.

이문태 LG AI연구원 초지능랩장은 "빅젠 벤치는 생성형 AI의 다양한 능력을 객관적이고 종합적으로 평가할 수 있도록 설계됐다"며 "기존 벤치마크의 한계를 극복하고 인간의 정교한 평가기준에 부합해 AI 모델의 능력을 파악할 수 있다는 장점이 있다"고 말했다.

유선일 기자 jjsy83@mt.co.kr

키워드림론 최대 4배 주식자금 & 고금리 대환상품 한도 오픈! (1644-6960)

[무료운세] 믿어야 돼 말아야 돼? 종목매수전에 믿고보는 "오늘의 운세"

[파워 인터뷰]

프린트하기 닫기

www.38.co.kr