ㅣ데일리포스트=곽민구 기자ㅣ비큐AI가 자체 구축한 CoT(Chain-of-Thought) 데이터셋을 활용해 오픈소스 7B 기반 모델을 파라미터 효율적 미세 조정(Parameter-Efficient Fine Tuning, PEFT) 방식으로 학습한 초경량 소형언어모델(sLLM) ‘RDP-N1’을 개발했다.
이번 모델은 QLoRA(Quantized Low-Rank Adaptation) 기법을 적용해 기존 파라미터 손상을 최소화하고, 양자화 기술로 모델 용량을 29GB에서 7.1GB로 감소시켰다. 이를 통해 EM·ROUGE·BLEU·KoBERT 유사도 등 주요 지표에서 최대 93% 성능을 향상시켰다. 이는 RDPLINE에서 생산되는 고품질 CoT 데이터의 효과를 정량적으로 입증한 결과다.
CoT 데이터는 단순 정답 제공을 넘어 정답에 도달하는 추론 과정을 함께 학습하도록 설계된 데이터다.
비큐AI 관계자는 “CoT 데이터는 수작업 구축이 어려워 로우데이터를 기반으로 질의응답과 추론 과정을 생성하고, 상용 고성능 LLM으로 자동 평가해 오답·모순을 제거하는 단계적 검증 체계를 적용했다”며 “이 과정을 통해 고신뢰 데이터만 선별해 학습에 활용했다”고 설명했다.
이어 “이번 개발은 모델 자체 제작보다, 고품질 CoT 데이터가 성능 향상에 미치는 효과를 검증하는 데 초점을 맞췄다”며 “동일한 원리로 더 큰 파라미터 모델에도 적용이 가능하다”고 덧붙였다.
향후 비큐AI는 RDPLINE을 통해 확보한 대규모 뉴스·미디어 데이터 파이프라인을 기반으로 ‘RDP-N1’을 다양한 서비스 영역에 적용하고, 경량 모델과 고성능 모델을 조합해 성능과 비용을 최적화하는 전략을 추진할 계획이다.
Copyright ⓒ 데일리 포스트 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
