Hugging Face, 여러 하네스에서 학습하는 오픈 에이전트 툴 공개
같은 가중치라도 어떤 하네스를 사용하느냐에 따라 에이전트 성능이 크게 달라진다
TL;DR:
- 에이전트 모델 점수는 하네스에 따라 크게 달라진다
- 새 프록시는 코드 변경 없이 주요 API에서 토큰과 logprob를 수집한다
- LFM2.5-2.6B는 멀티 하네스 학습 후 성공률이 42%에서 54%로 상승했다
- 7개 모델을 포함한 전체 스택이 오픈 라이선스로 공개됐다
헤드라인
Hugging Face가 여러 에이전트 하네스에서 동시에 강화학습을 수행할 수 있는 오픈 방식을 공개했다.
요약
같은 모델 가중치라도 어떤 하네스에서 실행하느냐에 따라 성능 점수가 크게 달라진다는 점이 확인됐다. 에이전트 하네스 자체가 실행 환경의 일부로 봐야 한다는 의미다.
이번에 공개된 프록시는 모델과 OpenAI, Anthropic, Gemini의 일반 API 사이에 위치한다. 코드베이스를 수정하지 않고도 토큰 ID와 logprob를 수집하며, Claude·Codex·OpenCode를 직접 건드리지 않는다.
Liquid AI의 LFM2.5-2.6B는 4개 하네스에서 학습한 뒤 성공률이 42%에서 54%로 상승했고, tool call 횟수는 31% 감소했다. 프록시, 트레이너, 태스크, 데이터, 코드, 그리고 학습이 완료된 7개 모델이 모두 공개 라이선스로 배포됐다.
분석
에이전트 학습에서는 이제 모델과 하네스를 분리해 볼 수 없다. 툴 스키마, 오케스트레이션 방식, 실행 결과에서 돌아오는 피드백이 모두 성능을 바꾸기 때문이다.
여러 하네스에서 학습한 모델은 단일 하네스에 맞춰 튜닝한 모델보다 새로운 환경에 더 잘 대응했다. 주요 결과는 다음과 같다.
- OpenCode만 사용한 학습에서는 OpenCode 하네스의 성공률이 34%에서 58%로 상승했다.
- 그러나 멀티 하네스 버전은 특정 하네스에만 최적화되지 않고 모든 하네스에서 성능이 개선됐다.
- Qwen3.8-27B의 rollout을 활용한 imitation learning은, 대상 모델이 직접 탐색하고 실제 태스크 피드백을 받도록 하는 방식보다 성능이 낮았다.
캡처 레이어와 학습 코드를 함께 공개함으로써 오픈 모델 팀은 에이전트를 특정 하네스에 특화하거나 여러 하네스에서 안정적으로 작동하도록 직접 학습시킬 수 있게 됐다. 이는 클로즈드 모델 제공업체가 넘어야 할 기준을 높이고, 크로스 하네스 테스트를 표준 검증 항목으로 만들 가능성이 크다.
영향 평가
오픈 AI 연구에 대한 기술적 영향은 높다.
판단: 이 내러티브에서 가장 이른 단계에 있는 쪽은 트레이더나 장기 홀더가 아니라 에이전트·오픈 모델을 구축하는 빌더다. 멀티 하네스 학습과 검증 스택을 실제 제품에 적용할 수 있는 빌더가 명확히 유리하며, 시장 참여자에게는 아직 투자 내러티브라기보다 기술 인프라 변화에 가깝다.