UniSkill: 선택 기준
작동 원리
스킬이 좋아진 걸까, 스킬을 쓰는 모델이 좋아진 걸까?
원문은 “only the conditioning skill changes.”라고 설명한다. E1
추론: 현재 actor와 성공·실패 궤적을 고정한 채 스킬만 바꿔 행동의 로그우도를 비교한다면, 나중에 좋아진 모델의 공을 스킬에게 넘기는 혼동을 줄이려는 평가 설계로 읽을 수 있다. E1 E3 E15
추론: 같은 작업의 성공 경로를 더 그럴듯하게 만들고 실패 경로를 덜 그럴듯하게 만드는지를 살핀다면, 스킬의 유용성을 매번 환경에서 실행해 확인하는 비용을 줄이는 방향으로 접근할 수 있다. 다만 이미 기록한 경로를 다시 평가하는 경우에도 모델 추론 비용까지 없어졌다고 해석해서는 곤란하다. E15 E16
스킬은 신입인데, 성과급은 경력직 모델 몫 아닌가?
대안 비교
원문은 “Evolving-RL provides a closely related joint-training baseline”라고 설명한다. E2
추론: Evolving-RL처럼 후보 스킬을 넣고 환경 rollout을 추가하는 대안을 고려한다면, 실제 행동 결과를 확인하는 이점과 후보 평가 비용을 함께 따져야 한다. 환경 실행이 비싸고 이미 성공·실패 경로를 모으고 있는 경우에는 UniSkill의 평가 방식을 검토할 이유가 있다. E2 E3 E16
실험 조건
추론: success를 비교할 경우, 이 글의 기준은 ALFWorld의 Evolving-RL 비교와 WebShop의 SkillRL 비교이며 공통 모델 조건은 Qwen2.5-7B-Instruct다. 저자의 벤치마크 결과를 읽는 경우와 별도 서비스에서 재현해 측정하는 경우를 구분해 판단하자. E5 E6 E9
원문은 “98.4% success on ALFWorld”라고 설명한다. E5
원문은 “84.7% success on WebShop”라고 설명한다. E6
추론: 실서비스 도입을 검토하는 경우에는 위 수치를 우리 서비스의 성공률로 옮겨 적지 말고, 작업 분포와 평가 기준을 먼저 맞추는 편을 선택하겠다. E5 E6 E9
검증 계획
추론: ALFWorld에서 skill retrieval is disabled at evaluation 조건으로 success를 비교한다면, UniSkill과 Actor Only의 차이에 주목할 만하다. 평가 때 스킬을 검색하지 않는 경우에도 학습 과정에 남은 효과를 살펴볼 수 있기 때문이다. E7 E8 E17 E18
원문은 “96.1% success”라고 설명한다. E7
원문은 “84.4%”라고 설명한다. E8
추론: Actor Only처럼 제안자를 고정하는 경우와 Ralign 보상을 제거하는 경우를 함께 비교한다면, 검색 결과를 붙인 효과만으로 설명하기보다 스킬 제안 피드백이 actor 학습에 남기는 영향을 검토하는 편이 타당하다. 다만 이 실험만으로 모든 구성 요소의 독립적인 인과 효과를 확정하려는 판단은 보류하겠다. E7 E8 E17 E18
선택 기준
추론: Evolving-RL rollout baseline(기준선)과 비교할 경우, 같은 task에서 reference trajectories(참조 궤적)를 성공·실패로 확보할 수 있고 기록한 행동의 로그우도를 다시 계산할 수 있을 때 UniSkill을 우선 실험 후보로 삼겠다. Ralign 평가를 받은 proposals(스킬 후보)의 실제 효용도 함께 확인하는 조건이다. 궤적을 확보할 수 없는 일반 API 에이전트라면, 이 학습 구성을 그대로 도입하기보다 스킬 저장·검색부터 검토하겠다. E2 E3 E4 E15 E16
추론: Ralign 점수가 좋은 proposals라도 실제 환경의 성공률이 계속 나빠지는 경우에는 평가 프록시와 효용이 어긋나는지 먼저 점검하고, 후보를 실제 rollout으로 검증하는 대안을 다시 고려하겠다. 평가 비용을 줄이는 선택이라면, 그 대가로 무엇을 덜 확인하는지도 채택 기준에 포함해야 한다. E3 E4 E16
원문은 “The source code will be released within two weeks.”라고 설명한다. E14
추론: 코드 공개 전에 재현 가능한 구현이 필요한 경우에는 도입 판단을 보류하겠다. 지금 선택할 수 있는 것은 논문 설계의 검토와 재현 실험의 준비이며, 실제 구현의 유지보수 비용은 코드를 확인한 뒤 판단하는 편이 합리적이다. E14