관련링크
본문

AI 에이전트 스타트업 네오코그니션이 공개한 '어프렌티스벤치' 벤치마크는 AI의 독립적인 직무 학습 능력을 시험했습니다. 첫 번째 버전에서는 AI 에이전트가 가상의 건설 회사에서 매입 회계 업무를 맡아 6개월간의 과거 데이터를 학습하고 7개월 동안 100건의 청구서를 처리하는 과정에 규칙 변경과 관리자 피드백까지 포함되었습니다.
테스트 결과, Fable 5.1 모델은 72%의 성공률을 기록하며 GPT-6 Astra의 68%를 앞섰고, 최고의 인간 테스트 대상자는 51%에 그쳤습니다. 이는 청구서 입력, 오류 감지, 비용 코드 할당, 공급업체 연락, 승인 라우팅 등 다양한 작업을 포함하는 과정이었습니다.
특히 두 AI 모델은 API 호출 시보다. GUI를 직접 조작할 때 더 우수한 성능을 보였습니다.
단, '인간 능가'라는 결과는 단일 시뮬레이션 역할에 한정되며, 인간 테스트 샘플 역시 두 명에 불과하다는 점은 명확히 해야 합니다. 비용 측면에서는 Fable 5.1 모델이 작업당 평균 18.23달러를 기록한 반면, 인간은 약 7.21달러로 더 저렴했습니다.
|
|
|
|
|
|
|
추천 0 반대 0
댓글목록
등록된 댓글이 없습니다.


