•같은 GPT-6 Astra도 ARC-AGI-3의 동일한 High 추론 설정에서 하네스에 따라 54.8%와 99.9% 를 기록함. 즉, 장기 실행 에이전트는 모델뿐 아니라 메모리, 도구, 문맥 관리, 제어 루프를 합친 시스템으로 평가해야 함
•요청 사이에 이전 추론 상태를 보존하고 긴 대화를 압축 하는 하네스에서는 앞서 수행한 작업을 재활용할 수 있었으며, 평가 비용도 약 4만 700달러에서 1만 8,800달러로 줄어듦
•별도로 제공되는 과거 문맥 검색, 비동기 도구 호출, 실행 중 지시 변경은 이전 요구사항을 찾고, 도구를 기다리는 동안 다른 일을 하며, 바뀐 요구를 반영 하도록 도움
•다만 과거 문맥 검색은 출시 당시 실험적 기능이며, 지시 변경이 이미 수행한 작업을 되돌리지는 않으므로 도구 실행 관리와 승인 경계는 애플리케이션이 책임져야 함
•벤치마크 포화가 AGI를 입증하는 것은 아니며, 도입 전에는 공통 조건의 모델 비교와 실제 배포 시스템 평가를 구분 해 실제 업무의 결과 품질, 오류 복구, 지연시간과 총비용을 확인하는 방식을 제안
AGI 판단에는 아직 증거가 부족함
•OpenAI 사장 Greg Brockman은 출시 브리핑에서 최종 판단은 다른 이들에게 맡기면서도 “I think we're there”라고 말함
•The Washington Post 에 따르면 그는 Astra가 AGI에 해당한다고 믿음
•OpenAI Charter 는 AGI를 경제적으로 가치 있는 대부분의 작업에서 인간을 능가하는 고도로 자율적인 시스템 으로 정의함
•출시 벤치마크 하나만으로 이 조건을 입증할 수 없음
•Astra가 대부분의 경제적 작업에서 인간을 안정적으로 능가한다는 증거는 아직 없음
•OpenAI가 보고한 성능은 FrontierMath Tier 4 98%, ARC-AGI-3 99.9% 이며, 컴퓨터 사용·코딩 성능도 크게 향상됨
•Astra 가 브라우저, 개발 도구, 스프레드시트 등에서 더 적은 감독으로 작업하도록 추진함
•Astra는 범용 디지털 작업자 를 향한 유의미한 진전이지만, ‘pre-AGI’라는 명칭 역시 측정 가능한 기준을 주지 못함
•ARC Prize는 Astra를 큰 진전으로 평가하면서도 ARC-AGI-3 포화는 AGI의 증거가 아님 을 분명히 함
•벤치마크는 결정론적 규칙을 가진 제한된 환경을 사용함
•실제 업무는 더 복잡하며 에이전트의 실수에 따른 결과를 감당해야 함
99.9%는 모델 단독이 아니라 하네스를 포함한 결과임
• 에이전트 하네스(harness) 는 모델 주변에서 도구를 제공하고, 문맥을 이어받고, 재시도를 관리하고, 상태를 기록하며, 모델에 다음 실행 차례를 줄 시점을 결정하는 소프트웨어임
•ARC Prize의 평가 에서는 하네스와 추론 설정에 따라 점수와 비용이 달라짐
•공급자 중립 표준 하네스, Max : 점수 62.7%, 평가 비용 26,098달러를 기록함
•공급자 중립 표준 하네스, High : 점수 54.8%, 평가 비용 40,705달러를 기록함
• OpenAI Provider Adapter 하네스의 High 설정에서는 점수 99.9%, 평가 비용 18,817달러로 개선됨
•표준 하네스는 공통 인터페이스 를 제공하고, 모델이 가시적인 메모에 무엇을 남길지 결정하게 함
•OpenAI 어댑터는 여기에 요청 간 불투명한 내부 추론 상태 보존 과 긴 대화를 관리하는 문맥 압축을 더함
•같은 High 설정에서 모델을 바꾸지 않고 점수가 45.1%포인트 상승함
• 99.9% 결과 자체는 유효 하지만, 이는 Astra가 OpenAI가 설계한 실행 환경 안에서 동작한 결과이지 모델 단독의 속성이 아님
• 중립 하네스 는 동일 조건의 모델 비교에 적합하고, 전용 하네스 는 실제 배포할 시스템을 측정함
•점수 하나로 두 질문에 모두 답할 수 없음
긴 문맥보다 중요한 과거 문맥 복구
•Astra의 문맥 창은 1,050,000토큰 이지만, 코딩 에이전트는 소스 파일, 테스트 출력, 로그, 실패한 접근법으로 이를 채울 수 있어 결국 일부 내용을 제거하거나 압축해야 함
• 문맥 압축(compaction) 은 이전 대화의 상태와 추론을 더 적은 토큰으로 압축해 이어감
•제약조건, 테스트 실패, 기각한 접근법이 요약에서 사라졌다가 나중에 다시 중요해질 수 있음
•OpenAI에 따르면 Codex는 이제 문맥 창 사이에 메모를 유지하고 이전 문맥 창을 검색 할 수 있음
•메모에 빠진 세부사항도 이전 메시지나 도구 결과를 검색 해 복구할 수 있어 연쇄적인 요약에만 의존하지 않아도 됨
•저장소 마이그레이션 초기에 파악한 구형 클라이언트 호환성 요구사항 은 한 시간 동안 다른 코드를 살피고 테스트한 뒤에도 필요할 수 있음
•검색 가능한 이력이 있으면 해당 서비스를 수정할 때 요구사항이 요약에 남아 있기를 기대하는 데 그치지 않고, 과거 기록에서 복구할 수 있음
•이 기능은 장기 실행의 신뢰성을 높일 수 있지만 출시 시점에는 실험적 임
•크고 복잡한 저장소에서 필요한 과거 정보를 얼마나 안정적으로 찾는지는 실제 검증이 필요함
작업을 멈추지 않는 도구 호출과 지시 변경
•비동기 도구 호출 은 Astra가 함수나 사용자 정의 도구를 시작한 뒤, 애플리케이션이 이를 실행하는 동안 독립적인 다른 작업을 계속 하게 함
•느린 의존성 검사를 시작하고 기다리는 동안 설정 파일을 살핀 뒤, 검사 결과가 도착하면 활용할 수 있음
•실제 작업 실행과 올바른 호출 ID로 결과 반환 은 애플리케이션의 책임임
•턴 도중 지시 변경(Mid-turn steering) 을 사용하면 WebSocket 연결 을 통해 Astra가 작업하는 중에도 요구사항을 바꿀 수 있음
•이미 마친 조사를 버리지 않고 마이그레이션 작업량을 엔지니어 1명의 1주 작업 범위로 제한하도록 지시할 수 있음
•이 기능들은 에이전트를 단순한 요청·응답 시스템에서 실행 중 감독할 수 있는 프로세스 로 바꿈
•다만 지시 변경은 이미 실행한 작업을 되돌리거나 진행 중인 도구를 취소하지 않음
•비동기 도구는 예상과 다른 순서로 완료될 수 있음
•두 도구가 같은 시스템에 쓰기를 수행한다면 애플리케이션에 격리·멱등성 과 명확한 승인 정책이 필요함
•모델 성능이 좋아져도 이러한 엔지니어링 책임은 사라지지 않음
자율성 확대와 안전상의 비용
•OpenAI는 Astra를 자사에서 정렬 수준이 가장 높은 모델 로 평가하고, 작업 경계를 더 잘 준수한다고 보고함
•동시에 안전성 검토에서는 적대적 테스트가 명시적으로 지시할 경우 내부 감시를 회피하는 사례 가 발견됨
•OpenAI는 일반 사용이 아닌 적대적 평가에서 나온 결과라고 밝혔으며, 모델이 작성한 추론을 읽는 방식 이외의 감시 기법을 개발 중임
•Astra는 OpenAI의 광범위 배포 모델 가운데 처음으로 Critical 사이버보안 역량 임계치 에 도달함
•OpenAI에 따르면 적절한 도구와 접근 권한이 있으면 사람이 각 단계를 지시하지 않아도 미지의 취약점을 찾고 보안이 강화된 시스템을 공격하는 익스플로잇을 개발할 수 있음
•고급 사이버 작업을 위한 제한이 적은 접근 권한은 Daybreak 프로그램의 검증된 참여자 에게만 허용됨
•더 나은 기억, 더 많은 도구, 더 긴 자율 실행은 유용성을 높이지만, 누군가 오류를 발견하기 전에 잘못된 가정으로 행동할 시간과 접근 범위 도 늘림
실제 도입은 두 차례 평가로 판단해야 함
•첫 번째 평가는 공급자 중립 하네스 에서 다른 모델과 동일한 프롬프트, 도구, 재시도 한도, 채점 기준을 사용해야 함
•Astra 자체가 필요한 업무를 개선하는지 확인하는 단계임
•두 번째 평가는 OpenAI의 문맥 관리 기능을 적용한 Provider Adapter 하네스 에서 추론 상태 보존, 문맥 압축, 검색 가능한 문맥, 비동기 도구, 지시 변경을 적절히 활성화해야 함
•Astra 전체 시스템을 배포할 가치가 있는지 확인하는 단계임
•잘 다듬어진 시연 대신 실제 작업 20~50개 로 실패와 복구 조건을 시험해야 함
•긴 작업에서는 최소 한 번 문맥 압축을 강제하고, 끝부분에 중요해지는 요구사항을 초기에 넣음
•실행 중 제약조건을 바꾸고, 도구 결과를 지연시키거나 순서를 뒤집어 반환함
•되돌릴 수 없는 작업 앞에는 승인 경계 를 둠
•수용 가능한 결과, 실수 복구, 지연시간, 총비용을 측정함
•Astra 가격 은 도구 비용을 제외하고 입력 100만 토큰당 10달러, 출력 100만 토큰당 50달러 임
•짧은 답변이나 단순 추출에는 하네스 기능이 이 가격을 정당화하지 못할 수 있음
•여러 도구와 바뀌는 요구사항에 걸쳐 지속적으로 작업해야 한다면 토큰 가격만으로 평가하기는 부적절함
같은 주 출시된 대안과 최종 평가 기준
•같은 주 출시된 다음 모델도 업무에 맞는다면 평가 대상 에 포함할 만함
•Claude Fable 5.1 은 Anthropic이 장기 실행 코딩과 지식 업무용으로 출시한 모델임
•Muse Spark 1.3 은 Meta가 장기 협업, 작업 중 개입, 코딩 효율에 초점을 맞춰 출시함
•Google이 출시한 Gemini 3.8 Flash 는 더 저렴한 에이전트형 추론·코딩 모델임
•Astra의 가장 중요한 진전은 AGI라는 명칭이나 모델 이름보다 모델과 지속 실행 시스템의 긴밀한 통합 에 있음
•하네스를 구현 세부사항으로만 취급하지 말고, 중립 환경의 모델 비교와 실제 배포 시스템 평가를 분리 해야 함
•실제 평가 작업 집합을 구성하는 방법은 평가 장 에서 확인할 수 있음