Ralphthon @ ICML
Team Attention
Ralphthon @ ICML · 10 minutes

에이전트에게
연구를 맡기는 법.

How to delegate research to an agent.
정구봉 · Team Attention · Codex Ambassador

Ralphthon ICML original poster
Today is a protocol

오늘은 시간표 자체가
연구 프로토콜입니다.

스펙을 고정합니다Freeze the research contract
에이전트를 출발시킵니다Launch the Ralph Loop
매칭 스냅샷Automatic matching snapshot
Why science?

실행 다음의 병목은
발견과 검증입니다.

코드가 싸지면, 중요한 건 무엇을 묻고 무엇이 참인지 증명하는 일입니다.

After execution, the bottleneck is discovery and verification.

Task Agent는
정답이 있는 일을 끝냅니다.

A Task Agent completes work with a relatively clear objective and test.

Research Agent는
정답을 찾는 방법까지 책임집니다.

질문의 범위 · 전략 · 가설 · 실험 · 증거 해석 · 다음 행동.

It owns scope, strategy, hypothesis, experiment, evidence interpretation, and the next action.

Research loop · 01

질문을 작은 실험으로 바꿉니다.

질문스펙최소 실행

Question → frozen spec → minimum end-to-end run.

A good starting point

틀렸다고 말할 수 있어야
좋은 가설입니다.

기준선과 지표가 이름으로 적혀 있고,
한 번의 완전한 실행이 마감 전에 끝나야 합니다.

Falsifiable hypothesis. Named baseline and metric. One complete run before the deadline.

Research loop · 02

증거로 주장을 수정합니다.

증거믿음 수정적대적 리뷰

Evidence → belief update → reproduction → adversarial review.

성공한 숫자만 남기면
연구가 아닙니다.

설정, 환경, 코드, 프롬프트, 원시 출력, 오류, 실패한 실행까지 저장합니다.

Save configuration, prompts, raw outputs, errors, and failed runs.

Codex Goal

Goal은 기능이 아니라
검증 가능한 계약입니다.

A Goal prompt is a contract the agent can verify by itself.

The six clauses
OBJECTIVE
무엇을 알아내거나 만드는가?
What must be discovered or built?
DONE
어떤 관측 가능한 상태가 완료인가?
What observable state means complete?
EVIDENCE
어떤 테스트·지표가 완료를 증명하는가?
Which tests or metrics prove completion?
CONSTRAINTS
시간·예산·데이터·도구의 제약은?
What limits apply?
BOUNDARIES
무엇이 금지되고 언제 사람에게 묻는가?
What is forbidden, and when must it ask?
DELIVERABLE
어떤 파일·형식·경로를 남기는가?
Which file, format, and path remain?
Before 11:00

이 순서로
준비합니다.

Skill repoCodexW&BVESSL

Then confirm the Open Agent Review submission path.

Use the skill
/auto-research

아이디어를 제출 가능한 증거로 바꾸는 workflow.

Turn an idea into submission-ready evidence.

Auto Research · first half
01 · FREEZE

스펙을 고정합니다.

가설 · 기준선 · 지표 · 데이터 · 예산 · 중단 조건
Freeze the evidence contract.

02 · RUN

가장 작게 완주합니다.

확장 전에 end-to-end 실행
Complete the smallest run first.

03 · COMPARE

다시 계산합니다.

저장된 결과에서 기준선 비교
Recompute from saved outputs.

Auto Research · second half
04 · SEPARATE

관측과 해석을 나눕니다.

실패와 한계도 결과입니다.
Record failures and limitations.

05 · BUILD

Artifact를 만듭니다.

증거 없는 결과 칸은 비웁니다.
Never invent missing results.

06 · CHECK

17:00까지 완결합니다.

주장→실행 · 버전 · 형식
Trace claims, versions, and format.

Open Agent Review

16:30

자동 매칭 스냅샷.
16:30–16:35 자동 배정.
16:35 필수 페이퍼 목록.

Exclude own team · use paper–agent affinity · balance load · cover every paper.

Late submission policy

늦어도 실격은 아닙니다.

16:30 이후에도 본상 심사 대상입니다.
대신 자동 매칭을 받지 못합니다.

Late papers must find a Review Agent. Late agents must find a paper. Submit results by 17:00.

Team rule

1–4명.
한 트랙.
결과물 하나.

Each team chooses either Track 1 or Track 2—not both.

One conference loop

두 트랙은
서로를 완성합니다.

TRACK 1 · AI SCIENTIST
2–4p paper + self-review.
필수: 워크숍형 숏페이퍼와 셀프 리뷰
선택: repo · log · W&B · 재현 자료
TRACK 2 · REVIEW AGENT
Repo + 실행법 + 리뷰 결과.
필수: GitHub repo · 아주 짧은 실행법 · 배정 페이퍼 리뷰
Rubric은 조용래+심사위원 최종 확정 예정
The outcome

Track 1과 Track 2,
두 팀이 Oral에 갑니다.

팀당 발표 10분 + Q&A 5분.
각 우승팀에 OpenAI API credits $10,000.

Laptop/table demo · No Grand Prize · Main and special awards cannot overlap.

Special awards
DALPHA
World model.
DJI microphone full set
TEAM ATTENTION · ARK POINT
DJI mic, one each.
세부 기준은 현장에서 결정합니다.
Start now

11시에 계약을 쓰고,
12시 30분에 출발시킵니다.

에이전트는 전략과 실행을 맡고,
사람은 위험과 최종 판단을 맡습니다.

Next: W&B records the evidence. VESSL provides the compute.

01/19
또는 스크롤