Soot Labs · tự tiến hóa

Một agent tự tốt lên, nhưng vẫn hỏi bạn trước khi thay đổi.

Mỗi run để lại bằng chứng. Soot biến bằng chứng thành bài kiểm tra, đề xuất bản sửa phải vượt qua case nó chưa từng thấy, rồi đưa bạn một diff để áp dụng hay hoàn tác.

Bắt đầu từ lab đầu tiên Xem ngay số liệu thật

01 / Trace

Mỗi run là một biên lai.

Mỗi lượt ghi token, lời gọi tool và kết quả. Chi phí có một đơn vị chung: token có trọng số, output đắt gấp năm input, cache read chỉ bằng một phần mười.

Token có trọng số của một runTương tác

Input4,000 × 1 = 4,000

Cache write2,000 × 1.25 = 2,500

Cache read18,000 × 0.1 = 1,800

Output600 × 5 = 3,000

Có trọng số11,300

Run này đến từ eval hoặc huấn luyệnVẫn ghi vào sổ, nhưng không trừ vào ngân sách ngày của Soot

Ngân sách ngày đã dùng cho hội thoại thật120k / 300k

Không đổi: cải thiện bị giới hạn bằng --budget riêng, nên một đêm huấn luyện không làm cạn ngân sách của người dùng ngày mai.

Làm được

So sánh các run công bằng: run rẻ hơn là rẻ hơn theo một đơn vị, bất kể cache.

Không làm được

Cho biết câu trả lời có đúng không. Việc đó cần một case.

02 / Case

Bài kiểm tra Soot phải vượt qua, chia tập để không thể gian lận.

Case nằm trong evals/. Một hash ổn định xếp mỗi case vào train, validation hoặc test. Proposer chỉ thấy train. Ghim một case chính sách thì nó luôn bị giữ kín.

Tám case, ba tậpTương tác

greets-in-languagetrain
finds-order-statustrain
asks-before-canceltrain
cites-the-faqtrain
refund-needs-humanvalidation + test
no-card-numbersvalidation
handles-two-orderstrain
hands-off-angrytest

Proposer thấy gì · 5

Giữ kín với proposer · refund-needs-human, no-card-numbers, hands-off-angry

Case nhiều lượtTương tác

Lượt 1 · Hỏi đơn nào
Lượt 2 · Tra nhầm đơn
Lượt 3 · Trả lời lịch sự

Trượt: một lượt trượt, dù lượt cuối đạt.

Làm được

Bắt được thụt lùi ở case proposer chưa từng đọc.

Không làm được

Bao phủ hành vi không case nào mô tả. Hãy viết case trước.

03 / Chẩn đoán

Tìm cần gạt trước khi tiêu một token.

Chẩn đoán xếp mỗi case trượt vào cần gạt có thể sửa nó: bề mặt tool, một mô tả, nhiệm vụ, giới hạn thực thi, adapter, hoặc chính case. Nó không chạy model.

Chẩn đoán Soot đang deployTương tác

Tính cả run của candidate khi huấn luyệnRollout của adapter chưa deploy cũng là run eval

Tỉ lệ đạt50%

9 run đo một adapter khác và đã bị bỏ qua. Chạy soot eval để đo Soot đang deploy.

Bề mặt tool2toolset thiếu orders_lookup
Mô tả tool1"search" không nói gì về mã đơn
Nhiệm vụ2luật hoàn tiền mơ hồ
Case1chờ một câu mà chính sách cấm

Làm được

Phân biệt tool hỏng với nhiệm vụ mơ hồ, miễn phí.

Không làm được

Viết bản sửa. Đó là chặng sau.

04 / Đề xuất

Mỗi sửa đổi phải thắng trên case nó chưa thấy.

Proposer sửa một cần gạt mỗi vòng. Mỗi sửa đổi được rollout trên bản sao dùng một lần và chỉ giữ lại nếu train cộng validation tăng và không case ghim nào thụt lùi. Một vòng chỉ bắt đầu khi ngân sách đủ.

Hill-climb trong ngân sáchTương tác

Ngân sách450k

Đã tiêu 90k / 450kTrain + val 0.42

Proposer chỉ nghe "giữ lại" hoặc "bị loại trên case held-out". Không bao giờ thấy điểm validation hay ID case ghim.

Làm được

Tìm ra nhiệm vụ gọn hơn, tốt hơn mà bạn không cần ngồi canh.

Không làm được

Tự áp dụng gì. Nó dừng ở một diff chờ duyệt.

05 / Huấn luyện

Huấn luyện có ích. Sửa nguyên nhân có ích hơn.

Adapter là chữ học được, xếp chồng lên nhiệm vụ. Nó có thể nâng điểm trong khi mang luật trái chính sách. Một Soot hỗ trợ khách hàng thật, đo ngày 2026-10-28:

Cùng một Soot, hai cách cải thiệnLần chạy thật

Chỉ huấn luyện adapter

Test held-out 0,667 → 0,778
Token −34%
3 luật trái chính sách

Sửa nguyên nhân gốc, rồi hill-climb authored

Case 3/14 → 13/14
Điểm 0,65 → 0,99
Token mỗi case 19,9k → 12,8k

Sau đó: một lần tinh chỉnh 8 bước tốn 1,3M token và không giữ gì; bước gộp bắt được 4 mâu thuẫn trước khi chúng vào nhiệm vụ. Vì vậy sửa authored đi trước, huấn luyện đi sau, và không gì được đưa vào mà chưa duyệt.

Làm được

Ép bớt token và vá chỗ hở khi Soot authored đã đúng.

Không làm được

Thay cho việc sửa tool, nhiệm vụ hay runtime.

06 / Hoàn tác

Mọi thay đổi bạn đã chấp nhận đều hoàn tác được.

Áp dụng đề xuất, gộp, và deploy hay gỡ adapter đều để lại biên nhận: hash của từng tệp trước và sau, kèm bản sao nội dung cũ. Hoàn tác khôi phục; không bao giờ merge.

Lịch sử thay đổiTương tác

Ai đó đã sửa MISSION.md sau khi đề xuất được áp dụngSửa tay, hoặc một thay đổi mới hơn

Dùng bản tinh chỉnhnone → 3f9c0a12 (v0003) · soot.json, adapters/support/
Áp dụng sửa cấu hìnhmission: rút gọn luật hoàn tiền · MISSION.md

Làm được

Đưa về đúng các tệp và phiên bản adapter có trước đó.

Không làm được

Âm thầm xóa một chỉnh sửa có sau thay đổi.

Cả vòng lặp, trong một dòng

Ghi trace mọi run → kiểm tra bằng case → chẩn đoán miễn phí → đề xuất trong ngân sách, qua cổng case held-out → duyệt diff → áp dụng → hoàn tác nếu đổi ý.

Điều pipeline bảo đảm

soot traces export bỏ case held-out và case ghim trừ khi bạn yêu cầu.
Judge sập là error, không phải case trượt.
Tập chia theo id case, không theo đường dẫn tệp; "split" ghim tay một case.
soot eval case from <run> giữ cả hội thoại dẫn đến run.
CLI và Nest dùng chung một khoá cho mỗi Soot; nút Dừng dừng được job từ CLI.
Còn mở: conversation bắt đầu trước cửa sổ audit được tính một lần như lượt mới.

Chạy trên Soot của bạn.

Toàn bộ pipeline có trong CLI và tab Cải thiện của Soot Nest.

Tải Soot Đọc hướng dẫn

Số liệu ở chương 05 đến từ một lần chạy có ghi ngày và minh họa một khuôn mẫu; không phải benchmark hay cam kết. Các lab khác mô phỏng đúng các quy tắc đã viết trong tài liệu.