Soot tự cải thiện từ trace: chỉ đề xuất, bạn quyết, luôn Hoàn tác
Mỗi lần chạy để lại một trace; Soot chỉ đề xuất chỉnh sửa khi nó thắng các ca giữ riêng. Không gì tự áp dụng, và bạn có thể Hoàn tác.
Nghe “agent tự cải thiện” là nhiều người khựng lại. Tự cải thiện nghĩa là nó sửa chính mình khi bạn không nhìn? Và nếu sửa xong tệ hơn thì sao?
Với Soot, câu trả lời ngắn: không có gì tự áp dụng. Soot chỉ *đề xuất*. Người quyết là bạn, và quyết xong vẫn Hoàn tác được. Bài này đi qua vòng đó theo tài liệu self-improvement.
Bắt đầu từ trace, không từ cảm giác
Mỗi lần một Soot chạy, nó để lại một trace: dấu vết của lần chạy đó. Đó là nguyên liệu của vòng cải thiện.
Một bước đánh giá (eval) gán cho mỗi lần chạy kết quả pass hoặc fail. Những lần fail là chỗ đáng nhìn trước.
Đề xuất chỉ có khi nó thắng “bài thi” giữ riêng
Từ các trace, pipeline có thể đề xuất một thay đổi. Nhưng nó chỉ đề xuất khi thay đổi đó thắng trên các ca held-out: những ca được giữ riêng, không nằm trong phần dùng để tinh chỉnh.
Cứ hình dung một học sinh ôn đúng đề cũ rồi được chấm đúng đề cũ. Điểm cao, nhưng chẳng nói gì nhiều. Bài thi nằm ngoài phần ôn luyện cho một tín hiệu đáng tin hơn.
Tab Cải thiện trong Nest
Trên Nest có tab Cải thiện với bốn phần: Chẩn đoán, Đề xuất, Tinh chỉnh và Hoàn tác.
Điểm cần nhớ: không có gì được áp dụng mà bạn không quyết, và nếu đổi ý, bạn Hoàn tác theo receipt của lần áp dụng đó.
Chạy theo lịch vẫn chỉ đề xuất
Vòng này có thể chạy theo lịch. Lịch chỉ làm một việc: đề xuất. Nó không áp dụng gì thay bạn; đề xuất chờ bạn review.
Vì sao thiết kế như vậy
Một Soot nhỏ, một việc rõ, bằng chứng rõ. Vòng cải thiện giữ đúng tinh thần đó:
- Bằng chứng là trace và kết quả trên ca held-out, không phải một câu “tôi đã học xong” của mô hình.
- Quyền nằm ở người: bạn quyết áp dụng, và có Hoàn tác.
Thử hôm nay
- Đọc tài liệu self-improvement và docs Soot.
- Tải Nest, chạy một Soot với đúng một việc để nó có trace.
- Mở tab Cải thiện, đọc phần Chẩn đoán trước, rồi xem đề xuất nếu có.