Agent 101·Bài 02·Đọc 22 phút

Cái cửa sổ không nở ra. Mọi thứ khác phải co lại.

Một Soot có thể cày một việc suốt mấy tiếng, còn model phía sau thì không nhớ gì giữa hai lần gọi. Bài này nói về cái bàn tôi kê trước mặt nó, và đủ cách tôi đã dựng để cái bàn đó khỏi tràn.

01 · Cửa sổ context

Một cái bàn cứ ngẩng lên là sạch

Hình dung một đồng nghiệp rất kiên nhẫn, giao gì cũng làm, nhưng mất hẳn trí nhớ. Bạn đưa họ một xấp giấy, họ trả về kết quả rất tốt. Lần sau bạn bước vào, mặt bàn sạch trơn. Họ không nhớ xấp giấy đó, không nhớ bạn, không nhớ vừa làm gì. Mọi thứ họ biết phải nằm trên bàn, ngay trước mắt, đúng lúc này.

Model đứng sau một agent là như thế. Nó không nhớ lần gọi trước. Mỗi lần tôi nhờ nó nghĩ thêm một bước, tôi phải gửi lại toàn bộ yêu cầu: tôi muốn nó là ai, nó có tool nào, và cả cuộc trò chuyện từ đầu đến giờ: chỉ dẫn của tôi, phần nó tự nghĩ ra, từng tool call nó gọi, và từng kết quả nó nhận về. Cả gói đó là context. Model đọc, trả lời, rồi quên.

Cái bàn có kích thước cố định. Cửa sổ context là một con số: số token nhiều nhất model đọc trong một yêu cầu, cộng số nó viết lại. Suốt một run, con số đó không tăng. Tới lúc yêu cầu không còn vừa, run không chậm đi mà dừng hẳn.

Một cuộc trò chuyện hiếm khi là vấn đề. Vấn đề là việc làm mất mấy tiếng. Mười lượt chat thì chỉ là tờ rơi. Hai mươi phút một agent sửa một cái bug thì là cả kệ hồ sơ: nó đọc bốn file, chạy test hai lần, viết một bản vá, đọc thêm ba file, chạy test lại và lấy nguyên output. Mỗi kết quả đó giờ nằm trên bàn ở mọi lượt sau, vì tôi phải gửi lại hết.

Mà kết quả của tool chiếm phần lớn. Một bộ test in nghìn dòng, một log build, một cái diff, một danh sách thư mục: chỉ một cái trong số đó đã nặng hơn cả ngày suy nghĩ. Suy nghĩ thì rẻ, bằng chứng mới nặng.

Khối01
Đang nằm trong request: 77,494Cửa sổ: 40,000▲ không còn vừa

Một vạch là một lát của cửa sổ. Phần xám là việc của các lượt trước vẫn đang được gửi lại. Mỗi lượt thêm một chút.

Model thấy gì ở lượt thứ 200
  • Chỉ dẫn, viết một lần ở đầu
  • Từng lời gọi tool và từng kết quả, kể cả cái từ một tiếng trước
  • Phần nó tự nghĩ, và mỗi yêu cầu mới nối vào cuối
Nó thật sự cần gì
  • Chỉ dẫn nó đang làm theo
  • Kế hoạch hiện tại
  • Hai file nó đang sửa

Còn một cái giá thứ hai, kín hơn. Mỗi token tôi gửi đi đều là việc provider phải xử lý. Nên ngoài câu “có vừa không” còn có câu “tôi đang trả bao nhiêu để đọc lại chỗ này”. Câu sau có cách trả lời riêng, và nó định hình phần còn lại của bài.

02 · Prefix

Vì sao đổi một chữ ở đầu là mất cả yêu cầu

Bạn mang một tập tài liệu đi photocopy. Nếu năm mươi trang đầu không bao giờ đổi, tiệm giữ bản kẽm cho năm mươi trang đó và in lại từ đó. Nhưng nếu bạn gõ lại trang một, chỉ một chữ, thì từ trang hai trở đi là một tài liệu khác. Bản kẽm thành vô dụng. Làm lại từ đầu.

Provider của model vận hành y như vậy. Nếu phần đầu yêu cầu của tôi giống hệt lần trước (giống tới từng byte), họ dùng lại phần đã xử lý và tính tôi giá thấp hơn nhiều. Đó là prompt cache. Nó không phải công tắc muốn bật lúc nào cũng được. Nó chỉ ăn ở phần đầu giống hệt: khớp từ đầu yêu cầu và dừng ở chỗ đầu tiên khác đi.

Một byte đổi gần đầu là hỏng cả chuỗi. Nên tôi có danh sách những thứ không được đụng vào phần đầu giữa run:

  1. 01Sửa lại chỉ dẫn. Nếu tôi sửa system prompt vì tình hình đổi, cache mất từ ký tự đầu tiên. Nên tôi không sửa. Chỉ dẫn mới được thêm vào như một message mới.
  2. 02Đổi schema của tool. Nếu bộ tool đổi, hoặc chỉ đổi thứ tự, prefix trong cache đổi theo. Nên danh sách tool cố định suốt run, và tool chưa nạp khai báo bằng một stub tí xíu, không thêm vào sau.
  3. 03Sửa một message cũ. Cắt bớt hay sửa một message ở giữa là mọi thứ sau nó đổi. Nên message đã gửi thì không sửa.
  4. 04Đặt phần hay đổi lên trên. Thứ gì đổi mỗi lượt, ví dụ kế hoạch hiện tại, thì không được nằm ở phần đầu cố định.

Vì thế thứ bạn tưởng sẽ bị viết lại thì tôi nối vào cuối. Kế hoạch là một message. Mục tiêu là một khối nối vào yêu cầu. Lời nhắc về kế hoạch là một message thêm ở cuối, và chỉ khi bản cũ không còn trong tầm mắt (sau một lần tóm tắt, hoặc sau khi phục hồi sau sự cố). Ký ức nhớ lại cũng đến dưới dạng một message của người dùng ở phía dưới, chứ không nhét vào system prompt. Phần đầu đứng yên; cuộc trò chuyện dài ra ở đuôi.

Thử: đổi một byte ở đầu02
  1. 01You are Soot. Be clear, practical and candid.✓
  2. 02Tools: load tool, read file, grep, run shell…✓
  3. 03user: fix the flaky migration test✓
  4. 04assistant: reading the migration folder✓
  5. 05tool: 14 files, 3 tests red✓
Lấy từ cache: 100%đọc với giá cache: 9,000đọc với giá đầy đủ: 0

Không có gì trước message mới bị đổi, nên cả prefix vẫn lấy từ cache.

Tôi muốn nói rõ chỗ này mua được gì, vì rất dễ hứa quá. Cache hit rẻ hơn trên mỗi token và, trong trace của tôi, phần lớn token nằm ở chỗ được cache. Nó không làm cửa sổ to ra, cũng không làm một yêu cầu đã tràn vừa lại. Nó chỉ quyết định phần không đổi tốn tôi bao nhiêu, lần này qua lần khác.

03 · Nạp lười

Chỉ mở đúng ngăn mình cần, đúng lúc cần

Ở nhà tôi có cái tủ đồ nghề năm mươi ngăn, ngăn nào cũng dán một dòng: “mũi khoan”, “ốc vít”, “thước thuỷ”. Lúc treo cái kệ, tôi đâu có bê cả năm mươi ngăn ra tường. Tôi đọc nhãn, chọn một ngăn, mở ra. Cái nhãn chỉ cho tôi ngăn nào hữu ích; trong ngăn mới có cách dùng món đồ.

Tool cũng vậy. Mỗi tool tôi đưa cho agent đều tốn context ở mọi lượt, vì mô tả đầy đủ của nó phải nằm trong yêu cầu. Với vài chục tool, phần lớn chẳng liên quan gì tới việc đang làm, nên cả mảng context đó chỉ chứa hướng dẫn không ai đọc.

Nên tool của một pack không nạp hết từ đầu. Model nhận một bảng mục lục một dòng (đủ để biết tool đó tồn tại và đại khái làm gì) và một tool tên “load tool”, trả về định nghĩa thật khi được gọi. Định nghĩa đó quay về như một kết quả tool bình thường, nằm trong cuộc trò chuyện, chỗ model thật sự sẽ đọc. Nếu model gọi một tool chưa nạp, lời gọi bị từ chối, và trong lời từ chối có luôn định nghĩa để nó thử lại.

Cái gì tốn cái gì
Nằm trên bàn từ lượt đầuChỉ khi được gọi
Tên và mô tả các skillPhần thân của từng skill
Mục lục một dòng của tool trong packĐịnh nghĩa đầy đủ của từng tool
Những tool luôn tồn tạiPhần còn lại

Danh sách tool thì không đổi, và đó là cố ý. Tool chưa nạp khai báo bằng một stub tí hon chứ không bị bỏ ra ngoài, nên mảng tool giữ nguyên trước và sau khi nạp một tool. Nạp tool là thêm một message; không viết lại phần đầu. Bộ tool đã nạp đi theo trạng thái đã lưu của run, nên run phục hồi vẫn còn chúng, và sau một lần tóm tắt thì các định nghĩa model đang dựa vào được gắn lại.

Skill đi theo đúng nguyên tắc đó, nhưng ở tầng cao hơn. Một skill là một quy trình, ví dụ cách viết theo giọng của tôi hay cách review một thay đổi. Chỉ tên và mô tả nằm sẵn từ đầu; phần thân chỉ vào khi model đọc nó. Mục lục ở trước, tài liệu khi cần: có thế thôi, áp dụng hai lần.

04 · Dọn bớt và cất kho

Dọn hộp trước khi trả tiền cho người chép lại

Bạn chuyển nhà, và bạn thuê người ghi lại trong phòng có những gì. Họ tính tiền theo chữ. Trước khi họ tới, bạn mang nửa số hộp đi gửi kho, rồi ghi lên mặt trước một dòng: “chìa khoá, đồ đông, hộp 14”. Căn phòng bỗng gọn đủ để mô tả. Và nếu cần, hộp 14 vẫn còn đó.

Tôi làm đúng vậy trước khi nhờ ai tóm tắt. Những kết quả tool cũ nhất thường ít dùng nhất và to nhất: danh sách file từ mười bước trước, một lần chạy test đã xanh mà chẳng ai xem lại. Trước khi trả tiền cho model để tóm tắt cuộc trò chuyện, tôi dọn chúng: thay nội dung bằng một placeholder ngắn, ổn định, và chỉ giữ nguyên văn vài kết quả gần nhất.

Mấy quy tắc làm việc đó an toàn:

  1. 01Placeholder phải ổn định. Nếu giữa hai lần thử nó đổi một chút, prefix đổi theo và cache mất. Cùng đầu vào, cùng chữ, lần nào cũng thế.
  2. 02Chỗ dừng được ghi lại. Ranh giới dọn đến đâu được lưu cùng run, để lần thử sau dựng lại đúng yêu cầu cũ, chứ không phải một bản na ná.
  3. 03Chỉ dọn khi có lợi. Chỉ dọn sau một ngưỡng, và chỉ khi bỏ đi đủ nhiều để đáng. Không thì thôi, cache vẫn ấm.
  4. 04Kết quả bé thì để nguyên. Kết quả dưới một trăm hai mươi tám token không đáng dọn.
  5. 05Tool để dạy thì không bao giờ bị dọn. Kết quả của lần nạp tool hay đọc skill là cách model biết phải làm gì; dọn nó là bắt model quên chính chỉ dẫn của mình.
  6. 06Không cắt giữa chừng một cặp. Một lời gọi tool cũ và kết quả của nó không bao giờ bị tách, và lượt đang chạy giữ nguyên.

Có những kết quả to tới mức không giữ nổi dưới dạng nào: cả một log build, một ảnh, một tài liệu dài. Những cái đó được cất kho. Kết quả đầy đủ được ghi thành một artifact nằm cạnh cuộc trò chuyện, còn cuộc trò chuyện nhận một đoạn xem trước và một locator. Locator là tay nắm để lấy lại: model đọc lại artifact đó khi cần chi tiết, nên thứ đã rời khỏi bàn vẫn lấy được từ kệ.

128tokenkết quả giữ nguyên văn
512tokentoken nằm trong artifact thay vì trên bàn
64 × 1 MiBartifact mỗi cuộc trò chuyệntoken nằm trong artifact thay vì trên bàn
05 · Compaction

Tờ bàn giao tôi tự viết cho chính mình

Hết ca, một y tá bàn giao cho người vào ca sau. Họ không đọc lại cả ca cho bạn nghe. Họ viết một trang: đã xảy ra gì, đã quyết gì, còn gì mở, giấy tờ ở đâu. Người ca sau làm việc từ trang đó và từ bệnh nhân, không từ bản ghi toàn bộ.

Compaction là trang đó. Khi yêu cầu tới gần mức model chứa được, agent ngừng nối thêm và viết một bản tóm tắt thay vào. Đây là bản tóm tắt có cấu trúc, không phải qua loa. Có các phần: mục tiêu, các ràng buộc đã nêu, quyết định và cách tôi đi tới đó, việc đã xong và việc còn lại, file đã đọc và file đã sửa, và locator cho những chi tiết đáng quay lại. Bản tóm tắt sau nối tiếp bản trước và giữ nguyên văn các chỉnh sửa của tôi, để một chỗ tôi sửa từ đầu không bị làm mềm thành một gợi ý.

Tờ bàn giao ghi lại gì
  • Mục tiêu, đúng như lời đã nói
  • Ràng buộc, quyết định, việc đã xong và việc còn lại
  • File đã đọc, file đã sửa, và locator cho các chi tiết
  • Các chỗ tôi sửa, nguyên văn
Những gì được gắn lại sau đó
  • Kế hoạch hiện tại
  • Các skill nó đang dùng
  • Định nghĩa những tool nó đã nạp
  • Phần yêu cầu nó đang làm

Rồi nó gắn lại thứ model cần để làm tiếp: kế hoạch, các skill đang có, định nghĩa những tool đã nạp, và phần yêu cầu đang dở. Không đoán xem cái gì có thể quan trọng: đó là những mảnh run đang thật sự dùng.

Bản ghi gốc thì không bao giờ bị cắt. Compaction viết lại bản tôi gửi cho model, không viết lại bản tôi giữ. Toàn bộ lịch sử, từng message, từng kết quả tool, vẫn nằm trong kho cho trace, cho bản ghi bạn đọc được, và cho lần nhớ lại về sau.

Có mấy cái chốt. Một lời gọi tool không bao giờ bị tách khỏi kết quả. Yêu cầu đang làm dở được giữ nguyên. Nếu provider từ chối vì quá dài trước khi nói được gì, agent thử lại một lần với bản gọn hơn. Và ngưỡng là một con số đặt được, không phải phép thuật: mỗi model có một cửa sổ, và yêu cầu cần chừa chỗ để nghĩ, ví dụ model có cửa sổ 128.000 token thì mức cắt là 96.000.

Compaction có giá, và tôi nên nói thẳng. Nó là một lần gọi model riêng, đọc hết cuộc trò chuyện, từng ấy token. Giá này đáng trả, vì không có nó thì không phải run tệ hơn mà là không có run nào. Nhưng nó không miễn phí, và không tức thì.

06 · Checkpoint

Kiểu tự lưu sống lâu hơn cả cái job

Một trình soạn thảo không bao giờ tự lưu bắt bạn phải cẩn thận. Mất điện là mất cả buổi sáng. Cách chữa là lưu tự động, không cần ai nhắc, chứ không phải bắt người viết giỏi hơn.

Một run ở đây có thể bị cắt theo kiểu tôi không kiểm soát được: máy khởi động lại, process chết, mạng đứt. Nên sau mỗi lượt đã chốt, run ghi lại một trạng thái chạy tiếp được (bản ghi, kế hoạch, tool đã nạp, việc nó đang làm) vào một ô riêng của nó. Có giới hạn là cố ý, vì ghi cũng là việc: cách nhau ít nhất khoảng mười lăm giây, chậm dần khi trạng thái to ra, và nhiều nhất là ba mươi hai megabyte.

Nếu run chết mà chưa trả lời, bản lưu đó ở lại làm điểm bắt đầu tiếp của cuộc trò chuyện. Lần sau, nó đi tiếp từ lượt đã chốt cuối cùng thay vì từ số không. Chỗ này không có phép màu: không có gì tự chạy lại. Nó tiếp tục khi có thứ gì đó bảo nó tiếp, và một lượt bị cắt giữa chừng không được âm thầm chạy lại. Cái được lưu là phần suy nghĩ, không phải quyết định. Quyết định là của tôi.

07 · Subagent

Một cái bàn thứ hai, ở phòng bên

Có lúc nước đi đúng là rời khỏi phòng. Nếu một việc cần đọc bốn mươi trang để lấy một đoạn trả lời, làm ngay tại bàn là bàn tôi bị chiếm hết cả ngày. Nên tôi đưa nó cho một người có bàn riêng, và họ mang cái đoạn đó về.

Subagent là vậy. Nó được gọi với một nhiệm vụ và có lịch sử riêng: không thừa hưởng bản ghi của cha, chỉ có nhiệm vụ và phần context được đưa. Nó làm trong cửa sổ context của nó, dùng chung thiết lập model và cùng workspace, nên đọc và sửa được cùng những file đó. Xong việc, cha nhận kết quả cuối, không nhận cả quá trình.

Có hai hệ quả. Context của cha trả tiền cho câu trả lời, không trả cho phần đọc. Và không có gì bị giấu: token của subagent được tính vào mức dùng của run cha, nên trace không giả vờ là công đó rẻ. Subagent là chỗ tôi tiêu context ở nơi khác, không phải cách làm context biến mất.

08 · Bộ nhớ

Cuốn sổ không phải cái bàn to hơn

Một đầu bếp giữ một cuốn sổ: nhà này giao hàng đáng tin, khách này không ăn hải sản. Cuốn sổ không phải cái bàn. Nó không cho họ thêm chỗ để thái. Nó khiến lần sau họ bắt đầu tốt hơn.

Bộ nhớ ở đây cũng vậy. Nó sống lâu hơn run, khác context ở đúng một điểm: context là cái yêu cầu này nhìn thấy, bộ nhớ là cái sống qua nó. Nó không phải một cửa sổ to hơn. Khi có gì trong bộ nhớ thấy liên quan, nó được nhớ lại, và phần nhớ lại đến như một message trong cuộc trò chuyện, ngay trong run này, nên nó tốn context y như mọi thứ khác. Nó được lấy ra rồi đặt vào, không hòa vào phần đầu cố định.

Phần còn lại là việc nhà, kiểu tôi sẽ muốn nếu tôi là người dựa vào nó. Ký ức được giữ theo từng phạm vi, có giới hạn số còn hoạt động và một lịch sử đầy đủ cho mỗi cái; cái cũ hết hạn khi bị đọc tới; và run ghi ký ức mới sau khi xong việc suôn sẻ, như một bước có chủ đích, chứ không chen giữa lúc làm.

09 · Trace

Hoá đơn cho từng lượt

Một run dài thì vô hình trong lúc chạy. Vì thế tôi làm trace: sau khi xong, bạn thấy được model thật sự nhận gì, lượt theo lượt. Đó là cách duy nhất tôi tin được những con số phía trên.

  • Token, theo loại. Không phải một con số: bao nhiêu là input mới, bao nhiêu ghi vào cache, bao nhiêu đọc từ cache, và bao nhiêu trả về là output.
  • Tỉ lệ cache hit, cho lượt đầu và cho tất cả các lượt sau. Lượt đầu bao giờ cũng lạnh vì cache chưa có gì để khớp. Ở các lượt sau mới thấy công của phần prefix. Tôi đọc tách ra như vậy, vì một con số gộp che đúng cái tôi đang muốn kiểm.
  • Các lần compaction, kèm bao nhiêu token đưa vào, bao nhiêu trả ra, và bao nhiêu message sống sót. Nếu bản tóm tắt gần bằng cái nó thay thế, tôi muốn biết.
  • Cache hit từng lượt, để một lượt tệ lộ ra bên cạnh các lượt khác thay vì chìm vào trung bình.
  • Phần nền cố định của mọi yêu cầu: chỉ dẫn, mục lục skill, và schema từng tool, tính bằng byte. Đó là phần tôi trả trước khi model làm gì.

Các lệnh đọc cùng những dữ liệu đó. Một lệnh liệt kê các run gần đây; một lệnh cho xem dòng thời gian của một run; một lệnh bóc tách token đi đâu, tách cache hit thành lượt đầu và các lượt sau, và gọi tên cái phần nền. Khi tôi muốn biết một thay đổi có giúp gì không, tôi nhìn mấy dòng đó, không nhìn cảm giác lúc chạy.

Thử: đọc một trace03
Run A · một run, một trụcCache hit 73%
Đọc từ cacheInput mớiOutput
  • Chỉ dẫn520
  • Mục lục skill380
  • Schema tool1,500
  • Cuộc trò chuyện tới giờ16,980
  • Input mới2,820
  • Output850

Mọi thứ trước lượt này bị tính là đọc từ cache; chỉ phần đuôi mới là input giá đầy đủ. · Bấm vào một lượt để xem yêu cầu đó gồm những gì.

Đọc từ cache: 19,380Input mới: 2,820Cuộc trò chuyện tới giờ-x: 67,25022,200
10 · Một run đã đo

Hàng giờ chạy trông thế nào, bằng số

Đây là những số tôi có cho một run dài duy nhất, không phải benchmark. Tôi dẫn chúng ra vì đó là chỗ duy nhất tôi chỉ được, và tôi cũng đoán chúng sẽ còn đổi.

3,699,584token đọc từ cache
378,050token input giá đầy đủ
64,709token output
91%tỉ lệ cache hit
4lần compaction, mỗi lần đọc khoảng hai mươi nghìn token và mất chừng ba mươi lăm giây
14,879 B + 29,788 Bphần nền cố định của mọi yêu cầu: system prompt và ba mươi schema tool

Và run đó sống lâu hơn cả process tôi mở. Tôi kill nó, và nó quay lại từ checkpoint cuối. Hai tính năng kia sinh ra để lo đúng ca này.

11 · Còn tốn gì

Danh sách thật thà

Không cái nào trong số này làm context thành miễn phí. Nó chỉ chuyển cái giá tới chỗ tôi thấy được và chọn được.

Đó là cái bàn. Trên bàn có gì là một lựa chọn.

Context engineering là một thói quen hơn là một mánh: giữ phần đầu đứng yên, tiêu phần đuôi cho khéo, tóm tắt trước khi vỡ, lưu trước khi sập, và đọc trace để kiểm xem cái nào thật sự ăn thua.

Chỗ này nằm ở đâu trong mã nguồn

Bên trongỞ đâu
Yêu cầu gồm chỉ dẫn, khai báo tool và lịch sử; kế hoạch và mục tiêu là message được lưu, chỉ nối thêm; bản ghi không bị cắtdocs/runtime.md
Ngưỡng compaction, phần được gắn lại, các chốt quanh cặp tool calldocs/runtime.md
Checkpoint giữa run, điểm chạy tiếp và giới hạndocs/runtime.md
Các trường trace, cache hit, bản ghi compaction, token có trọng sốdocs/evolution.md
Nhớ lại thành message, phạm vi, cô đọng ký ứcdocs/data.md
Nạp lười tool và skillinternal/core/lazytools/lazytools.go
Dọn kết quả, hợp đồng bản tóm tắt, thay đổi trong v0.2.02ai/compaction_clear.go · 2ai/compaction_prompt.go · 2ai/CHANGELOG.md