Kỹ thuật bối cảnh: công việc trước lời nhắc
· 9 min read · Filippo Spinella · AI, Agents, Prompting, Developer Tools
Từ ngữ hiện tại, trong thế giới nhỏ bé của các tác nhân AI, là kỹ thuật bối cảnh.
Có vẻ như lại có một nhãn hiệu khác được phát minh ra để bán thứ mà chúng tôi đã làm. Một phần là vậy. Tuy nhiên, như thường lệ, cái nhãn này được mọi người chú ý vì nó đặt tên cho một nỗi đau thực sự.
Điều đau đớn là thế này: các người mẫu không thất bại chỉ vì họ "không nghĩ". Họ thường thất bại vì chúng tôi cử họ đi làm nhầm phòng.
Chúng tôi cung cấp cho họ những hướng dẫn cũ. Chúng tôi giấu các tập tin quan trọng với anh ấy. Chúng tôi chuyển cho họ những tài liệu quá dài và không nói điều gì quan trọng. Chúng tôi hiển thị cho họ nhật ký mà không cần ưu tiên. Chúng tôi cung cấp cho họ mười công cụ mà không giải thích khi nào nên sử dụng chúng. Sau đó, chúng tôi ngạc nhiên nếu người đại diện di chuyển như một người thức dậy trong một căn hộ không xác định.
Lời nhắc là cụm từ bạn nói với nó. Bối cảnh là thế giới bạn chuẩn bị xung quanh nó.
Từ kỹ thuật nhắc nhở đến kỹ thuật bối cảnh
Kỹ thuật nhanh chóng thường được coi là văn bản. Chọn từ phù hợp, hỏi đúng cách, thêm ví dụ, ghi rõ dạng thức.
Kỹ thuật bối cảnh gần với kiến trúc hơn.
Bạn không chỉ hỏi "làm cách nào để hình thành yêu cầu?". Nó hỏi:
- thông tin nào thực sự cần thiết?
- tiếng ồn là gì?
- những gì cần được phục hồi nhanh chóng?
- điều gì cần phải nhớ?
- những công cụ nào nên được tiếp xúc?
- hướng dẫn nào ổn định và hướng dẫn nào phụ thuộc vào nhiệm vụ?
- làm cách nào để người đại diện hiểu thế nào là có thẩm quyền?
Đó là một sự thay đổi tinh tế nhưng rất lớn. Bởi vì khi bạn làm việc với các tác nhân, ngữ cảnh không phải là một khối tĩnh. Nó thay đổi ở mỗi bước.
Tác nhân mở một tệp, tìm hiểu điều gì đó, chạy thử nghiệm, nhận lỗi, cập nhật gói, gọi công cụ, phát hiện ra phần phụ thuộc. Với mỗi vòng đua, anh ấy phải quyết định nên mang theo thứ gì và bỏ lại thứ gì.
Đây là kỹ thuật.
Bối cảnh không phải là bãi rác
Các mẫu có cửa sổ ngữ cảnh lớn đã cám dỗ chúng tôi: hãy đưa mọi thứ vào.
Điều đó có thể hiểu được. Nếu tôi có một triệu token thì tại sao tôi phải chọn?
Bởi vì ngay cả khi bạn có thể bỏ mọi thứ vào thì không có nghĩa là mọi thứ đều có ích. Quả thực, tiếng ồn có cái giá của nó. Nó tốn token, tốn sự chú ý, tốn độ trễ, tốn chất lượng. Một người mẫu có thể bị lạc vào những chi tiết không liên quan giống như chúng ta khi mở 20 tab và không còn nhớ lý do tại sao.
Bối cảnh tốt có hệ thống phân cấp:
- hướng dẫn và chính sách hệ thống;
- mục tiêu cụ thể;
- hiện trạng;
- dữ liệu liên quan;
- hạn chế;
- các công cụ có sẵn;
- theo dõi các quyết định đã được đưa ra.
Không cần thiết phải đối xử với mọi thứ ở cùng một mức độ. Một lệnh của người dùng có giá trị hơn một ghi chú cũ. Một cuộc thử nghiệm thất bại giờ đây có giá trị hơn một sở thích thẩm mỹ từ ba tháng trước. Một chính sách bảo mật có giá trị hơn một lối tắt sản xuất.
Kỹ thuật bối cảnh cũng có nghĩa là đưa ra trọng số chứ không chỉ dữ liệu.
Trí nhớ: nhớ ít hơn, nhớ tốt hơn
Bộ nhớ trong các đại lý là một trong những chủ đề khó nắm bắt nhất.
Với tư cách là người dùng, bạn muốn đại lý biết đến bạn. Bạn muốn anh ấy nhớ lại giọng điệu, kế hoạch, quy ước, những điều đã được quyết định. Là một kỹ sư, bạn biết rằng mọi ký ức dai dẳng cũng là một rủi ro: nó có thể sai, cũ, quá riêng tư, quá chung chung, không thể xác minh được.
Một trí nhớ hữu ích phải có ít nhất ba phẩm chất:
- xuất xứ: thông tin này đến từ đâu?
- ngày: nó đúng khi nào?
- mục đích: nó nên được sử dụng cho loại nhiệm vụ nào?
Không có ba điều này, trí nhớ sẽ trở thành mê tín.
Tôi thích coi trí nhớ tác nhân như một cuốn sách bài tập, không phải như một bộ óc kỳ diệu. Có những ghi chú tạm thời, những quyết định đã được xác nhận, những ưu tiên về phong cách, những hạn chế về mặt kỹ thuật, những liên kết đến các nguồn. Một số thứ hết hạn. Một số cần phải được viết lại. Một số phải bị loại bỏ vì tác nhân đã suy luận sai về chúng.
Một hệ thống tốt phải đảm bảo việc bảo trì này diễn ra bình thường. Không anh hùng.
Truy xuất và công cụ không giống nhau
Khi nói về bối cảnh, chúng ta thường kết thúc ngay với RAG. Nhúng, cơ sở dữ liệu vector, phân đoạn, sắp xếp lại.
Tất cả đều hữu ích. Nhưng việc truy xuất chỉ là một cách để đưa thông tin vào mô hình. Anh ấy không phải là người duy nhất.
Tác nhân có thể lấy ngữ cảnh bằng cách đọc tệp, truy vấn API, gọi máy chủ MCP, mở trình duyệt, chạy thử nghiệm, tìm kiếm Slack, xem bảng điều khiển, hỏi con người.
Phần thú vị là quyết định sử dụng tuyến đường nào và khi nào.
Nếu tác nhân cần trả lời một câu hỏi lịch sử, có lẽ chỉ cần truy xuất là đủ. Nếu anh ta phải sửa một lỗi, anh ta phải đọc mã thực. Nếu anh ta cần hiểu lý do tại sao việc triển khai không thành công, anh ta cần xem xét nhật ký mới. Nếu bạn cần viết thư cho khách hàng, bạn cần truy xuất âm báo, lịch sử và trạng thái của phiếu. Nếu phải sản xuất thì phải xin phép.
Bối cảnh không phải là một cơ sở dữ liệu. Đó là một quy trình làm việc.
##Đại lý giỏi cũng biết cách bỏ qua
Dấu hiệu của sự trưởng thành ở các đại lý là khả năng nói: Tôi không cần thông tin này.
Tưởng chừng như tầm thường nhưng lại rất khó khăn. Nhiều hệ thống đại lý tích lũy. Mỗi lệnh gọi công cụ sẽ thêm văn bản. Mọi lỗi vẫn còn trong bộ đệm. Mỗi tập tin được đọc sẽ thêm vào ngăn xếp. Cuối cùng, mô hình này có lịch sử rất lâu đời và không có bản đồ.
Nén là cần thiết. Tổng hợp trung gian là cần thiết. Nó cần phải được cấu trúc.
Không phải "tất cả những gì đã xảy ra", mà là:
- mục tiêu vẫn còn giá trị;
- giả thuyết hiện tại;
- các tập tin đã được kiểm tra;
- các quyết định được đưa ra;
- rủi ro mở;
- hành động tiếp theo
Điều này làm cho tác nhân bớt kịch tính hơn và hữu ích hơn. Không phải vì anh ấy có vẻ thông minh hơn mà vì anh ấy làm việc với một chiếc bàn ngăn nắp.
Kỹ thuật bối cảnh dành cho nhóm, không dành cho nghệ sĩ nhắc nhở
Lý do chủ đề này khiến tôi quan tâm là vì nó chuyển trách nhiệm từ cá nhân sang hệ thống.
Trong kỹ thuật nhanh chóng, người có thể nói chuyện với mô hình tốt nhất thường chiến thắng. Trong kỹ thuật ngữ cảnh, nhóm tổ chức công việc của mình tốt nhất sẽ giành chiến thắng: tài liệu, quy ước, vấn đề, nhật ký, kiểm tra, quyền sở hữu, đặt tên, nguồn.
Một kho lưu trữ sạch sẽ trở thành một bối cảnh tốt hơn. Một vấn đề được viết tốt sẽ trở thành nhiên liệu tốt hơn. Một runbook được cập nhật giúp tiết kiệm token và sự lo lắng. Nhật ký thay đổi rõ ràng làm giảm ảo giác.
Đây là tin tốt và có phần không thoải mái. Đẹp vì nó khen thưởng những thực hành tốt. Bất tiện vì bạn không thể giải quyết mọi việc bằng một lời nhắc thông minh.
Các đặc vụ khuếch đại tính vệ sinh của hệ thống mà họ tìm thấy.
Ngày mai tôi sẽ áp dụng nó như thế nào
Nếu tôi muốn giới thiệu kỹ thuật ngữ cảnh vào một dự án thực tế, tôi sẽ bắt đầu từ những việc nhỏ:
- một tập tin hướng dẫn dự án ngắn gọn và được lưu giữ;
- ví dụ tốt về kết quả mong đợi;
- danh sách các công cụ có sẵn và các trường hợp sử dụng chúng;
- các quyết định kiến trúc được viết theo cách có thể trích dẫn;
- vấn đề với bối cảnh bắt buộc tối thiểu;
- dễ dàng truy xuất nhật ký và kiểm tra;
- bộ nhớ liên tục có thể sửa đổi được bởi con người.
Sau đó, tôi sẽ đo lường một điều đơn giản: người đại diện phải yêu cầu làm rõ bao nhiêu lần hoặc đi sai hướng?
Nếu điều đó xảy ra thường xuyên, tôi sẽ không thêm mô hình lớn hơn ngay. Tôi sẽ nhìn vào bối cảnh.
Bài đọc của tôi
Đúng vậy, kỹ thuật bối cảnh là một từ hơi cồng kềnh. Nhưng khái niệm này là đúng đắn.
Nó nhắc nhở chúng ta rằng trí thông minh của một đặc vụ không chỉ có ở mô hình. Nó nằm ở môi trường mà chúng ta chuẩn bị cho anh ta: anh ta nhìn thấy gì, nhớ gì, anh ta có thể làm gì, anh ta bị cấm làm gì, những nguồn nào anh ta thừa nhận là đúng.
Phần con người là thế này: chuẩn bị tốt bối cảnh là một hình thức chăm sóc. Nó đang nói với người đại diện cũng như cả nhóm rằng: "Tôi không muốn bạn đoán, tôi muốn bạn có thứ bạn cần."
Ít phép thuật hơn. Phòng sạch hơn. Các đại lý cũng cần nó nhiều như chúng tôi.