Skip to content
Tayakorn

Context Engineering Handbook

LEVEL 0 · ปูพื้นจากศูนย์

โมเดลไม่มีความจำ — เราประกอบอะไรให้มันทุกครั้ง

บทนี้สำคัญที่สุดในเล่มครับ ถ้าพี่เข้าใจบทเดียวนี้จริง ๆ อีกสิบสามบทที่เหลือจะกลายเป็นเรื่อง "เดาได้เอง" แทบทั้งหมด

เริ่มจากเรื่องที่พี่น่าจะเคยเจอ: คุยกับ AI มาชั่วโมงหนึ่ง มันจำชื่อโปรเจกต์ได้ จำข้อตกลงเมื่อสิบนาทีที่แล้วได้ เรียกเราด้วยสรรพนามที่ขอไว้ตอนต้น — พอวันรุ่งขึ้นเปิดแชตใหม่ มันไม่รู้จักพี่เลยสักนิด

คำอธิบายที่คนส่วนใหญ่ให้คือ "มันลืม" — ซึ่งผิดครับ และผิดในทางที่ทำให้เข้าใจเรื่องอื่นผิดตามไปหมดทั้งสาย

1.1 สิ่งที่เกิดขึ้นจริงตอนกด Enter

ทุกครั้งที่พี่กด Enter สิ่งที่ถูกส่งไปหาโมเดลไม่ใช่ประโยคที่พี่เพิ่งพิมพ์ — แต่คือ ก้อนข้อความก้อนเดียว ที่ถูกประกอบขึ้นใหม่ทั้งก้อน ประกอบด้วยคำสั่งประจำตัวมัน บวกประวัติการคุยทั้งหมดตั้งแต่ข้อความแรก บวกสิ่งที่พี่เพิ่งพิมพ์ ต่อกันเป็นสายเดียว

โมเดลอ่านก้อนนั้นตั้งแต่ต้นจนจบ ทำนายคำถัดไปออกมา แล้ว ลืมทุกอย่างทันทีที่ตอบจบ · รอบถัดไปประกอบใหม่หมดอีกครั้ง คราวนี้มีคำตอบที่มันเพิ่งตอบรวมอยู่ด้วย

เทิร์นที่ 1คำสั่งประจำตัวคุณ · ข้อความที่ 1เทิร์นที่ 2คำสั่งประจำตัวคุณ · ข้อความที่ 1AI · คำตอบที่ 1คุณ · ข้อความที่ 2เทิร์นที่ 3คำสั่งประจำตัวคุณ · ข้อความที่ 1AI · คำตอบที่ 1คุณ · ข้อความที่ 2AI · คำตอบที่ 2โมเดลลืมทุกอย่างทันทีที่ตอบจบ — รอบถัดไปประกอบขึ้นใหม่ทั้งก้อน
FIG 1.1 ทุกเทิร์นคือการประกอบก้อนใหม่ทั้งก้อน — ไม่ใช่การส่งเฉพาะประโยคล่าสุด · ประวัติเก่าไม่ได้ถูก “จำไว้” แต่ถูกแนบไปด้วยซ้ำทุกรอบ

โมเดลไม่มีสถานะ ไม่มีความจำ — สิ่งเดียวที่มันมีคือก้อนข้อความที่ถูกประกอบขึ้นใหม่ทุกครั้งที่ถูกเรียก

1.2 อุปมาที่ใช้ได้ และจุดที่มันใช้ไม่ได้

ลองนึกถึงพนักงานที่เก่งมาก ประสบการณ์สูงมาก แต่ ความจำถูกล้างทุกครั้งที่เดินเข้าห้อง สิ่งเดียวที่เขามีคือแฟ้มหนึ่งใบที่วางรออยู่บนโต๊ะ

ถ้าแฟ้มนั้นมีของครบ เขาทำงานได้ยอดเยี่ยม · ถ้าแฟ้มมีแต่กระดาษเก่าปนกันมั่ว เขาก็ทำงานเหมือนคนสับสน — ไม่ใช่เพราะเขาโง่ลง แต่เพราะแฟ้มมันแย่

1.3 สามคำถามที่บทนี้เพิ่งสร้างขึ้นมา

ถ้าพี่รับความจริงข้อนี้ไปเต็ม ๆ จะมีคำถามผุดขึ้นมาทันทีสามข้อ และเล่มนี้จะไขให้ครบทั้งสาม:

  1. "ถ้ามันเห็นก้อนใหม่ทุกครั้ง แล้วทำไมมันจำเรื่องที่คุยเมื่อกี้ได้" → ไขในบทที่ 2
  2. "ถ้าส่งใหม่ทั้งก้อนทุกรอบ ค่าใช้จ่ายไม่ระเบิดเหรอ" → ไขในบทที่ 6 และคำตอบสวยกว่าที่คิด
  3. "ของที่อยู่ในก้อนแล้ว โมเดลเห็นเท่ากันหมดหรือเปล่า" → ไขในบทที่ 4 คำตอบคือ ไม่

Read the full book