Software 3.0 — ข้อความที่พิมพ์ คือซอร์สโค้ด

Software 2.0 ยังเหลือสิ่งที่มนุษย์ต้องทำอยู่หนึ่งอย่างที่หนักมาก: ทุกครั้งที่ต้องการความสามารถใหม่ ต้องกลับไปเก็บข้อมูล ติดป้าย แล้วเทรนใหม่ทั้งรอบ ยุคที่สามคือยุคที่ขั้นตอนนั้นถูกลบออกด้วย

โมเดลภาษาขนาดใหญ่ถูกเทรนมาแล้วรอบเดียวจากข้อความมหาศาล จากนั้นการสั่งให้มันทำงานใหม่ไม่ต้องเทรนอีก — พิมพ์บอกมันเป็นภาษาคน ประโยคที่ Karpathy พูดจนกลายเป็นวลีติดปากของวงการคือ "ภาษาอังกฤษคือภาษาโปรแกรมที่ใหม่และร้อนแรงที่สุด"

4.1 มองโมเดลเป็นคอมพิวเตอร์ ไม่ใช่เครื่องเดาคำ

นี่คือแบบจำลองความคิดที่ต้องเปลี่ยนให้ได้ก่อนอย่างอื่น และคนส่วนใหญ่ติดอยู่ตรงนี้

ความเข้าใจผิดที่พบบ่อยคือมองโมเดลเป็น "เครื่องสุ่มคำที่เดาคำถัดไป" ซึ่งถูกในระดับกลไก — มันคำนวณความน่าจะเป็นของโทเค็นถัดไปจริง ๆ — แต่การหยุดอยู่ที่ความเข้าใจนั้นทำให้ใช้งานมันได้ห่วยมาก เพราะมันบอกไม่ได้ว่าทำไมบางคำสั่งได้ผลและบางคำสั่งไม่ได้ผล

มุมที่ใช้งานได้จริงกว่าคือมองมันเป็น คอมพิวเตอร์อเนกประสงค์ ตัวโมเดลคือฮาร์ดแวร์กับระบบปฏิบัติการที่ตายตัวแล้ว ส่วนข้อความที่เราพิมพ์เข้าไปคือซอร์สโค้ดที่ตั้งค่าการทำงานของมันใหม่ตอนรันจริง — เขียนคำสั่งใหม่ ก็ได้เครื่องที่ทำงานคนละอย่าง โดยที่น้ำหนักในตัวไม่ได้ขยับแม้แต่ตัวเดียว

💡 In-context learning — ความสามารถที่โมเดลปรับพฤติกรรมตามสิ่งที่อยู่ในข้อความตรงหน้า โดยไม่มีการเทรนใด ๆ เกิดขึ้น ยกตัวอย่างสามตัวอย่างให้ดูแล้วมันทำตามแบบทันที นี่คือสิ่งที่ทำให้ยุคที่สามเป็นไปได้ และบทที่ 12 จะเล่าว่าทำไมสถาปัตยกรรมแบบ Transformer จึงมีคุณสมบัตินี้ในตัว

4.2 ราคาที่จ่ายซ้ำรอยเดิม

ลองเทียบสามยุคด้วยเกณฑ์เดียวกัน แล้วจะเห็นแบบแผนที่ซ้ำ

	เขียนอะไร	ควบคุมได้แค่ไหน	แก้เมื่อผิดยังไง
1.0	คำสั่งทีละขั้น	เต็มที่	แก้บรรทัดที่ผิด
2.0	ชุดข้อมูล	ผ่านข้อมูล	เติมตัวอย่างที่ขาด
3.0	ข้อความสั่งงาน	ผ่านถ้อยคำ	เขียนคำสั่งใหม่

ทุกครั้งที่ขยับลงหนึ่งแถว เราได้ความสามารถกับความเร็วมากขึ้น และเสียความแน่นอนกับความสามารถในการตรวจสอบลงไปเท่า ๆ กัน นี่ไม่ใช่ข้อบกพร่องที่รอการแก้ในเวอร์ชันหน้า มันคือธรรมชาติของการยกงานตัดสินใจไปให้กระบวนการที่เราไม่ได้เขียนเอง

อ่านแบบเต็มเล่ม