Skip to content
Tayakorn

คู่มือ Transformer — ลบทุกอย่าง เหลือแค่กราฟ

LEVEL 4 · ระดับเทพ

ทำไมสถาปัตยกรรมนี้กินรวบทุกสาขา

ถึงเวลาไขปริศนาที่ปลูกไว้ในบทที่ 1: ถ้าการลบความรู้ของมนุษย์ออกควรทำให้แย่ลง ทำไมผลกลับดีขึ้น

คำตอบคือ Transformer เก่งสามด้านนี้พร้อมกัน และคำว่าพร้อมกันคือทั้งหมดของเรื่อง เพราะสถาปัตยกรรมก่อนหน้านี้เก่งได้สองในสามข้อ ไม่เคยครบสาม

12.1 ข้อหนึ่ง — แสดงออกได้กว้าง (expressive)

กราฟที่โน้ดทุกตัวส่งข้อมูลถึงกันได้อย่างอิสระ สามารถแสดงรูปแบบการคำนวณได้กว้างมาก และคุณสมบัติที่น่าทึ่งที่สุดคือ in-context learning จากบทที่ 4 — ความสามารถปรับพฤติกรรมตามตัวอย่างในข้อความโดยไม่มีการเทรน

มีงานวิจัยที่เสนอว่าสิ่งที่เกิดขึ้นภายในนั้นคล้ายกับการมีกระบวนการเรียนรู้ย่อย ๆ เกิดขึ้นในตัวการคำนวณเอง ระหว่างที่ข้อมูลไหลผ่านชั้นต่าง ๆ พูดอีกอย่างคือ ตอนออกแบบเราตั้งใจให้มันเรียนตอนเทรน แต่มันดันได้ความสามารถในการเรียนตอนใช้งานมาแถมด้วย

ที่ทำให้ข้อเสนอนี้น่าคิดคือรูปร่างของสมการมันพ้องกันพอดี ชั้นหนึ่งชั้นของ Transformer คือ x = x + ส่วนแก้ ซึ่งคุณพิสูจน์ด้วยมือไปแล้วในบทที่ 11 ส่วนการเรียนรู้ด้วยการไล่ลาดชันก็คือ น้ำหนักใหม่ = น้ำหนักเดิม + ส่วนแก้ เหมือนกัน — ต่างกันแค่ว่าอันหนึ่งแก้ที่ข้อมูลระหว่างไหลผ่านชั้น อีกอันแก้ที่น้ำหนักระหว่างเทรน

12.2 ข้อสอง — เทรนขึ้น (optimizable)

ข้อนี้คุณพิสูจน์ด้วยมือแล้วในบทที่ 11 คำว่า True บรรทัดนั้น: ค่าเริ่มต้นของทุกชั้นคือไม่ทำอะไร บวกกับ layer norm ที่คุมสเกลไม่ให้ตัวเลขระเบิดหรือดับ ผลคือสัญญาณย้อนกลับวิ่งผ่านโมเดลลึกได้โดยไม่หายไปกลางทาง

ประวัติศาสตร์ตรงนี้น่าคิด — ปัญหา "เทรนโมเดลลึกไม่ขึ้น" ถูกแก้ไปแล้วในงานด้านภาพก่อนหน้านั้นหลายปี ทีมปี 2017 ไม่ได้คิดใหม่ พวกเขาหยิบของที่พิสูจน์แล้วมาประกอบ และนั่นคือส่วนที่คนมักมองข้ามเวลาเล่าเรื่องนี้

12.3 ข้อสาม — ฮาร์ดแวร์ที่โลกมีอยู่ ชอบรูปทรงนี้พอดี

ข้อนี้คือข้อที่ไม่ค่อยมีใครพูด และมันอาจสำคัญที่สุด

ไล่ลำดับ (LSTM)ลึกและยาว — ต้องรอกันเองt1t2t3t2 เริ่มไม่ได้จนกว่า t1 จะเสร็จเพิ่มคอร์ก็ไม่ช่วยมองหากันพร้อมกัน (Transformer)ตื้นและกว้าง — คำนวณขนานได้t1t2t3t4t5หนึ่งชั้น จบพร้อมกันทุกตำแหน่งเพิ่มการ์ดจอแล้วเร็วขึ้นตามจริงจึงขยายขนาดได้ และความฉลาดตามมาจากขนาด
FIG 12.1 รูปทรงฝั่งขวาคือรูปทรงเดียวกับที่การ์ดจอทำได้เร็วที่สุด — นี่คือเหตุผลข้อที่สาม และเป็นข้อที่ทำให้การขยายขนาดเป็นไปได้จริง

LSTM ต้องประมวลผลทีละคำตามลำดับเวลา คำที่สิบต้องรอคำที่เก้าเสร็จก่อน กราฟการคำนวณของมันจึงเป็นเส้นยาวและลึก ซึ่งบังคับให้ทำงานแบบเรียงลำดับ เอาคอร์เป็นพันมาช่วยก็ไม่ได้ เพราะงานมันรอกันเอง

Transformer ตรงข้าม ทุกโทเค็นถูกคำนวณพร้อมกันหมดในหนึ่งชั้น กราฟของมันจึงเป็น ตื้นและกว้าง ซึ่งเป็นรูปทรงเดียวกับที่การ์ดจอถูกออกแบบมาให้ทำ — คำนวณเรื่องเดียวกันหลายพันชุดพร้อมกัน

ผลที่ตามมาคือสิ่งที่เปลี่ยนโลก: มันขยายขนาดได้ เพิ่มข้อมูล เพิ่มพารามิเตอร์ เพิ่มการ์ดจอ แล้วมันเก่งขึ้นตามอย่างที่คาดเดาได้ ในขณะที่สถาปัตยกรรมแบบเรียงลำดับตันอยู่ที่เพดานของเวลาที่ต้องรอกันเอง

Transformer ไม่ได้ชนะเพราะฉลาดที่สุดในทางทฤษฎี มันชนะเพราะเป็นสถาปัตยกรรมที่ใช้ฮาร์ดแวร์ที่เรามีอยู่ได้เต็มที่ที่สุด แล้วความฉลาดตามมาจากขนาด

12.4 กินรวบทุกสาขาด้วยท่าเดียว — หั่นเป็นชิ้นแล้วโยนใส่

ชื่อบทนี้บอกว่ามันกินรวบทุกสาขา แต่ยังไม่ได้บอกว่าทำยังไง คำตอบเรียบง่ายจนน่าตกใจ: ไม่ต้องออกแบบสถาปัตยกรรมใหม่เลย แค่หั่นข้อมูลของสาขานั้นให้เป็นชิ้น ๆ แล้วส่งเข้าไปเป็นโหนดในกราฟ

สาขาหั่นอะไรเป็นโหนด
ภาพตัดภาพเป็นช่องสี่เหลี่ยมเล็ก ๆ แต่ละช่องคือหนึ่งโหนด
เสียงตัดสเปกโทรแกรมตามแกนเวลาเป็นชิ้น ๆ
การตัดสินใจเป็นลำดับมองสถานะ การกระทำ และรางวัล เป็นลำดับเหมือนคำในประโยค

นี่คือเหตุผลว่าทำไมกำแพงระหว่างสาขาที่เล่าไว้ในบทที่ 7 ถึงพังลง — ไม่ใช่เพราะมีใครสร้างสะพานข้ามมัน แต่เพราะทุกสาขาถูกแปลให้พูดภาษาเดียวกันคือ "ลำดับของชิ้นข้อมูล" แล้วเครื่องมือตัวเดียวก็ใช้ได้หมด ความรู้เฉพาะทางที่แต่ละวงการสะสมมาหลายสิบปีจึงถูกลบออกอีกชั้นหนึ่ง ตรงกับแถวที่สองในตารางบทที่ 1 พอดี

12.5 กลับไปที่ตารางในบทที่ 1

ตอนนี้ตารางสี่แถวนั้นควรอ่านไม่เหมือนเดิมแล้ว การลบแต่ละครั้งไม่ใช่การทิ้งความรู้ทิ้งเปล่า ๆ มันคือการเปลี่ยนสิ่งที่มนุษย์กำหนดตายตัว ให้เป็นสิ่งที่ข้อมูลกับการคำนวณเติมเข้ามาได้ และสิ่งที่ทำให้การแลกนี้คุ้มคือข้อสาม — เพราะเรามีเครื่องที่คำนวณขนานได้มหาศาลอยู่ในมือ

นี่คือเหตุผลที่ประโยคว่า "ลบทุกอย่าง เหลือแค่กราฟ" ไม่ใช่คำเท่ ๆ มันคือคำอธิบายทางวิศวกรรมที่ตรงตัว: เหลือกราฟไว้ เพราะกราฟคือรูปทรงที่ขยายขนาดได้

💡 สิ่งที่คู่มือเล่มนี้ไม่ได้ตอบ — เล่มนี้อธิบายว่าสถาปัตยกรรมทำงานยังไงและทำไมมันชนะ แต่ไม่ได้ตอบว่าทำไมการขยายขนาดแล้วได้ความสามารถที่ไม่มีใครสั่งไว้ (เช่นการให้เหตุผลหลายขั้น) ซึ่งยังเป็นคำถามเปิดของวงการจริง ๆ ไม่ใช่เรื่องที่มีคำตอบแล้วแต่เล่มนี้ตัดออก


อ่านต่อ: เล่มนี้เล่ากลไกข้างในโมเดล ส่วนบันไดสาย AI เล่าวิธีใช้มัน เดินได้ทั้งบันไดโดยไม่ต้องกลับมาที่เล่มนี้ และกลับกันก็ได้ — เริ่มที่ Prompt 0 → Hero สำหรับการเขียนคำสั่งให้ได้ผลตามที่บทที่ 5 วางพื้นไว้ · ต่อด้วย Context Engineering ว่าอะไรควรอยู่ตรงหน้าโมเดล ณ วินาทีที่มันถูกเรียก · แล้วปิดที่ Harness Engineering ที่ผ่ากลไกรอบนอกของโมเดลทั้งตัว

คู่มือ Transformer — ลบทุกอย่าง เหลือแค่กราฟ — ทำไมการถอนข้อสมมติของมนุษย์ออกทีละชั้น กลับทำให้เครื่องเก่งขึ้น สำหรับคนที่ใช้ AI เป็นแล้วอยากรู้ว่าข้างในมันทำงานยังไง

ส่วนหนึ่งของ Handbooks — เขียนเพื่อเข้าใจ ไม่ใช่เพื่อท่องจำ · โดย @tayakorn221 · 2026

If this was useful —buy me a coffee

Read the full book