ลบอะไรออก แล้วมันเก่งขึ้น

บทนี้สำคัญที่สุดในเล่ม ถ้าเข้าใจคำถามเดียวในบทนี้ อีกสิบเอ็ดบทที่เหลือจะกลายเป็นเรื่องที่ "เดาได้" แทนที่จะต้องท่องจำ

ประวัติศาสตร์ของปัญญาประดิษฐ์มักถูกเล่าเป็นเรื่องของการ เพิ่ม — เพิ่มข้อมูล เพิ่มชั้นในโมเดล เพิ่มการ์ดจอ ซึ่งไม่ผิด แต่มันเล่าไม่ครบและทำให้พลาดใจความ เพราะทุกครั้งที่วงการก้าวกระโดดจริง ๆ สิ่งที่เกิดขึ้นคือมีการลบของบางอย่างที่มนุษย์ประดิษฐ์ไว้ด้วยมือออกไป

ลองดูสี่จังหวะสำคัญเรียงกัน แล้วสังเกตว่าคอลัมน์ซ้ายคือของที่มนุษย์เคยภูมิใจว่าออกแบบเอง

จังหวะ	ลบอะไรออก	เหลืออะไรให้เครื่องเรียนเอง
Software 1.0 → 2.0	อัลกอริทึมที่มนุษย์เขียนทีละขั้น	ข้อมูล + กระบวนการหาค่าที่เหมาะสม
ก่อนปี 2012 → หลัง	ตัวอธิบายลักษณะเฉพาะทางที่ทำมือ	ชั้นในเครือข่ายที่หาลักษณะเอง
LSTM → ปี 2017	การไล่ลำดับทีละคำ	การมองหากันเองระหว่างทุกตำแหน่ง
Software 2.0 → 3.0	รอบการเทรนโมเดล	ข้อความที่พิมพ์เข้าไปตอนใช้งาน

FIG 1.1 — ทุกจังหวะที่ก้าวไปข้างหน้า มีของที่มนุษย์ทำด้วยมือถูกลบออกหนึ่งชั้น — และสิ่งที่มนุษย์ยังต้องเขียน (บรรทัดล่างในกล่อง) สั้นลงเรื่อย ๆ

สังเกตว่าทุกแถวเป็นเรื่องเดียวกัน: มนุษย์ยอมถอนสมมติฐานที่ตัวเองใส่เข้าไป แล้วปล่อยที่ว่างนั้นให้ข้อมูลกับการคำนวณเติมแทน ชื่อของการบรรยายที่เล่มนี้เรียบเรียงมาคือ "Delete Everything, Keep Graph" — ลบทุกอย่าง เหลือแค่กราฟ ซึ่งเป็นการสรุปทั้งเรื่องไว้ในสี่คำ

การก้าวกระโดดของ AI แต่ละครั้ง คือการลบข้อสมมติของมนุษย์ออกหนึ่งชั้น

แต่คำถามที่แสบกว่าและยังไม่ได้ตอบคือ ทำไมลบแล้วดีขึ้น ถ้าความรู้ที่มนุษย์ใส่เข้าไปมีประโยชน์ การถอนออกก็ควรทำให้แย่ลงสิ ไม่ใช่ดีขึ้น

คำตอบมีสามข้อและมันเกี่ยวพันกันอย่างที่คาดไม่ถึง — ข้อหนึ่งเกี่ยวกับสิ่งที่โมเดลแสดงออกได้ ข้อสองเกี่ยวกับความง่ายในการเทรน และข้อสามเกี่ยวกับรูปร่างของฮาร์ดแวร์ที่เราบังเอิญมีอยู่ในโลกนี้ เล่มนี้จะยังไม่ตอบตรงนี้ เพราะจะเข้าใจจริงได้ต้องเห็นกลไกก่อน ปริศนานี้ถูกไขในบทที่ 12 และบทที่ 9 กับ 11 จะเตรียมของให้ครบก่อนถึงตรงนั้น

💡 โทเค็น (token) — คำที่จะโผล่ทั้งเล่ม หมายถึงชิ้นข้อความที่โมเดลมองเป็นหนึ่งหน่วย ไม่ใช่ตัวอักษรและไม่ใช่คำเสมอไป ประโยคหนึ่งจะถูกหั่นเป็นโทเค็นหลายชิ้นก่อนเข้าโมเดล เวลาเห็นคำนี้ให้นึกถึง "ชิ้นข้อความหนึ่งชิ้น" ไว้ก่อน

อ่านแบบเต็มเล่ม