โมเดลถูกที่ลองผิดได้ ชนะโมเดลแพง ที่ห้ามพลาด

เวลามีบั๊กยากๆ ที่ต้องแกะหลายไฟล์ สัญชาตญาณแรกคือหยิบโมเดลที่แพงและฉลาดที่สุดมาใช้ ให้มันคิดรอบเดียวจบ เพราะเชื่อว่าของแพงกว่าย่อมพลาดน้อยกว่า เราเคยเชื่อแบบนั้นเป๊ะ จนกระทั่งลองวัดของจริง แล้วตัวเลขมันพลิกความเชื่อทั้งอัน

เราเอาโมเดลสองตัวมาแข่งกันบนงานเดียวกัน ตัวแพง (Opus) ยิงนัดเดียว กับตัวถูกกว่า (Sonnet) ที่วนแก้ได้สามรอบ โจทย์คือบั๊กที่จงใจฝังให้ยากด้วยกลไก ไม่ใช่แค่คลุมเครือ มีทั้งบั๊กสองชั้น (แก้ตัวแรกเสร็จ ตัวที่สองค่อยโผล่) บั๊กที่เทสต์ชี้ผิดจุด และสัญญาข้ามไฟล์ที่การแก้มักง่ายๆ จะทำให้เทสต์อื่นแดง ทุกข้อพิสูจน์แล้วว่าการแก้แบบผิวเผินยังแดงอยู่ แล้วเราตัดสินด้วยการรันชุดเทสต์เองทุกช่อง ไม่เชื่อรายงานของเอเจนต์ (agent) เอง

ช่วงที่ 1ผลที่ออกมา ไม่เข้าใครออกใคร

บนบั๊กยากหกข้อ ผลเป็นแบบนี้

• Opus ยิงนัดเดียว ผ่าน 6/6 แต่จ่ายแพงกว่าตัวถูก 3.76 เท่า
• Sonnet ยิงนัดเดียว ผ่านแค่ 4/6 จ่ายราว 2.5 เท่า แพงกว่าและแพ้ด้วย
• Sonnet ที่วนได้สามรอบ ผ่าน 6/6 เท่า Opus แต่จ่ายแค่ 1 เท่า ใช้โทเคนไปครึ่งล้าน เทียบกับ Opus ที่ล้านกว่า

พูดง่ายๆ คือตัวถูกที่มีสิทธิ์แก้ตัว ทำงานเสร็จเท่าตัวแพง ในราคาไม่ถึงหนึ่งในสาม และรอบก่อนหน้านั้น เราลองบนงานที่ง่ายกว่าสิบข้อ ปรากฏว่าโจทย์ยังไม่ยากพอจะได้ใช้การวนเลย Sonnet แก้จบตั้งแต่รอบแรกทุกข้อ ส่วน Opus ก็ยังจ่ายเกินสองเท่าครึ่งเพื่อผลลัพธ์ที่เท่ากันอยู่ดี

ช่วงที่ 2หลักฐาน ที่ชี้ขาด

ถ้าเรื่องจบแค่ "วนถูกกว่า" มันก็แค่คุ้มค่า แต่มีตัวเลขหนึ่งที่แปลกกว่านั้น และมันคือหัวใจของเรื่องทั้งหมด

Sonnet ที่ยิงนัดเดียว ใช้โทเคนมากกว่า Sonnet ที่วนสามรอบ (1.21 ล้าน เทียบกับ 0.49 ล้าน) แต่ได้ผลแย่กว่า (4/6 เทียบกับ 6/6) โมเดลตัวเดียวกันแท้ๆ โจทย์ชุดเดียวกันแท้ๆ ต่างกันแค่เรื่องเดียวคือ มีสิทธิ์ลองผิดได้ไหม

ตัวที่ห้ามพลาด กลับใช้เงินมากกว่า และคุณภาพต่ำกว่า นั่นแปลว่าการวนไม่ได้แค่ประหยัด มันคือของที่ดีกว่าจริง ที่ถูกกว่าด้วย เป็นดีลที่ไม่ควรมีอยู่ในหลักเศรษฐศาสตร์ปกติ

ช่วงที่ 3ทำไม มันถึงเป็นแบบนี้

เหตุผลที่การวนชนะ ไม่ใช่ "วนแล้วโมเดลฉลาดขึ้น" มันโง่เท่าเดิมทุกรอบ สิ่งที่เปลี่ยนคือกลยุทธ์ของมัน

พอบังคับให้ตอบถูกตั้งแต่นัดแรก โมเดลไม่มีทางรู้ว่าคำตอบถูกไหมจนกว่าจะส่ง มันเลยต้องซื้อความมั่นใจด้วยการตรวจสอบในหัวแบบละเอียดยิบ ก่อนกล้าตอบ ในการทดลองจริง มีเอเจนต์ตัวหนึ่งไปนั่งไล่อ่านทุกโมดูลที่เทสต์เรียกใช้ทั้งสามสิบเอ็ดตัว แล้วเทียบตรรกะกับสิ่งที่เทสต์คาดหวังทีละบรรทัดด้วยมือ หมดไป 248,000 โทเคน อีกตัวหมดไป 257,000 สุดท้ายก็ยังตอบผิดอยู่ดี

พอให้ยิงได้สามนัดโดยมีชุดเทสต์คอยบอกถูกผิด กลยุทธ์เปลี่ยนทันที มันตั้งสมมติฐานเร็วๆ ส่งไปลองเลย แล้วปล่อยให้ความจริงเป็นคนตัดสิน ผิดก็รู้ทันทีว่าผิดตรงไหน แก้แล้วยิงใหม่ ได้ผล 6/6 ที่โทเคนสี่สิบเปอร์เซ็นต์ของอีกทาง

หลักที่ได้จากตรงนี้พูดได้ประโยคเดียว

การมีตัวตรวจให้ยิงได้ คือใบอนุญาตให้ "คิดถูก" แบบถูกเงิน

ต้นทุนที่แท้จริงของคำสั่ง "ห้ามพลาด" คือการตรวจสอบในหัว ซึ่งทั้งแพงกว่าและเชื่อถือได้น้อยกว่าการรันเทสต์จริงหนึ่งครั้ง เราไปจ่ายเงินให้โมเดลเดาว่าตัวเองถูกไหม ทั้งที่ปล่อยให้เครื่องบอกได้ฟรีและแม่นกว่า

ช่วงที่ 4เอาไปใช้ ยังไง

กติกาที่กลั่นออกมามีสามข้อ และข้อสุดท้ายสำคัญที่สุด

1. งานที่มีตัวตรวจถูกผิดได้จริง (ชุดเทสต์ที่รันได้ ตัวเลขที่กระทบยอดได้ ลินต์) ค่าตั้งต้นควรเป็น "โมเดลถูก บวกสิทธิ์วน N รอบ" ไม่ใช่ "อัปเป็นโมเดลแพง" ประหยัดราวสี่เท่าบนงานยาก และสองเท่าครึ่งบนงานง่าย ที่คุณภาพเท่ากัน
2. บอกมันตรงๆ ว่าวนได้ ประโยคเดียวในคำสั่งเปลี่ยนกลยุทธ์จาก "ตรวจในหัวให้ชัวร์ก่อนตอบ" เป็น "ลองแล้ววัด" และนั่นแหละคือที่มาของทั้งเงินและความถูกต้องที่ประหยัดไป
3. และเป็นเส้นที่ห้ามข้าม งานที่ไม่มีตัวตรวจ (งานเขียน งานตัดสินใจ งานสังเคราะห์) ห้ามใช้กติกานี้เด็ดขาด การวนโดยไม่มีอะไรบอกถูกผิด คือการวนผลิตขยะเพิ่มขึ้นเรื่อยๆ เราพิสูจน์ด้านกลับนี้มาแล้วในการทดลองอีกชุด โมเดลเล็กที่วนโดยไม่มีตัวตรวจ แพ้ยับ ตัวตรวจที่แข็งแรงต่างหากที่ทำให้การวนกลายเป็นข้อได้เปรียบ ไม่ใช่ตัวการวนเอง

การวนจึงไม่ใช่เวทมนตร์ที่ใส่ไปแล้วดีขึ้นเสมอ มันคือกลไกที่ทำงานเมื่อมีความจริงคอยตัดสินอยู่ปลายทาง ถ้าไม่มีเส้นชัยที่วัดได้ การวิ่งซ้ำก็แค่วิ่งวน

ครั้งหน้าที่จะหยิบโมเดลแพงที่สุดมาแก้บั๊กยาก ลองถามตัวเองก่อนหนึ่งคำถาม งานนี้มีตัวตรวจถูกผิดได้ไหม ถ้ามี ลองให้โมเดลที่ถูกกว่าได้แก้ตัวสักสามรอบ แล้ววัดดู มีโอกาสสูงที่จะได้งานเท่ากันในราคาที่ต่างกันหลายเท่า ของแพงไม่ได้แปลว่าคุ้มเสมอ บางทีสิ่งที่คุ้มที่สุดคือการยอมให้มันผิดได้สักครั้งสองครั้ง แล้วให้ความจริงเป็นคนสอน

อ่านต่อในซีรีส์: เลือกโมเดล Claude ตัวไหนให้งานไหน · ตัวตรวจที่ไม่เคยแดง พิสูจน์อะไรไม่ได้