งานที่สดที่สุดในหัว จะแย่งพื้นที่ คำตอบถัดไป

วันที่ 29 กรกฎาคม ครึ่งเช้าเราไล่บั๊กระบบเฝ้าระวังของตัวเอง ตัวที่คอยดูว่างานเบื้องหลังยังเดินอยู่ไหม ปรากฏว่ามันตายไปสิบวันโดยไม่มีใครรู้ เพราะสัญญาณที่มันส่งกลับมาขึ้นเขียวตลอด คือรายงานว่าปกติดี ไม่มีอะไรต้องดู

ตอนบ่ายเปลี่ยนเรื่อง เราขอให้ผู้ช่วย AI ที่ทำงานด้วยกันช่วยคิดว่า คอร์สสอนคิดและทำงานร่วมกับ AI ควรสอนอะไร และควรชื่อว่าอะไร

สิ่งที่ได้กลับมาคือแกนคอร์สชื่อ ระบบงานที่ตรวจได้ พร้อมตารางบทเรียนครบทุกบท แต่ละบทมีตัวอย่างของจริงประกอบ และตัวอย่างของจริงทั้งหมดนั้นมาจากงานที่เพิ่งทำเสร็จตอนเช้า ทั้งที่คำขอตอนบ่ายไม่มีคำว่าตรวจสอบอยู่เลยสักคำ

ช่วงที่ 1คำตอบที่ดูดี แต่ตอบคนละคำถาม

ถ้าเอาแกนคอร์สที่ได้มาวางบนโต๊ะแล้วอ่านเฉย ๆ มันผ่านทุกข้อ โครงเป็นระเบียบ เรียงจากง่ายไปยาก แต่ละบทมีเหตุผลว่าทำไมต้องอยู่ตรงนั้น และมีเคสจริงประกอบครบ ไม่มีอะไรกุขึ้นมา

สิ่งที่ผิดจึงไม่ใช่คุณภาพ มันตอบคำถามอื่น คำขอที่ตั้งไว้ตั้งแต่ประโยคแรกคือ อยากสอนวิธีคิดร่วมกับ AI ด้วยเครื่องมือที่ใช้จริง และอยากให้คนเรียนเอาไปต่อยอดสร้างระบบของตัวเองได้ ไม่มีคำว่าการตรวจสอบอยู่ในนั้น

คนที่จับได้คือเราเองในฐานะคนตั้งโจทย์ สิ่งที่สะดุดคือแกนที่วางมาไม่ได้มาจากคำขอ แต่มาจากงานที่เพิ่งทำเสร็จในรอบเดียวกัน

ถ้าปล่อยผ่านไป คอร์สทั้งคอร์สจะถูกวางบนแกนที่ไม่ใช่สิ่งที่เราอยากสอน และกว่าจะรู้ก็คือตอนที่คนเรียนจ่ายเงินมาแล้วไม่ได้สิ่งที่มาหา

ช่วงที่ 2ทำไมอาการนี้ จับยากกว่าบั๊ก

วันเดียวกันนั้นเราพลาดอีกครั้งด้วยกลไกเดียวกัน ตอนเช้าไล่หาสาเหตุที่สคริปต์พัง แล้วฟันธงจากบรรทัดที่ดูน่าสงสัยที่สุด ลบบรรทัดนั้นออกก็ยังพังเหมือนเดิม สาเหตุจริงอยู่คนละที่

รูปเดียวกันทั้งสองครั้งคือ หยิบของที่ใกล้มือที่สุดมาแล้วเชื่อว่ามันเกี่ยวข้อง ต่างกันแค่ตอนเช้าใกล้มือคือบรรทัดที่เพิ่งอ่าน ตอนบ่ายใกล้มือคืองานที่เพิ่งทำ

แต่แบบตอนบ่ายอันตรายกว่า เพราะบั๊กมีสภาพที่ตรวจได้ ลบบรรทัดที่สงสัยออกแล้วรันใหม่ ห้าวินาทีก็รู้ว่าเดาผิด ส่วนคำตอบที่ตอบคนละคำถามไม่มีคำสั่งไหนรันแล้วขึ้นแดง มันเรียบร้อยดีทุกด้านที่วัดได้ ยกเว้นด้านเดียวที่ไม่มีเครื่องมือวัด คือมันตรงกับสิ่งที่คนถามขอมาหรือเปล่า

และมันเนียนขึ้นอีกชั้นเพราะเราตีความว่านี่คือความต่อเนื่อง ทำงานเรื่องนี้มาทั้งเช้า พอมีคำถามใหม่เข้ามาก็รู้สึกว่าเชื่อมกันได้พอดี ความรู้สึกว่าเชื่อมกันได้นั่นแหละคืออาการ ไม่ใช่หลักฐาน

ช่วงที่ 3prompt engineering กับ context engineering ไม่ใช่ตัวเดียวกัน

เวลาคนบอกว่าถามให้ดีขึ้นสิ ส่วนใหญ่หมายถึงงานกับข้อความรอบล่าสุด เขียนคำสั่งให้ชัด ระบุรูปแบบที่อยากได้ ใส่ตัวอย่างให้ดู นั่นคือ prompt engineering และมันช่วยได้จริงกับปัญหาที่เกิดจากคำสั่งกำกวม

แต่เคสข้างบนคำสั่งไม่ได้กำกวมเลย คำสั่งชัดมาก สิ่งที่ทำให้เพี้ยนคือของที่อยู่ในห้องอยู่แล้วตอนคำสั่งนั้นมาถึง บทสนทนาครึ่งวันเรื่องระบบเฝ้าระวังยังอยู่ในหน้าต่างเดียวกัน โมเดลไม่ได้เดามั่ว มันหยิบวัตถุดิบที่มีอยู่ตรงหน้ามาใช้ ซึ่งเป็นสิ่งที่เราอยากให้มันทำในกรณีอื่นเกือบทั้งหมด

นี่คือเส้นแบ่งที่ใช้ได้จริง

• prompt engineering ตอบคำถามว่า รอบนี้เราสั่งว่าอะไร
• context engineering ตอบคำถามว่า ตอนที่สั่ง มีอะไรอยู่ในห้องบ้าง และอันไหนควรอยู่

ปัญหาที่แก้ด้วยการเขียนคำสั่งใหม่ให้ดีขึ้น มักเป็นปัญหาแบบแรก ส่วนปัญหาที่ยิ่งเขียนคำสั่งละเอียดยิ่งได้คำตอบเดิมกลับมาในรูปที่เนียนขึ้น มักเป็นปัญหาแบบที่สอง เพราะวัตถุดิบที่มันหยิบใช้ไม่ได้เปลี่ยน

ทางแก้ของแบบที่สองจึงไม่ใช่พิมพ์ให้เก่งขึ้น แต่คือย้ายเรื่องใหม่ออกไปคุยในหน้าต่างใหม่ หรือประกาศให้ชัดว่าอะไรในบทสนทนานี้ไม่เกี่ยวกับคำถามถัดไป

ช่วงที่ 4ทวนคำขอ ด้วยคำของคนถาม

วิธีที่เราใช้อยู่ตอนนี้ใช้เวลาประมาณสิบวินาที และไม่ต้องใช้เครื่องมืออะไรเลย

1. เขียนคำขอออกมาหนึ่งประโยค ด้วยคำของคนถาม ไม่ใช่คำที่เราสรุปเอง เช่น อยากได้คอร์สที่สอนวิธีคิดร่วมกับ AI แล้วเอาไปต่อยอดเป็นระบบของตัวเองได้ ถ้าเขียนไม่ออกแปลว่ายังไม่ได้อ่านคำขอ กำลังอ่านความเข้าใจของตัวเองอยู่
2. วางคำตอบที่กำลังจะให้ ไว้ข้างประโยคนั้น แล้วถามตรง ๆ ว่านี่ตอบประโยคนี้ หรือตอบเรื่องที่เราถนัดกว่า
3. ใช้เกณฑ์จับตัวเองข้อเดียว ถ้าแกนของคำตอบอ้างอิงงานสองชั่วโมงที่ผ่านมา ทั้งที่คำถามไม่ได้พูดถึงงานนั้นเลย นั่นคือสัญญาณ ไม่ใช่ความต่อเนื่อง

ข้อสามใช้ได้ดีเพราะมันวัดได้โดยไม่ต้องเถียงเรื่องรสนิยม ไม่ได้ถามว่าคำตอบดีไหม ถามแค่ว่าวัตถุดิบมาจากไหน

และมันใช้กับคนได้เหมือนกัน ที่ประชุมซึ่งเพิ่งคุยเรื่องหนึ่งมาชั่วโมงหนึ่ง แล้วมีคนโยนคำถามใหม่เข้ามา คำตอบแรกที่ทุกคนในห้องนึกออกมักมีรูปร่างเหมือนชั่วโมงที่ผ่านมา ไม่ใช่เหมือนคำถาม

เรื่องนี้ต่างจากบทเรียนสายตรวจสอบตรงที่แก้ด้วยการรันคำสั่งเพิ่มไม่ได้เลย เพราะในทางเทคนิคไม่มีอะไรผิด ตัวที่จับได้คือการเทียบคำตอบกับคำขอเป็นคำต่อคำ ก่อนลงมือ ไม่ใช่หลังจากสร้างเสร็จแล้วค่อยมาถามว่าใช่ไหม

ถ้ากำลังจัดว่างานไหนให้ AI ตัดสินเองได้และงานไหนต้องผ่านคนก่อน อ่านต่อได้ที่ human in the loop แบบสามระดับ ซึ่งเป็นอีกครึ่งของเรื่องเดียวกัน คือจะปล่อยแค่ไหนถึงจะยังคุมทิศได้