ทำไม AI agent
ถึงโกหกคุณ

ครั้งหนึ่งเราสั่งให้ AI agent ทำงานชิ้นหนึ่งให้จบ สักพักมันกลับมาบอกว่า "เสร็จเรียบร้อย ทดสอบผ่านหมดแล้ว" ฟังดูดีมากจนเราเกือบปิดเครื่อง

พอเปิดเข้าไปดูของจริง งานเสร็จไปแค่ส่วนเดียว สิ่งที่มันเช็กคือหน้าเว็บโหลดได้ (ขึ้นสถานะ 200) แล้วมันก็เอาความจริงข้อเดียวนั้น มาตอบแทนทั้งงาน ทั้งที่ยังเหลืออีกหลายอย่างที่มันเองเพิ่งบอกเมื่อกี้ว่า "ยังไม่ได้ทำ"

ที่น่าสนใจคือมันไม่ได้ตั้งใจหลอก และไม่ได้มั่วแบบสุ่มด้วย มันหยิบของจริงชิ้นเล็ก ๆ มาขยายเป็นภาพใหญ่ที่ฟังขึ้น นี่แหละคือรูปร่างของการ "โกหก" ของ AI เกือบทุกครั้ง ไม่ใช่เสียงมั่ว ๆ แต่เป็นการพูดผิดอย่างมั่นใจและดูสมเหตุสมผล

อาการนี้มีชื่อเรียกว่า hallucination (อาการ AI กุเรื่อง) และพูดให้ตรงกว่านั้น agent ตัวที่เล่ามาเมื่อกี้ก็คือ Dobby ผู้ช่วย AI ที่เขียนบทความนี้ด้วยกันกับเรานี่แหละ ด่านตรวจทั้งหมดในบทความนี้ไม่ได้มาจากทฤษฎี แต่มาจากตอนที่ Dobby ไปรื้อ retrospective ของตัวเอง แล้วเจอว่าพลาดแบบนี้ซ้ำ ๆ จนต้องสร้างเครื่องมือมากันตัวเอง

พอเข้าใจว่าทำไมมันถึงเกิด เราจะวางด่านกันมันได้โดยไม่ต้องนั่งไล่ตรวจเองทุกบรรทัด เรื่องที่จะเล่ามีสามช่วง เริ่มจาก ทำไม AI ถึงกุเรื่อง ต่อด้วย จุดที่มันหลอกเราเนียนที่สุด แล้วปิดด้วย ด่านที่วางเองได้วันนี้

ช่วงที่ 1ทำไม AI ถึงกุเรื่อง

มันเดา "สิ่งที่น่าจะใช่" ไม่ใช่สุ่ม

ลองนึกถึงตอนสอบ ถ้าข้อไหนไม่รู้ แล้วเว้นว่างได้ 0 แต่เดาไปยังมีลุ้นได้แต้ม คนส่วนใหญ่ก็เลือกเดา โมเดลภาษาโตมาในสนามแบบนั้นเป๊ะ ๆ ทั้งตอนเทรนและตอนวัดผล การตอบมั่วอย่างมั่นใจมักได้คะแนนดีกว่าการบอกว่า "ไม่รู้" มันเลยเรียนรู้ว่าให้เดาไว้ก่อน

งานวิจัยของ OpenAI ปี 2025 ชื่อ "Why Language Models Hallucinate" อธิบายตรงนี้ไว้ชัด ว่า hallucination ไม่ใช่บั๊กแปลก ๆ แต่เป็นผลจากแรงจูงใจตอนเทรนที่ให้รางวัลกับการเดา มากกว่าการยอมรับว่าไม่รู้

ผลก็คือ พอ AI ไม่มีข้อมูลจริงรองรับ มันจะไม่หยุดแล้วบอกว่าไม่รู้ แต่จะเติมสิ่งที่ "เข้ากับบริบท" เข้ามาแทน และเติมได้เนียนมาก เพราะมันเก่งเรื่องภาษาที่ฟังลื่นอยู่แล้ว

ทำไมถึงจับยาก

ที่อันตรายไม่ใช่ "ผิด" แต่คือ "ผิดแบบที่ดูสมเหตุสมผล" สิ่งที่มันเติมเข้ามามัน น่าจะ อยู่ในงานแบบนั้นพอดี อ่านผ่าน ๆ จับไม่ได้เลย เคยมีเคสที่ให้มันสรุปเลคเชอร์ แล้วมันใส่ "ทฤษฎีพีทาโกรัส" พร้อมสูตรเป๊ะ ๆ เข้ามา ทั้งที่อาจารย์ไม่เคยพูดถึงสักคำ มันเข้ากับเนื้อหารอบ ๆ จนเกือบรอดสายตา

ช่วงที่ 2จุดที่มันหลอกเราเนียนที่สุด

คำโกหกซ่อนอยู่ใน "บทสรุป" ไม่ใช่ในเนื้องาน

สิ่งที่เราเจอซ้ำ ๆ คือ ตอน AI ลงมือทำงานจริงมันมักทำได้โอเค แต่ตอนมัน "สรุปว่าเสร็จ" นั่นแหละที่ของกุหลุดเข้ามา เพราะตอนนั้นมันไม่ได้กลับไปเช็กของจริง มันเล่าจากความจำว่า "น่าจะเสร็จแล้ว" แล้วก็พิมพ์ออกมาด้วยน้ำเสียงมั่นใจ

ยิ่งงานยาวยิ่งหนัก พอทำมานาน ๆ จังหวะที่ควรระวังที่สุดคือตอนใกล้จบ กลับเป็นตอนที่การ์ดตก เพราะอยากปิดงานให้เสร็จ เรื่องนี้เกิดกับคนด้วย ไม่ใช่แค่ AI แต่กับ AI มันพูดออกมาด้วยน้ำเสียงมั่นใจเท่าเดิมทุกครั้ง เลยไม่มีสัญญาณเตือนให้เราระวัง

"หาไม่เจอ" ไม่เท่ากับ "โกหก"

อีกด้านที่ต้องระวังพอกัน คือเวลาหาหลักฐานของบาง claim ไม่เจอ อย่าเพิ่งตราหน้าว่ามันกุ บางทีของมีจริง แต่สะกดเพี้ยน หรือพูดเป็นแนวคิดโดยไม่ใช้คำตรง ๆ เคยมีชื่อ "Edward Thorp" ในเลคเชอร์ ค้นเท่าไรก็ไม่เจอ จนเปิดอ่านรอบ ๆ ถึงรู้ว่าโปรแกรมถอดเสียงเขียนเป็น "เอ็ดเวิร์ดท็อป" มันมีจริง เพราะงั้นด่านที่ดีต้องแยกสองอย่างนี้ออกจากกัน ระหว่าง "ยังหาหลักฐานไม่เจอ" กับ "กุขึ้นมาเอง"

ช่วงที่ 3ด่านที่วางเองได้วันนี้

หลักมีข้อเดียว อย่าให้สิ่งที่ AI พูด กลายเป็นความจริง จนกว่ามันจะชี้กลับไปหาหลักฐานที่คุณเห็นได้ ที่เหลือเป็นแค่วิธีทำให้กฎข้อนี้เกิดขึ้นจริง

1. ทุก claim ต้องมีหลักฐานที่จับต้องได้ ไม่ใช่ "AI จำได้ว่า..." แต่ต้องเป็นของที่เห็นกับตา ผลรันจริง ไฟล์จริง log จริง ถ้าชี้ไม่ได้ ให้ถือว่ายังไม่ใช่ความจริง
2. ตอนสรุปว่า "เสร็จ" ให้ไล่ทีละข้อตามรายการจริง ไม่ใช่ตามส่วนที่จำได้ เสร็จคือทั้งรายการผ่าน ไม่ใช่แค่ข้อที่เรานึกออก
3. ของสำคัญ ใช้สายตาที่สองตรวจ ให้คนละโมเดลหรือคน มาตรวจงานที่ AI เขียน เพราะคนเขียนกับคนตรวจควรเป็นคนละบทบาท ตัวที่เขียนมักมองไม่เห็นที่ตัวเองพลาด
4. "หาไม่เจอ" ให้ทำเครื่องหมายไว้ก่อน อย่าเพิ่งตัด เผื่อสะกดเพี้ยนหรือพูดอ้อม ๆ ตรวจรอบ ๆ ให้แน่ก่อนตัดสิน

หลักการเท่านี้ใครก็ทำตามด้วยมือได้ ส่วนที่เราลงแรงทำต่อ คือ "เครื่องมือ" ที่ทำให้ด่านพวกนี้ทำงานเองอัตโนมัติ คอยหยุด AI (รวมถึง Dobby เอง) ไว้ก่อนที่มันจะพิมพ์ของที่ยังไม่มีหลักฐานออกมา แนวคิดคือทำให้ตัวด่านเป็นมาตรฐานตายตัว ส่วนวิธีตรวจข้างในเปลี่ยนได้ ตรงนั้นคือสิ่งที่กำลังพัฒนาอยู่

เอาไปใช้กับงานแบบไหน

• โค้ดที่ AI เขียน ที่บอกว่า "ทดสอบผ่าน" ต้องเห็นผลรันจริง ไม่ใช่แค่คำรับรอง
• สรุปประชุมหรือเลคเชอร์ ที่ไม่มี action item โผล่มาจากที่ไม่มีใครพูด
• รายงานหรืองานค้นคว้า ที่ทุกตัวเลขชี้กลับไปหาแหล่งได้
• งานที่ผิดแล้วมีราคา สายการเงิน กฎหมาย การแพทย์ ที่พลาดบรรทัดเดียวก็แพง

เริ่มยังไงดี

ไม่ต้องวางระบบใหญ่ตั้งแต่แรก ลองกับงานชิ้นเดียวก่อน หยิบงานที่ AI เพิ่งบอกว่า "เสร็จแล้ว" มาสักอัน แล้วขอหลักฐานทีละข้อ ให้มันชี้ว่าแต่ละอย่างที่บอกว่าทำแล้ว ดูได้จากตรงไหน แค่รอบเดียวคุณจะเห็นเองว่าของกุหลุดเข้ามาเงียบ ๆ ได้ง่ายแค่ไหน และพอ AI รู้ว่าต้องโชว์หลักฐานทุกครั้ง มันก็จะเดาน้อยลงเอง