จ้าง AI หกตัว อ่านหนังสือ 307 หน้า แล้วเชื่อผลได้ยังไง

เมื่อวันที่ 5 สิงหาคม เราเปิดตัวช่วย 6 ตัวพร้อมกัน แล้วส่งหนังสือเล่มเดียวให้มันอ่านคนละท่อน เป็นหนังสือวิชาการภาษาอังกฤษ 307 หน้าในฉบับที่เราอ่าน ข้างในเป็นบทความสั้นสี่สิบกว่าชิ้น กระจายอยู่ในหกบท

สิ่งที่อยากได้ปลายทางไม่ใช่บทสรุปที่อ่านเพลินแล้วจบ แต่เป็นบันทึกที่หยิบไปอ้างในงานจริงได้ มีเลขหน้ากำกับ และถ้าวันหนึ่งมีคนถามว่าเอามาจากไหน ต้องเปิดกลับไปชี้ได้

คำถามที่ตัดสินว่างานแบบนี้ใช้ได้หรือไม่ได้ จึงไม่ใช่ว่ามันสรุปสวยไหม แต่คือแล้วจะรู้ได้ยังไงว่ามันไม่ได้กุเรื่องขึ้นมา

คำตอบที่เราเจอหลังทำมาหลายเล่มคือ ความน่าเชื่อของผลอ่านไม่ได้อยู่ที่โมเดลตัวไหน แต่อยู่ที่ลำดับงานที่วางรอบตัวมัน บทความนี้เล่าลำดับนั้นทั้งห้าขั้น พร้อมจุดที่เราพลาดมาเองในแต่ละขั้น

ช่วงที่ 1งานจริงที่ทำ หนังสือหนึ่งเล่ม ตัวอ่าน 6 ตัว

ทั้ง 6 ตัวทำงานพร้อมกัน ตัวละท่อน ทั้งเล่มจึงถูกอ่านครบ 1 รอบพอดี ไม่มีหน้าไหนถูกอ่านสองครั้ง และไม่มีหน้าไหนหลุด

สิ่งที่ได้กลับมาคือบันทึกดิบหกใบที่อ้างเลขหน้าทุกจุด แล้วเราเอามาเรียบเรียงต่อเป็นเอกสารตามหัวข้ออีกห้าใบ กับหน้ารวมอีกหนึ่งใบที่ชี้ไปหาทุกอย่าง

ส่วนที่ยากที่สุดของงานนี้ไม่ใช่การอ่าน โมเดลสมัยนี้อ่านภาษาอังกฤษเชิงวิชาการได้สบายมาก ของยากคือทำให้บันทึกที่มันส่งกลับมา ตามกลับไปหาต้นทางได้ทุกบรรทัด

เส้นแบ่งอยู่ตรงคำถามเดียว คือเปิดกลับไปหาที่มาได้ไหม ถ้าเปิดไม่ได้ ผลอ่านทั้งชุดก็เป็นได้แค่ความเห็นที่เขียนสวย

ช่วงที่ 2หั่นหนังสือให้ AI อ่าน ยังไงถึงไม่พลาด

หั่นตามโครงที่ผู้เขียนวางไว้ ไม่ใช่ตามจำนวนหน้า และต้องอ่านสารบัญกับคำนำให้จบก่อนตัดสินใจหั่น สองอย่างนี้ราคาถูกที่สุดในเล่ม แต่เป็นตัวกำหนดว่าบันทึกทั้งเล่มจะมีรูโหว่ตรงไหน

Adler กับ Van Doren 2 คนที่เขียน How to Read a Book เรียกการอ่านสำรวจทั้งเล่มก่อนลงอ่านละเอียดว่า inspectional reading และยืนยันว่ามันต้องมาก่อนเสมอ ตอนอ่านเองเราอาจข้ามได้เพราะสายตากวาดสารบัญไปโดยอัตโนมัติอยู่แล้ว แต่พอส่งงานให้ตัวอ่านที่เห็นเฉพาะท่อนของตัวเอง การข้ามขั้นนี้กลายเป็นรูที่มองไม่เห็นจนกว่าจะอ่านผลจบ

เล่มก่อนหน้านั้นเราหั่นเริ่มที่หน้า 11 ของไฟล์ ด้วยเหตุผลว่าหน้าแรกๆ เป็นปกกับหน้าลิขสิทธิ์ ผลคือคำนำกับสารบัญหลุดไปทั้งก้อน ตัวอ่านจึงเขียนว่าไม่พบในท่อนนี้ ตรงหัวข้อว่าหนังสือเล่มนี้เขียนขึ้นเพื่ออะไร ทั้งที่คำตอบอยู่หน้า iv เราต้องกลับไปเติมเอง

เลขหน้าในหนังสือ กับเลขหน้าในไฟล์ ไม่ใช่เลขเดียวกัน

เล่มที่เล่าอยู่นี้ หน้าหนังสือ N ตรงกับหน้าไฟล์ N+13 เราไม่ได้เชื่อจากจุดเดียว แต่ไปตรวจที่ขอบบททั้ง 6 จุด ตรงกันหมดจึงยอมใช้

ที่ต้องตรวจหลายจุดเพราะค่าต่างนี้ไม่คงที่เสมอไป อีกเล่มหนึ่งที่เราอ่านก่อนหน้านั้น หน้า 235 ตรงกับไฟล์หน้า 246 แต่พอถึงหน้า 310 กลับตรงกับไฟล์หน้า 319 ระหว่างทางมีหน้าแทรกเพิ่มโดยไม่มีอะไรบอก

บันทึกที่อ้างเลขหน้าผิด แย่กว่าบันทึกที่ไม่มีเลขหน้าเลย เพราะอันหลังบอกตรงๆ ว่าต้องไปหาเอง ส่วนอันแรกชวนให้เชื่อแล้วพาไปผิดที่

เวลาส่งท่อนให้ตัวอ่าน เราฝังเครื่องหมายเลขหน้าลงไปในเนื้อไฟล์เลย ตัวอ่านจะได้อ้างเลขหน้าจากสิ่งที่เห็นตรงหน้า ไม่ต้องคำนวณเอง และไม่ต้องเดา

ช่วงที่ 3บรีฟที่ทำให้ตัวอ่าน ตายกลางทาง

อีกเล่มที่อ่านก่อนหน้านั้นสามวัน เราสั่งตัวอ่านว่าให้ดึงข้อความสำคัญออกมาแบบคำต่อคำ ส่งออกไป 5 ตัว ตายไปสี่

ข้อความที่ขึ้นเหมือนกันทุกตัวคือ API Error: 400 Output blocked by content filtering policy คือระบบฝั่งผู้ให้บริการบล็อกไม่ให้พ่นเนื้อหาที่มีลิขสิทธิ์ออกมายาวๆ

ห้าเล่มก่อนหน้านั้นเราใช้บรีฟแบบเดียวกันแล้วผ่านหมด สมองเลยตีความว่าเป็นดวง เราสั่งใหม่ซ้ำ แล้วก็ตายอีก กว่าจะยอมกลับไปอ่านบรีฟตัวเองก็ปล่อยไปถึงตัวที่สี่

กฎที่ได้จากรอบนั้นสั้นมาก ตัวอ่านตายซ้ำด้วยข้อความเดียวกันสองครั้ง คือสัญญาณว่าเหตุอยู่ที่บรีฟ ไม่ใช่ที่ดวง หยุดสั่งใหม่ แล้วกลับไปอ่านสิ่งที่เราเขียนสั่งมันไป

ท่าที่ใช้แทนคือสั่งให้สรุปด้วยคำของตัวเอง แล้วยกคำพูดมาสั้นๆ เฉพาะจุดที่ถ้อยคำนั้นเองสำคัญ เปิดใหม่ 6 ตัว ผ่านหมดทั้งตอนอ่านและตอนเขียน

ที่ไม่ได้คาดคือคุณภาพดีขึ้นด้วย พอต้องอ่านเพื่อเข้าใจแทนที่จะอ่านเพื่อลอก ตัวอ่านเริ่มสะดุดกับสิ่งที่ขัดกันเองในเล่ม รอบล่าสุดมันยกมา 9 จุด เช่น เกณฑ์ตัวเลขที่จุดหนึ่งเขียน 10% อีกจุดเขียน 5% แบบสอบถามที่ถูกบอกว่าอ่อนแอในหน้าหนึ่งแล้วถูกแนะนำให้ใช้ในอีกหน้า ตัวเลข 90% ที่ผู้เขียนเองวงเล็บไว้ว่าจริงๆ อยู่ระหว่าง 65 ถึง 95 และตัวอย่างคำนวณผลตอบแทนที่เลขต้นทางสองที่ไม่ตรงกัน

บรีฟที่ขอให้ลอก ได้เครื่องถ่ายเอกสาร บรีฟที่ขอให้เข้าใจ ได้ผู้อ่าน

ของที่ต้องตรงเป๊ะจริงๆ เช่น โค้ด ค่าตั้งค่า หรือรายชื่อ ยังขอแบบคำต่อคำได้ แต่ต้องระบุขอบเขตให้แคบ ไม่ใช่ขอทั้งเล่ม

ช่วงที่ 4จะรู้ได้ยังไงว่า AI ไม่ได้แต่งคำพูดขึ้นมา

เอาข้อความในเครื่องหมายคำพูดทุกอันไปเทียบกับตัวบทอ้างอิงด้วยเครื่อง ไม่ใช่อ่านผ่านตาแล้วรู้สึกว่าน่าจะถูก เกณฑ์ที่เราใช้คือ คำพูดที่ยาวตั้งแต่ 25 ตัวอักษรขึ้นไป ต้องเป็นส่วนหนึ่งของตัวบทแบบตรงทุกตัวอักษร

ก่อนเทียบต้องล้างทั้งสองฝั่งก่อน ตัดช่องว่างกับเครื่องหมายวรรคตอนออกให้หมด เพราะไฟล์ที่จัดหน้าแบบชิดขอบจะแทรกช่องว่างเพิ่มเองในบางบรรทัด ถ้าไม่ล้าง คำพูดที่ถูกต้องจะสอบตกด้วยเหตุผลที่ไม่เกี่ยวกับความถูกต้องเลย

ผลของเล่มนี้คือ 95 จาก 95 ผ่าน

แต่ละจุดติดป้ายแยกกัน ไม่ยุบเป็นเปอร์เซ็นต์เดียวทั้งเล่ม ป้ายมี 3 แบบ คือผ่านพร้อมเลขหน้า ไม่ตรงพร้อมบอกว่าต่างกันตรงไหน และหาไม่เจอในตัวบทเลย 3 แบบนี้ต้องทำต่อคนละอย่าง จึงต้องแยกกันตั้งแต่ต้น

ความคล้าย 93% ไม่ใช่ผ่าน ถ้าตั้งเปอร์เซ็นต์เป็นเกณฑ์ผ่าน คำพูดที่ถูกเติมเข้าไปหนึ่งคำก็ผ่านฉลุย ซึ่งคำเดียวนั่นแหละที่พลิกความหมายได้มากที่สุด เปอร์เซ็นต์มีประโยชน์แค่ตอนจัดลำดับของที่ตกแล้วว่าควรดูอันไหนก่อน

ช่วงที่ 5ตัวตรวจเองก็ บอกความจริงไม่ครบ

ขอยืมคำของสายทำระบบมาใช้สองคำ เขียวคือตัวตรวจรายงานว่าผ่าน แดงคือรายงานว่าไม่ผ่าน ตัวตรวจที่เขียวเพราะไม่มีปัญหา กับตัวตรวจที่เขียวเพราะมันตายอยู่ หน้าตาเหมือนกันเป๊ะ ทั้งคู่พิมพ์คำว่าผ่านออกมาเหมือนกัน

ก่อนเชื่อผลของมัน เราจึงทดสอบตัวตรวจก่อน 1 รอบด้วยของ 2 ชิ้น ชิ้นแรกคือข้อความที่คัดมาจากตัวบทอ้างอิงๆ ซึ่งต้องหาเจอ ชิ้นที่สองคือประโยคที่เราแต่งขึ้นเองและไม่มีทางอยู่ในเล่ม ซึ่งต้องหาไม่เจอ ถ้าชิ้นที่สองหาเจอ แปลว่าไม้บรรทัดหลวมตั้งแต่ต้น ผลอื่นทั้งหมดที่มันบอกก็ยังเชื่อไม่ได้

อาการที่ทำให้ตัวตรวจบอกความจริงไม่ครบ มี 5 แบบ และเราเจอครบทั้งห้าในวันเดียวกัน

1. ตัวบทอ้างอิงพัง แล้วไปกล่าวหาคนถูก รอบหนึ่งเราตรวจกับข้อความที่ได้จาก OCR ซึ่งตัดคำหายเป็นระยะ ผลออกมาว่ามันแต่งข้อความขึ้นมาเยอะผิดปกติ พอดึงตัวบทใหม่ด้วยเครื่องมือที่แม่นกว่าก็พบว่ามันถูกมาตลอด บทเรียนคือ ถ้าผลออกมาผิดเยอะผิดปกติ ให้สงสัยตัวตรวจก่อนสงสัยคนถูกตรวจ
2. หัวกระดาษแทรกกลางประโยค พอประโยคหนึ่งคาบ 2 หน้า ชื่อบทที่พิมพ์อยู่หัวกระดาษจะไปโผล่กลางคำพูดที่ถูกต้อง วิธีแก้คือล้างหัวกระดาษออกจากตัวบทอ้างอิงก่อนใช้
3. คำพูดที่ตัดต่อ จะตกโดยธรรมชาติ อันที่มีจุดไข่ปลาหรือวงเล็บเหลี่ยมคั่นอยู่ ไม่ใช่ข้อความต่อเนื่องมาตั้งแต่ต้น ต้องแยกเป็นชิ้นแล้วตรวจทีละชิ้น
4. ค้นคำเดียวแล้วสรุป เราหาคำว่า RULE 12 ในเล่มไม่เจอ เกือบสรุปว่าตัวอ่านแต่งกฎขึ้นมาเอง ที่จริงในรายการรวมท้ายบท ผู้เขียนใช้แค่เลขเปล่าว่า 12. ไม่มีคำว่า RULE นำหน้า
5. รายงานให้ตรงกับสิ่งที่วัดจริง ประโยคที่ควรเขียนคือ ไม่ตรงกับตัวบทที่เราใช้เทียบ ไม่ใช่ AI แต่งเรื่อง สองประโยคนี้ต่างกันตรงที่ประโยคแรกยอมรับว่าตัวบทอ้างอิงเองก็ผิดได้

ช่วงที่ 6งานอ่านหนังสือหนึ่งเล่ม แยกเป็นห้าขั้น แต่ละขั้นใช้อะไร

คำว่าให้ AI อ่านหนังสือ ฟังเหมือนงานเดียว แต่พอลงมือจริงมันแยกออกเป็นห้าขั้นที่ต้องการคนละอย่างกันหมด บางขั้นไม่ใช้โมเดลเลยด้วยซ้ำ ตารางนี้คือของที่ใช้จริงกับสองเล่มที่เล่ามาทั้งบทความ

เส้นแบ่งที่ใช้ตัดสินทุกช่องคือคำถามเดียว ผลของขั้นนี้ถูกเอาไปทำอะไรต่อ ถ้าไปเป็นวัตถุดิบให้ขั้นถัดไปกลั่นอีกที ใช้ตัวราคาถูกได้ ถ้าไปถึงมือคนหรือถูกใช้เป็นไม้บรรทัด ต้องเป็นตัวแม่น

แล้วผลลัพธ์เป็นยังไง

• ขั้นที่ 1 เล่มล่าสุดได้ค่าต่างของเลขหน้าเป็น +13 และตรวจซ้ำที่ขอบบททั้ง 6 จุด ตรงกันหมด ทุกเลขหน้าในบันทึกจึงเปิดกลับไปดูได้จริง
• ขั้นที่ 3 ทั้งสองเล่มอ่านครบในรอบเดียว 6 ตัวไม่มีตัวไหนล้ม และตัวอ่านของเล่มล่าสุดยกความขัดแย้งในเล่มมาให้ 9 จุดโดยไม่ได้สั่ง
• ขั้นที่ 5 คำพูดที่ยกมา 95 อัน ผ่านการเทียบกับตัวบทอ้างอิงทั้ง 95 อัน โดยไม้บรรทัดถูกทดสอบด้วยของที่ต้องหาเจอและของที่ต้องหาไม่เจอก่อนใช้วัด

ถ้าไม่ทำแบบนี้ ผลลัพธ์เป็นยังไง

ตอบจากของจริง เพราะทุกแถวในตารางข้างล่างคือรอบที่เราข้ามขั้นนั้นมาเองแล้วโดนเข้า ไม่ใช่การเดาว่าจะเกิดอะไร บางขั้นมี 2 แถวเพราะพลาดคนละแบบ และขั้นที่ 2 ไม่มีแถวเลยเพราะยังไม่เคยข้าม

อ่านตารางนี้แล้วจะเห็นรูปเดียวกันซ้ำทุกแถว การประหยัดผิดที่ ไม่ได้ทำให้งานพัง มันทำให้งานออกมาดูปกติแต่ผิด ซึ่งแพงกว่างานที่พังแล้วเห็นเลย เพราะงานที่พังเราแก้ทันที ส่วนงานที่ดูปกติเราส่งต่อไปเลย

กติกาที่เพิ่งเขียนลงเป็นลายลักษณ์อักษรหลังอ่านสองเล่มนี้จบ คือ เริ่มที่ตัวราคาถูกก่อนเสมอ ตายหรือโควตาหมดค่อยเด้งไป Claude Haiku ของที่ต้องยกมาเป๊ะไป K3 ส่วนงานเรียบเรียงกับงานตรวจอยู่ที่ตัวหลักตลอด ก่อนหน้านั้นเราเลือกเอาหน้างานทีละครั้ง ซึ่งได้ผลเหมือนกัน แต่เล่าต่อให้ใครฟังไม่ได้

ข้อสังเกตสุดท้ายของช่วงนี้ ตัวที่อ่านหนังสือ กับตัวที่ตรวจว่ามันอ่านถูกไหม ไม่ควรเป็นตัวเดียวกัน ไม่ใช่เพราะไม่ไว้ใจ แต่เพราะคนที่เพิ่งเขียนคำตอบเสร็จ เป็นคนที่มองข้อผิดของตัวเองไม่เห็นที่สุดในห้อง

ช่วงที่ 7คำถามสุดท้ายก่อนเอาไปใช้ กับ 5 ข้อ ที่ยกไปใช้ได้เลย

มีอีกขั้นหนึ่งที่คนมักข้าม เพราะมันไม่ใช่เรื่องเทคนิค

Adler เขียนไว้ว่าหนังสือเชิงปฏิบัติตัดสินกันที่คำถามว่า เรายอมรับปลายทางที่มันพาไปหรือเปล่า ไม่ใช่แค่ว่าเหตุผลในเล่มฟังขึ้นไหม

เราเอามาใช้ตรงๆ ก่อนหยิบวิธีทำงานจากเล่มที่เพิ่งอ่านมาเปลี่ยนของจริง ต้องตอบให้ได้ก่อนว่าเราอยากได้สิ่งที่มันจะปรับให้ดีขึ้นจริงไหม ถ้าตอบไม่ได้ ก็จบที่บันทึก อย่าเพิ่งเอาไปเปลี่ยนอะไร

เพราะบันทึกที่ผิดแค่ทำให้เสียเวลาอ่านรอบเดียว แต่วิธีทำงานที่รับมาทั้งที่ไม่ได้อยากได้ จะอยู่กับเราไปอีกนาน

5 ข้อที่ยกไปใช้กับงานอ่านของคุณได้เลย

1. อ่านโครงก่อนหั่น สารบัญกับคำนำเป็นของที่ราคาถูกที่สุดในเล่ม และเป็นตัวบอกว่าจะหั่นตรงไหนโดยไม่ทำใจความขาด
2. สอบเทียบเลขหน้ามากกว่า 1 จุด ค่าต่างระหว่างหน้าหนังสือกับหน้าไฟล์เปลี่ยนกลางเล่มได้ และไม่มีสัญญาณอะไรเตือนตอนมันเปลี่ยน
3. สั่งให้เข้าใจ อย่าสั่งให้ลอก ได้ทั้งงานที่รอดจากตัวกรองเนื้อหา และได้ผู้อ่านที่จับความขัดแย้งในเล่มมาให้ด้วย
4. ตรวจคำพูดด้วยเครื่อง ทีละอัน ไม่ใช่ด้วยความรู้สึกรวมๆ และอย่าใช้เปอร์เซ็นต์ความคล้ายเป็นเกณฑ์ผ่าน
5. ทดสอบตัวตรวจก่อนเชื่อผลของมัน ด้วยของที่ต้องหาเจอ คู่กับของที่ต้องหาไม่เจอ ถ้ายังไม่เคยเห็นมันขึ้นแดง ก็ยังไม่รู้ว่ามันขึ้นแดงเป็น

เริ่มจากตรงไหนดี

หยิบไฟล์ PDF ที่มีอยู่แล้วสักเล่ม ตัดมา 30 หน้า ให้ AI สรุปด้วยคำของตัวเองพร้อมยกข้อความจากเล่มมา 5 จุด แล้วทำสิ่งเดียวที่สำคัญที่สุดของทั้งกระบวนการ คือเอาทั้ง 5 จุดนั้นไปค้นในไฟล์ต้นฉบับ

ก่อนจะเชื่ออันไหน ให้แต่งประโยคปลอมขึ้นมาหนึ่งประโยคแล้วค้นด้วยวิธีเดียวกัน ถ้าประโยคปลอมหาเจอ แปลว่าวิธีค้นของเราใช้ไม่ได้ ยังไม่ต้องไปสนใจผลอันอื่นเลย ขั้นนี้ใช้เวลาไม่กี่นาที และเป็นขั้นที่คนข้ามบ่อยที่สุด

เรื่องตัวตรวจที่ขึ้นเขียวทั้งที่ไม่ได้ตรวจอะไร เราเขียนละเอียดไว้แล้วที่ เทสต์ผ่านหมดแต่ระบบพัง ส่วนงานอ่านเอกสารที่ต้องรู้ตัวว่าอ่านผิดตรงไหน อยู่ที่ OCR อ่านแม่นไม่ได้อยู่ที่โมเดล แต่อยู่ที่ระบบรู้ตัวว่าอ่านผิด และถ้าปลายทางของคุณไม่ใช่ผลอ่านครั้งเดียว แต่เป็นคลังความรู้ที่เชื่อถือได้ AI สรุปการประชุมโดยไม่กุเรื่อง ต่อจากตรงนี้พอดี

สิ่งที่เปลี่ยนไปหลังทำมาหลายเล่ม ไม่ใช่ความเชื่อว่า AI อ่านหนังสือแทนเราได้ แต่เป็นความสบายใจที่จะเปิดบันทึกของมันให้คนอื่นดู เพราะรู้ว่าทุกบรรทัดในนั้นมีที่มาให้ตามกลับไปได้

ที่มาและอ้างอิง

• Mortimer J. Adler & Charles Van Doren, How to Read a Book, Simon and Schuster 1972 (ISBN 978-0-671-21209-4) ที่มาของหลักอ่านสำรวจก่อนอ่านละเอียด และคำถามว่ายอมรับปลายทางที่มันพาไปหรือเปล่า
• ชื่อหนังสือที่เราเอาเข้ากระบวนการนี้ ขอไม่ระบุ เพราะบทความนี้เล่าเรื่องวิธีทำงาน ไม่ได้รีวิวหนังสือ สิ่งที่ต้องตรวจสอบได้คือตัวเลขกับวิธี ซึ่งอยู่ครบในบทความแล้ว
• ตัวเลขทุกตัวในบทความนี้ ทั้ง 95 จาก 95, 9 จุดที่ขัดกันเอง, 5 ตัวตาย 4, 14 จุดที่ผิดหลุดไปถึงเอกสารที่เผยแพร่แล้ว และค่าต่างของเลขหน้าสองเล่ม วัดเองจากงานจริงระหว่างวันที่ 1 ถึง 5 สิงหาคม 2026 ไม่ใช่ตัวเลขที่ยกมาจากที่อื่น