จ้าง AI หกตัว อ่านหนังสือ 307 หน้า แล้วเชื่อผลได้ยังไง

เมื่อวันที่ 5 สิงหาคม เราเปิดตัวช่วยหกตัวพร้อมกัน แล้วส่งหนังสือเล่มเดียวให้มันอ่านคนละท่อน เป็นหนังสือวิชาการภาษาอังกฤษ 307 หน้าในฉบับที่เราอ่าน ข้างในเป็นบทความสั้นสี่สิบกว่าชิ้น กระจายอยู่ในหกบท

สิ่งที่อยากได้ปลายทางไม่ใช่บทสรุปที่อ่านเพลินแล้วจบ แต่เป็นบันทึกที่หยิบไปอ้างในงานจริงได้ มีเลขหน้ากำกับ และถ้าวันหนึ่งมีคนถามว่าเอามาจากไหน ต้องเปิดกลับไปชี้ได้

คำถามที่ตัดสินว่างานแบบนี้ใช้ได้หรือไม่ได้ จึงไม่ใช่ว่ามันสรุปสวยไหม แต่คือแล้วจะรู้ได้ยังไงว่ามันไม่ได้กุเรื่องขึ้นมา

คำตอบที่เราเจอหลังทำมาหลายเล่มคือ ความน่าเชื่อของผลอ่านไม่ได้อยู่ที่โมเดลตัวไหน แต่อยู่ที่ลำดับงานที่วางรอบตัวมัน บทความนี้เล่าลำดับนั้นทั้งห้าขั้น พร้อมจุดที่เราพลาดมาเองในแต่ละขั้น

ช่วงที่ 1งานจริงที่ทำ หนังสือหนึ่งเล่ม ตัวอ่านหกตัว

ทั้งหกตัวทำงานพร้อมกัน ตัวละท่อน ทั้งเล่มจึงถูกอ่านครบหนึ่งรอบพอดี ไม่มีหน้าไหนถูกอ่านสองครั้ง และไม่มีหน้าไหนหลุด

สิ่งที่ได้กลับมาคือบันทึกดิบหกใบที่อ้างเลขหน้าทุกจุด แล้วเราเอามาเรียบเรียงต่อเป็นเอกสารตามหัวข้ออีกห้าใบ กับหน้ารวมอีกหนึ่งใบที่ชี้ไปหาทุกอย่าง

ส่วนที่ยากที่สุดของงานนี้ไม่ใช่การอ่าน โมเดลสมัยนี้อ่านภาษาอังกฤษเชิงวิชาการได้สบายมาก ของยากคือทำให้บันทึกที่มันส่งกลับมา ตามกลับไปหาต้นทางได้ทุกบรรทัด

เส้นแบ่งอยู่ตรงคำถามเดียว คือเปิดกลับไปหาที่มาได้ไหม ถ้าเปิดไม่ได้ ผลอ่านทั้งชุดก็เป็นได้แค่ความเห็นที่เขียนสวย

ช่วงที่ 2หั่นหนังสือให้ AI อ่าน ยังไงถึงไม่พลาด

หั่นตามโครงที่ผู้เขียนวางไว้ ไม่ใช่ตามจำนวนหน้า และต้องอ่านสารบัญกับคำนำให้จบก่อนตัดสินใจหั่น สองอย่างนี้ราคาถูกที่สุดในเล่ม แต่เป็นตัวกำหนดว่าบันทึกทั้งเล่มจะมีรูโหว่ตรงไหน

Adler กับ Van Doren สองคนที่เขียน How to Read a Book เรียกการอ่านสำรวจทั้งเล่มก่อนลงอ่านละเอียดว่า inspectional reading และยืนยันว่ามันต้องมาก่อนเสมอ ตอนอ่านเองเราอาจข้ามได้เพราะสายตากวาดสารบัญไปโดยอัตโนมัติอยู่แล้ว แต่พอส่งงานให้ตัวอ่านที่เห็นเฉพาะท่อนของตัวเอง การข้ามขั้นนี้กลายเป็นรูที่มองไม่เห็นจนกว่าจะอ่านผลจบ

เล่มก่อนหน้านั้นเราหั่นเริ่มที่หน้า 11 ของไฟล์ ด้วยเหตุผลว่าหน้าแรกๆ เป็นปกกับหน้าลิขสิทธิ์ ผลคือคำนำกับสารบัญหลุดไปทั้งก้อน ตัวอ่านจึงเขียนว่าไม่พบในท่อนนี้ ตรงหัวข้อว่าหนังสือเล่มนี้เขียนขึ้นเพื่ออะไร ทั้งที่คำตอบอยู่หน้า iv เราต้องกลับไปเติมเอง

เลขหน้าในหนังสือ กับเลขหน้าในไฟล์ ไม่ใช่เลขเดียวกัน

เล่มที่เล่าอยู่นี้ หน้าหนังสือ N ตรงกับหน้าไฟล์ N+13 เราไม่ได้เชื่อจากจุดเดียว แต่ไปตรวจที่ขอบบททั้งหกจุด ตรงกันหมดจึงยอมใช้

ที่ต้องตรวจหลายจุดเพราะค่าต่างนี้ไม่คงที่เสมอไป อีกเล่มหนึ่งที่เราอ่านก่อนหน้านั้น หน้า 235 ตรงกับไฟล์หน้า 246 แต่พอถึงหน้า 310 กลับตรงกับไฟล์หน้า 319 ระหว่างทางมีหน้าแทรกเพิ่มโดยไม่มีอะไรบอก

บันทึกที่อ้างเลขหน้าผิด แย่กว่าบันทึกที่ไม่มีเลขหน้าเลย เพราะอันหลังบอกตรงๆ ว่าต้องไปหาเอง ส่วนอันแรกชวนให้เชื่อแล้วพาไปผิดที่

เวลาส่งท่อนให้ตัวอ่าน เราฝังเครื่องหมายเลขหน้าลงไปในเนื้อไฟล์เลย ตัวอ่านจะได้อ้างเลขหน้าจากสิ่งที่เห็นตรงหน้า ไม่ต้องคำนวณเอง และไม่ต้องเดา

ช่วงที่ 3บรีฟที่ทำให้ตัวอ่าน ตายกลางทาง

อีกเล่มที่อ่านก่อนหน้านั้นสามวัน เราสั่งตัวอ่านว่าให้ดึงข้อความสำคัญออกมาแบบคำต่อคำ ส่งออกไปห้าตัว ตายไปสี่

ข้อความที่ขึ้นเหมือนกันทุกตัวคือ API Error: 400 Output blocked by content filtering policy คือระบบฝั่งผู้ให้บริการบล็อกไม่ให้พ่นเนื้อหาที่มีลิขสิทธิ์ออกมายาวๆ

ห้าเล่มก่อนหน้านั้นเราใช้บรีฟแบบเดียวกันแล้วผ่านหมด สมองเลยตีความว่าเป็นดวง เราสั่งใหม่ซ้ำ แล้วก็ตายอีก กว่าจะยอมกลับไปอ่านบรีฟตัวเองก็ปล่อยไปถึงตัวที่สี่

กฎที่ได้จากรอบนั้นสั้นมาก ตัวอ่านตายซ้ำด้วยข้อความเดียวกันสองครั้ง คือสัญญาณว่าเหตุอยู่ที่บรีฟ ไม่ใช่ที่ดวง หยุดสั่งใหม่ แล้วกลับไปอ่านสิ่งที่เราเขียนสั่งมันไป

ท่าที่ใช้แทนคือสั่งให้สรุปด้วยคำของตัวเอง แล้วยกคำพูดมาสั้นๆ เฉพาะจุดที่ถ้อยคำนั้นเองสำคัญ เปิดใหม่หกตัว ผ่านหมดทั้งตอนอ่านและตอนเขียน

ที่ไม่ได้คาดคือคุณภาพดีขึ้นด้วย พอต้องอ่านเพื่อเข้าใจแทนที่จะอ่านเพื่อลอก ตัวอ่านเริ่มสะดุดกับสิ่งที่ขัดกันเองในเล่ม รอบล่าสุดมันยกมา 9 จุด เช่น เกณฑ์ตัวเลขที่จุดหนึ่งเขียน 10% อีกจุดเขียน 5% แบบสอบถามที่ถูกบอกว่าอ่อนแอในหน้าหนึ่งแล้วถูกแนะนำให้ใช้ในอีกหน้า ตัวเลข 90% ที่ผู้เขียนเองวงเล็บไว้ว่าจริงๆ อยู่ระหว่าง 65 ถึง 95 และตัวอย่างคำนวณผลตอบแทนที่เลขต้นทางสองที่ไม่ตรงกัน

บรีฟที่ขอให้ลอก ได้เครื่องถ่ายเอกสาร บรีฟที่ขอให้เข้าใจ ได้ผู้อ่าน

ของที่ต้องตรงเป๊ะจริงๆ เช่น โค้ด ค่าตั้งค่า หรือรายชื่อ ยังขอแบบคำต่อคำได้ แต่ต้องระบุขอบเขตให้แคบ ไม่ใช่ขอทั้งเล่ม

ช่วงที่ 4จะรู้ได้ยังไงว่า AI ไม่ได้แต่งคำพูดขึ้นมา

เอาข้อความในเครื่องหมายคำพูดทุกอันไปเทียบกับตัวบทอ้างอิงด้วยเครื่อง ไม่ใช่อ่านผ่านตาแล้วรู้สึกว่าน่าจะถูก เกณฑ์ที่เราใช้คือ คำพูดที่ยาวตั้งแต่ 25 ตัวอักษรขึ้นไป ต้องเป็นส่วนหนึ่งของตัวบทแบบตรงทุกตัวอักษร

ก่อนเทียบต้องล้างทั้งสองฝั่งก่อน ตัดช่องว่างกับเครื่องหมายวรรคตอนออกให้หมด เพราะไฟล์ที่จัดหน้าแบบชิดขอบจะแทรกช่องว่างเพิ่มเองในบางบรรทัด ถ้าไม่ล้าง คำพูดที่ถูกต้องจะสอบตกด้วยเหตุผลที่ไม่เกี่ยวกับความถูกต้องเลย

ผลของเล่มนี้คือ 95 จาก 95 ผ่าน

แต่ละจุดติดป้ายแยกกัน ไม่ยุบเป็นเปอร์เซ็นต์เดียวทั้งเล่ม ป้ายมีสามแบบ คือผ่านพร้อมเลขหน้า ไม่ตรงพร้อมบอกว่าต่างกันตรงไหน และหาไม่เจอในตัวบทเลย สามแบบนี้ต้องทำต่อคนละอย่าง จึงต้องแยกกันตั้งแต่ต้น

ความคล้าย 93% ไม่ใช่ผ่าน ถ้าตั้งเปอร์เซ็นต์เป็นเกณฑ์ผ่าน คำพูดที่ถูกเติมเข้าไปหนึ่งคำก็ผ่านฉลุย ซึ่งคำเดียวนั่นแหละที่พลิกความหมายได้มากที่สุด เปอร์เซ็นต์มีประโยชน์แค่ตอนจัดลำดับของที่ตกแล้วว่าควรดูอันไหนก่อน

ช่วงที่ 5ตัวตรวจเองก็ บอกความจริงไม่ครบ

ขอยืมคำของสายทำระบบมาใช้สองคำ เขียวคือตัวตรวจรายงานว่าผ่าน แดงคือรายงานว่าไม่ผ่าน ตัวตรวจที่เขียวเพราะไม่มีปัญหา กับตัวตรวจที่เขียวเพราะมันตายอยู่ หน้าตาเหมือนกันเป๊ะ ทั้งคู่พิมพ์คำว่าผ่านออกมาเหมือนกัน

ก่อนเชื่อผลของมัน เราจึงทดสอบตัวตรวจก่อนหนึ่งรอบด้วยของสองชิ้น ชิ้นแรกคือข้อความที่คัดมาจากตัวบทอ้างอิงๆ ซึ่งต้องหาเจอ ชิ้นที่สองคือประโยคที่เราแต่งขึ้นเองและไม่มีทางอยู่ในเล่ม ซึ่งต้องหาไม่เจอ ถ้าชิ้นที่สองหาเจอ แปลว่าไม้บรรทัดหลวมตั้งแต่ต้น ผลอื่นทั้งหมดที่มันบอกก็ยังเชื่อไม่ได้

อาการที่ทำให้ตัวตรวจบอกความจริงไม่ครบ มีห้าแบบ และเราเจอครบทั้งห้าในวันเดียวกัน

1. ตัวบทอ้างอิงพัง แล้วไปกล่าวหาคนถูก รอบหนึ่งเราตรวจกับข้อความที่ได้จาก OCR ซึ่งตัดคำหายเป็นระยะ ผลออกมาว่ามันแต่งข้อความขึ้นมาเยอะผิดปกติ พอดึงตัวบทใหม่ด้วยเครื่องมือที่แม่นกว่าก็พบว่ามันถูกมาตลอด บทเรียนคือ ถ้าผลออกมาผิดเยอะผิดปกติ ให้สงสัยตัวตรวจก่อนสงสัยคนถูกตรวจ
2. หัวกระดาษแทรกกลางประโยค พอประโยคหนึ่งคาบสองหน้า ชื่อบทที่พิมพ์อยู่หัวกระดาษจะไปโผล่กลางคำพูดที่ถูกต้อง วิธีแก้คือล้างหัวกระดาษออกจากตัวบทอ้างอิงก่อนใช้
3. คำพูดที่ตัดต่อ จะตกโดยธรรมชาติ อันที่มีจุดไข่ปลาหรือวงเล็บเหลี่ยมคั่นอยู่ ไม่ใช่ข้อความต่อเนื่องมาตั้งแต่ต้น ต้องแยกเป็นชิ้นแล้วตรวจทีละชิ้น
4. ค้นคำเดียวแล้วสรุป เราหาคำว่า RULE 12 ในเล่มไม่เจอ เกือบสรุปว่าตัวอ่านแต่งกฎขึ้นมาเอง ที่จริงในรายการรวมท้ายบท ผู้เขียนใช้แค่เลขเปล่าว่า 12. ไม่มีคำว่า RULE นำหน้า
5. รายงานให้ตรงกับสิ่งที่วัดจริง ประโยคที่ควรเขียนคือ ไม่ตรงกับตัวบทที่เราใช้เทียบ ไม่ใช่ AI แต่งเรื่อง สองประโยคนี้ต่างกันตรงที่ประโยคแรกยอมรับว่าตัวบทอ้างอิงเองก็ผิดได้

ช่วงที่ 6งานอ่านหนังสือหนึ่งเล่ม แยกเป็นห้าขั้น แต่ละขั้นใช้อะไร

คำว่าให้ AI อ่านหนังสือ ฟังเหมือนงานเดียว แต่พอลงมือจริงมันแยกออกเป็นห้าขั้นที่ต้องการคนละอย่างกันหมด บางขั้นไม่ใช้โมเดลเลยด้วยซ้ำ ตารางนี้คือของที่ใช้จริงกับสองเล่มที่เล่ามาทั้งบทความ

เส้นแบ่งที่ใช้ตัดสินทุกช่องคือคำถามเดียว ผลของขั้นนี้ถูกเอาไปทำอะไรต่อ ถ้าไปเป็นวัตถุดิบให้ขั้นถัดไปกลั่นอีกที ใช้ตัวราคาถูกได้ ถ้าไปถึงมือคนหรือถูกใช้เป็นไม้บรรทัด ต้องเป็นตัวแม่น

แล้วผลลัพธ์เป็นยังไง

• ขั้นที่ 1 เล่มล่าสุดได้ค่าต่างของเลขหน้าเป็น +13 และตรวจซ้ำที่ขอบบททั้งหกจุด ตรงกันหมด ทุกเลขหน้าในบันทึกจึงเปิดกลับไปดูได้จริง
• ขั้นที่ 3 ทั้งสองเล่มอ่านครบในรอบเดียว หกตัวไม่มีตัวไหนล้ม และตัวอ่านของเล่มล่าสุดยกความขัดแย้งในเล่มมาให้ 9 จุดโดยไม่ได้สั่ง
• ขั้นที่ 5 คำพูดที่ยกมา 95 อัน ผ่านการเทียบกับตัวบทอ้างอิงทั้ง 95 อัน โดยไม้บรรทัดถูกทดสอบด้วยของที่ต้องหาเจอและของที่ต้องหาไม่เจอก่อนใช้วัด

ถ้าไม่ทำแบบนี้ ผลลัพธ์เป็นยังไง

ตอบจากของจริง เพราะทุกแถวในตารางข้างล่างคือรอบที่เราข้ามขั้นนั้นมาเองแล้วโดนเข้า ไม่ใช่การเดาว่าจะเกิดอะไร บางขั้นมีสองแถวเพราะพลาดคนละแบบ และขั้นที่ 2 ไม่มีแถวเลยเพราะยังไม่เคยข้าม

อ่านตารางนี้แล้วจะเห็นรูปเดียวกันซ้ำทุกแถว การประหยัดผิดที่ ไม่ได้ทำให้งานพัง มันทำให้งานออกมาดูปกติแต่ผิด ซึ่งแพงกว่างานที่พังแล้วเห็นเลย เพราะงานที่พังเราแก้ทันที ส่วนงานที่ดูปกติเราส่งต่อไปเลย

กติกาที่เพิ่งเขียนลงเป็นลายลักษณ์อักษรหลังอ่านสองเล่มนี้จบ คือ เริ่มที่ตัวราคาถูกก่อนเสมอ ตายหรือโควตาหมดค่อยเด้งไป Claude Haiku ของที่ต้องยกมาเป๊ะไป K3 ส่วนงานเรียบเรียงกับงานตรวจอยู่ที่ตัวหลักตลอด ก่อนหน้านั้นเราเลือกเอาหน้างานทีละครั้ง ซึ่งได้ผลเหมือนกัน แต่เล่าต่อให้ใครฟังไม่ได้

ข้อสังเกตสุดท้ายของช่วงนี้ ตัวที่อ่านหนังสือ กับตัวที่ตรวจว่ามันอ่านถูกไหม ไม่ควรเป็นตัวเดียวกัน ไม่ใช่เพราะไม่ไว้ใจ แต่เพราะคนที่เพิ่งเขียนคำตอบเสร็จ เป็นคนที่มองข้อผิดของตัวเองไม่เห็นที่สุดในห้อง

ช่วงที่ 7คำถามสุดท้ายก่อนเอาไปใช้ กับห้าข้อ ที่ยกไปใช้ได้เลย

มีอีกขั้นหนึ่งที่คนมักข้าม เพราะมันไม่ใช่เรื่องเทคนิค

Adler เขียนไว้ว่าหนังสือเชิงปฏิบัติตัดสินกันที่คำถามว่า เรายอมรับปลายทางที่มันพาไปหรือเปล่า ไม่ใช่แค่ว่าเหตุผลในเล่มฟังขึ้นไหม

เราเอามาใช้ตรงๆ ก่อนหยิบวิธีทำงานจากเล่มที่เพิ่งอ่านมาเปลี่ยนของจริง ต้องตอบให้ได้ก่อนว่าเราอยากได้สิ่งที่มันจะปรับให้ดีขึ้นจริงไหม ถ้าตอบไม่ได้ ก็จบที่บันทึก อย่าเพิ่งเอาไปเปลี่ยนอะไร

เพราะบันทึกที่ผิดแค่ทำให้เสียเวลาอ่านรอบเดียว แต่วิธีทำงานที่รับมาทั้งที่ไม่ได้อยากได้ จะอยู่กับเราไปอีกนาน

ห้าข้อที่ยกไปใช้กับงานอ่านของคุณได้เลย

1. อ่านโครงก่อนหั่น สารบัญกับคำนำเป็นของที่ราคาถูกที่สุดในเล่ม และเป็นตัวบอกว่าจะหั่นตรงไหนโดยไม่ทำใจความขาด
2. สอบเทียบเลขหน้ามากกว่าหนึ่งจุด ค่าต่างระหว่างหน้าหนังสือกับหน้าไฟล์เปลี่ยนกลางเล่มได้ และไม่มีสัญญาณอะไรเตือนตอนมันเปลี่ยน
3. สั่งให้เข้าใจ อย่าสั่งให้ลอก ได้ทั้งงานที่รอดจากตัวกรองเนื้อหา และได้ผู้อ่านที่จับความขัดแย้งในเล่มมาให้ด้วย
4. ตรวจคำพูดด้วยเครื่อง ทีละอัน ไม่ใช่ด้วยความรู้สึกรวมๆ และอย่าใช้เปอร์เซ็นต์ความคล้ายเป็นเกณฑ์ผ่าน
5. ทดสอบตัวตรวจก่อนเชื่อผลของมัน ด้วยของที่ต้องหาเจอ คู่กับของที่ต้องหาไม่เจอ ถ้ายังไม่เคยเห็นมันขึ้นแดง ก็ยังไม่รู้ว่ามันขึ้นแดงเป็น

เริ่มจากตรงไหนดี

หยิบไฟล์ PDF ที่มีอยู่แล้วสักเล่ม ตัดมาสามสิบหน้า ให้ AI สรุปด้วยคำของตัวเองพร้อมยกข้อความจากเล่มมาห้าจุด แล้วทำสิ่งเดียวที่สำคัญที่สุดของทั้งกระบวนการ คือเอาทั้งห้าจุดนั้นไปค้นในไฟล์ต้นฉบับ

ก่อนจะเชื่ออันไหน ให้แต่งประโยคปลอมขึ้นมาหนึ่งประโยคแล้วค้นด้วยวิธีเดียวกัน ถ้าประโยคปลอมหาเจอ แปลว่าวิธีค้นของเราใช้ไม่ได้ ยังไม่ต้องไปสนใจผลอันอื่นเลย ขั้นนี้ใช้เวลาไม่กี่นาที และเป็นขั้นที่คนข้ามบ่อยที่สุด

เรื่องตัวตรวจที่ขึ้นเขียวทั้งที่ไม่ได้ตรวจอะไร เราเขียนละเอียดไว้แล้วที่ เทสต์ผ่านหมดแต่ระบบพัง ส่วนงานอ่านเอกสารที่ต้องรู้ตัวว่าอ่านผิดตรงไหน อยู่ที่ OCR อ่านแม่นไม่ได้อยู่ที่โมเดล แต่อยู่ที่ระบบรู้ตัวว่าอ่านผิด และถ้าปลายทางของคุณไม่ใช่ผลอ่านครั้งเดียว แต่เป็นคลังความรู้ที่เชื่อถือได้ AI สรุปการประชุมโดยไม่กุเรื่อง ต่อจากตรงนี้พอดี

สิ่งที่เปลี่ยนไปหลังทำมาหลายเล่ม ไม่ใช่ความเชื่อว่า AI อ่านหนังสือแทนเราได้ แต่เป็นความสบายใจที่จะเปิดบันทึกของมันให้คนอื่นดู เพราะรู้ว่าทุกบรรทัดในนั้นมีที่มาให้ตามกลับไปได้

ที่มาและอ้างอิง

• Mortimer J. Adler & Charles Van Doren, How to Read a Book, Simon and Schuster 1972 (ISBN 978-0-671-21209-4) ที่มาของหลักอ่านสำรวจก่อนอ่านละเอียด และคำถามว่ายอมรับปลายทางที่มันพาไปหรือเปล่า
• ชื่อหนังสือที่เราเอาเข้ากระบวนการนี้ ขอไม่ระบุ เพราะบทความนี้เล่าเรื่องวิธีทำงาน ไม่ได้รีวิวหนังสือ สิ่งที่ต้องตรวจสอบได้คือตัวเลขกับวิธี ซึ่งอยู่ครบในบทความแล้ว
• ตัวเลขทุกตัวในบทความนี้ ทั้ง 95 จาก 95, 9 จุดที่ขัดกันเอง, 5 ตัวตาย 4, 14 จุดที่ผิดหลุดไปถึงเอกสารที่เผยแพร่แล้ว และค่าต่างของเลขหน้าสองเล่ม วัดเองจากงานจริงระหว่างวันที่ 1 ถึง 5 สิงหาคม 2026 ไม่ใช่ตัวเลขที่ยกมาจากที่อื่น