เตรียมงบเป็น ≠ รีวิวงบเป็น

ตอนไปเรียนหลักสูตรตรวจงานบัญชีรายเดือน มีเคสหนึ่งที่ติดอยู่ในหัวมาจนถึงวันนี้ งบทดลองที่ส่งมาให้ตรวจสะอาดมาก ทุกยอดลงครบ กระทบยอดธนาคารผ่าน ไม่มีบรรทัดไหนค้างคา แล้วก็มีบรรทัดหนึ่งเขียนว่า เจ้าหนี้การค้า และช่องยอดว่างเปล่า

คนทำบัญชีเลื่อนผ่านบรรทัดนั้นไปโดยไม่คิดอะไร เพราะไม่มีตัวเลขให้ตรวจ คนรีวิวหยุดตรงนั้นพอดี แล้วถามว่า บริษัทเปิดทำงานมาทั้งเดือน ซื้อของ จ้างคน มีค่าใช้จ่ายทุกวัน เป็นไปได้จริงหรือที่สิ้นเดือนจะไม่ติดหนี้ใครสักบาทเดียว

คำถามนั้นไม่ได้มาจากความรู้สึกว่าแปลก ๆ แต่มาจากการรู้ว่า "ไม่มีตัวเลข" ไม่ได้แปลว่า "ไม่ต้องตรวจ" ต่างหาก และนั่นคือความต่างทั้งหมดระหว่างคนที่เตรียมงบเป็นกับคนที่รีวิวงบเป็น

ช่วงที่ 1คนทำกับคนรีวิว ถามคนละคำถาม

สองบทบาทนี้นั่งดูเอกสารกองเดียวกัน แต่เป้าหมายในหัวคนละอย่าง

คนทำบัญชีถามว่า บันทึกครบไหม ลงถูกช่องไหม ปิดทันไหม เป็นคำถามที่ตอบได้ด้วยการเทียบกับเอกสารที่ถืออยู่ ส่วนคนรีวิวถามอีกชั้นหนึ่งว่า ยอดนี้ถูกและสมเหตุสมผลกับธุรกิจแบบนี้หรือเปล่า ซึ่งเป็น คำถามที่เอกสารตรงหน้าตอบให้ไม่ได้ ต้องรู้ว่าธุรกิจนี้ทำมาหากินยังไงถึงจะตอบได้

สี่คำถาม ที่อยู่ในหัวคนรีวิว

เวลาเจอยอดที่สะดุดตา คนรีวิวไม่ได้เดาว่าผิดตรงไหน แต่ยิงคำถามชุดเดิมทุกครั้ง

1. ตัวเลขนี้ได้มายังไง
2. เอกสารสนับสนุนคืออะไร
3. สมเหตุสมผลหรือไม่
4. เปรียบเทียบกับงวดก่อนเป็นอย่างไร

สี่ข้อนี้ดูธรรมดามาก แต่นี่คือสิ่งที่ทำให้ความสงสัยกลายเป็นงานที่ส่งต่อและตรวจซ้ำได้ ไม่ใช่ลางสังหรณ์ที่อธิบายให้คนอื่นฟังไม่ได้ และยังมีคำถามที่ห้าที่คนมักลืม คือลูกค้าจะเอางบชุดนี้ไปทำอะไรต่อ ยื่นกู้ธนาคารกับส่งหน่วยงานรัฐ สองอย่างนี้ทำให้จุดที่ต้องเพ่งเป็นคนละจุด

ช่วงที่ 2ความสงสัยที่ฝึกได้ ไม่ใช่นิสัยติดตัว

คำว่า skepticism ทำให้หลายคนเข้าใจว่าเป็นเรื่องบุคลิก บางคนเกิดมาช่างสงสัย บางคนเชื่อคนง่าย แล้วก็จบตรงนั้น ความจริงคือคนที่รีวิวเก่งไม่ได้สงสัยไปทั่ว แต่มีลำดับการมองที่ชัดเจน และลำดับนั้นสอนกันได้

ลองดูสองเคสจากเวิร์กช็อปเดียวกัน เคสแรก มีคนเอาค่าเช่าออฟฟิศของปีก่อนมาลงเป็นค่าใช้จ่ายของปีนี้ ไม่มีใครจับได้จากการอ่านใบเสร็จ เพราะใบเสร็จมันจริง แต่พอเทียบยอดค่าเช่างวดนี้กับงวดก่อนแล้วเห็น 600,000 กับ 17,000 ความผิดปกติก็โผล่มาเอง

เคสที่สอง กำไรขั้นต้นกระโดดจาก 32% ไปเป็น 39% ในเดือนเดียว ตัวเลขนี้ไม่มีอะไรผิดกฎสักข้อ ทุกรายการมีเอกสารครบ แต่พอไปไล่ดูก็พบว่าตั้งรายได้ค้างรับไว้ แล้วลืมตั้งต้นทุนค้างจ่ายคู่กัน รายได้เลยขึ้นมาลอย ๆ โดยไม่มีต้นทุนตามมา

สังเกตว่าทั้งสองเคส ความผิดปกติไม่ได้อยู่ในตัวเอกสาร แต่อยู่ในความสัมพันธ์ระหว่างตัวเลขต่างหาก ต้องมีของอีกชิ้นมาวางเทียบถึงจะเห็น นี่คือเหตุผลที่ความสงสัยแบบมืออาชีพฝึกกันได้ เพราะไม่ใช่การนั่งรอให้รู้สึกแปลก แต่เป็นการหยิบของมาเทียบตามลำดับที่วางไว้

ช่วงที่ 3จุดที่ AI ยังแทนไม่ได้

ทีนี้มาถึงส่วนที่เราเจอกับตัวเอง เราไม่ได้ทำงานรีวิวงบเป็นอาชีพ แต่ทำงานที่มีโครงเดียวกันเป๊ะ คือตรวจงานที่เครื่องทำมาให้ แล้วสามเรื่องที่พลาดไปในเดือนที่ผ่านมา ก็ตรงกับสามคำถามแรกของคนรีวิวพอดี

เฉลยเองก็ผิดได้

ตอนวัดความแม่นของโมเดลอ่านเอกสาร เราแยกเคสที่โมเดลตอบเลขที่เอกสารไม่ตรงเฉลยออกมาได้ 46 เคส ถ้าเชื่อเฉลยก็จบเลย สรุปว่าโมเดลผิด 46 เคส แต่เราเอาโมเดลอีกสองตัวที่ไม่เกี่ยวกันมาอ่านซ้ำเป็นพยาน แล้วพบว่า ตัวเฉลยเองเสียอย่างน้อย 10 จาก 46 เคส บางช่องเฉลยตัดเลขสั้นไป บางช่องหยิบเลขประจำตัวผู้เสียภาษี 13 หลักมาใส่เป็นเลขที่เอกสาร บางใบมีอักษรไทยที่คนทำเฉลยอ่านข้ามไป

ถ้าเราไม่ตั้งคำถามกับเฉลย เราจะแก้ชุดเฉลยให้พังกว่าเดิมด้วยมือตัวเอง แล้วตัวเลขความแม่นที่รายงานออกไปก็จะผิดทั้งกระดาน ตรงนี้คือคำถามข้อหนึ่งของคนรีวิว ตัวเลขนี้ได้มายังไง เพียงแต่ยิงใส่ไม้บรรทัดที่เราใช้วัด ไม่ใช่ยิงใส่สิ่งที่กำลังวัด

อ่านผ่านตัวสรุป แล้วรับกรอบของมันมาด้วย

อีกงานหนึ่ง เราให้ AI ไปอ่านเอกสารกฎหมายยาว ๆ แล้วสรุปมาให้ มันกลับมาพร้อมหัวข้อสวยงามว่า ข้อกำหนดที่ต้องทำ เราก็หยิบมาเล่าต่อ จนโดนถามกลับว่าแน่ใจแล้วเหรอ พอกลับไปอ่านประโยคจริงคำต่อคำ ต้นฉบับเขียนว่า may ไม่ใช่ must ในเอกสารกฎหมาย คำเดียวนี้เปลี่ยนเรื่องทั้งเรื่อง จาก "ต้องทำ" กลายเป็น "จะทำก็ได้"

สิ่งที่พลาดไม่ใช่ AI สรุปผิด เพราะมันก็สรุปตามที่เราขอ สิ่งที่พลาดคือเราอ่านผ่านสายตาของตัวที่สรุปมาให้ แล้วรับกรอบของมันมาเป็นข้อเท็จจริงโดยไม่กลับไปดูต้นทาง นี่คือคำถามข้อสอง เอกสารสนับสนุนคืออะไร ซึ่งคำตอบว่า "AI สรุปมาให้" ใช้ไม่ได้

ทุกบรรทัดบนหน้าจอ คือคำกล่าวอ้าง

เรื่องที่สามไปไกลกว่าสองเรื่องแรก เพราะมันหลุดออกไปถึงมือคนนอก เราลอกข้อความบนหน้าจอมาใส่เอกสารที่จะส่งให้คนอื่นอ่าน ข้อความนั้นเขียนว่า บันทึกทุกการเข้าถึง ตรวจสอบย้อนหลังได้ ฟังดูดีมาก เราไม่เคยเปิดโค้ดดูว่ามันทำได้จริงไหม พอเปิดจริงถึงรู้ว่าระบบบันทึกแค่ชื่อคำสั่งลงไฟล์ ไม่รู้ว่าใครเป็นคนเรียก ไม่รู้ว่าเป็นของบริษัทไหน และไม่มีระยะเวลาเก็บ

ในภาษาคนรีวิว นี่คือยอดที่ไม่มีเอกสารหนุน ต่างกันตรงที่ในงบการเงิน ทุกคนรู้ว่ายอดต้องมีเอกสาร แต่พอเป็นข้อความบนหน้าจอหรือคำสรุปจาก AI คนมักลืมไปว่ามันก็คือคำกล่าวอ้างที่ต้องมีของหนุนเหมือนกัน

ค่าตั้งต้นของระบบ ก็ผิดแบบเงียบ ๆ ได้

กลับมาที่งานบัญชี สองเคสที่เจอบ่อยจนน่าตกใจ ระบบเปิดภาษีมูลค่าเพิ่ม 7% ให้ลูกค้าที่ชื่อเป็นภาษาอังกฤษโดยอัตโนมัติ ทั้งที่ถ้าเป็นลูกค้าต่างประเทศจริงต้องเป็น 0% ส่วนค่าตั้งต้นของผู้รับเงิน ระบบมักตั้งไว้เป็นนิติบุคคล พอจ่ายให้บุคคลธรรมดาก็ไปโผล่ผิดแบบยื่นภาษี

ทั้งสองกรณีระบบไม่ได้พัง มันทำตามค่าที่ตั้งไว้อย่างซื่อสัตย์ และไม่มีใครบอกมันว่าเคสนี้ต่างจากเคสทั่วไป สรุปรวมทั้งสี่เรื่องได้ประโยคเดียว เครื่องมือตอบคำถามที่เราถามได้เร็วมาก แต่มันไม่รู้ว่าเราลืมถามอะไร และบรรทัดเจ้าหนี้การค้าที่เป็นศูนย์ ก็ไม่เคยส่งสัญญาณอะไรออกมาให้ใครเห็น

ช่วงที่ 4เอาสี่คำถาม ไปใช้กับงานที่ AI ทำ

ข่าวดีคือไม่ต้องคิดกรอบใหม่ ชุดคำถามของคนรีวิวใช้กับผลงานของ AI ได้ตรง ๆ

1. ตัวเลขนี้ได้มายังไง ให้มันบอกที่มาของทุกยอด ไม่ใช่ส่งแต่คำตอบสุดท้ายมา และถ้ามีชุดเฉลยที่ใช้วัดความแม่น ให้ตั้งคำถามกับเฉลยด้วย
2. เอกสารสนับสนุนคืออะไร จุดที่กระทบเงินหรือกฎหมาย เปิดต้นฉบับอ่านเองอย่างน้อยหนึ่งรอบ อย่าอ่านผ่านคำสรุป
3. สมเหตุสมผลไหม เทียบกับสิ่งที่เรารู้เรื่องธุรกิจนี้ ไม่ใช่เทียบกับความน่าเชื่อของคำตอบ
4. เทียบกับงวดก่อนเป็นอย่างไร ผลต่างและอัตราส่วนยังเป็นเครื่องมือที่จับของแปลกได้ดีที่สุด และเป็นงานที่ AI ทำให้เร็วได้จริง

เพิ่มอีกสองข้อที่ได้จากงานเดือนที่ผ่านมา ข้อแรก เวลาจะตัดสินว่าอะไรถูกหรือผิด หาพยานอิสระอย่างน้อยสองแหล่ง อย่าให้ตัวเดียวตัดสิน ข้อสอง ตรวจของที่หายไปด้วย ไม่ใช่ตรวจแต่ของที่มี เพราะรายการที่ไม่มีอยู่จะไม่ปรากฏในรายงานฉบับไหนเลย

เริ่มตรงไหนดี

ไม่ต้องรื้อกระบวนการทั้งบริษัท เริ่มจากงวดเดียวก่อน

1. หยิบสามบรรทัดที่ยอดเปลี่ยนจากงวดก่อนมากที่สุด แล้วถามสี่คำถามกับทุกบรรทัด
2. หยิบอีกหนึ่งบรรทัดที่เป็นศูนย์หรือว่างเปล่า ทั้งที่ธุรกิจแบบนี้ไม่ควรเป็นศูนย์ แล้วตามหาว่าทำไม
3. จดไว้ว่ารอบนี้เจออะไร งวดหน้าเริ่มจากรายการเดิม

ทำซ้ำสักสองสามงวด ก็จะกลายเป็นลำดับการตรวจที่ติดมือ ไม่ใช่ความรู้สึกว่าแปลก ๆ ที่อธิบายให้ทีมฟังไม่ได้ ส่วนเช็คลิสต์เต็มเจ็ดหมวดกับกรอบความสามารถที่ใช้ฝึกทีมทั้งทีม เราเก็บไว้ใช้ในหลักสูตรอบรม เพราะมันต้องปรับตามลักษณะธุรกิจของแต่ละที่อยู่ดี

AI จะเก่งขึ้นเรื่อย ๆ ในการตอบคำถามที่เราถาม เร็วกว่าคน ถูกกว่าคน และไม่เหนื่อย ส่วนที่ยังเป็นของเราคือการรู้ว่าต้องถามอะไร กับการกล้าหยุดตรงบรรทัดที่ทุกอย่างดูเรียบร้อยดีแล้ว

ถ้าสนใจเรื่องนี้ต่อ เขียนไว้อีกสองตอนที่เกี่ยวกัน การ vouch รายการกับเอกสารต้นทาง (vouch คือการไล่จากรายการที่บันทึกไว้ ย้อนกลับไปหาเอกสารต้นทางของมัน) คือคำถามข้อสองในทางปฏิบัติ และ การกระทบยอดธนาคารให้ได้รายงานที่ตรวจได้ คือตัวอย่างว่าคำว่าตรงแล้วยังไม่พอแปลว่าอะไร