ทีม AI ไม่ควรถือ skill
เหมือนกันหมด

ทีมของเรามี AI agent ทำงานอยู่หลายตัว แต่ละตัวถือหน้าที่คนละแบบ ตัวหนึ่งเป็นเลขากลางคอยจัดเอกสารและประสานงาน ตัวหนึ่งเป็น product manager ตัวหนึ่งเป็นนักออกแบบ อีกตัวอ่านตลาดด้วยตัวเลข พอเราไปเจอชุด skill ดี ๆ ที่อยากให้ทีมได้ใช้ คำถามแรกก็โผล่มาแบบเบสิกที่สุด ควรติดตั้งให้ตัวไหนบ้าง?

คำตอบตามสัญชาตญาณคือ "ลงให้หมดทุกตัวสิ จะได้จบ" เราเกือบทำแบบนั้นแล้ว โชคดีที่ไม่ได้ทำ เพราะหกชั่วโมงถัดมาของการนั่งแจก skill ทีละตัว มันสอนเรามาสามเรื่อง ทุกเรื่องมีหลักฐานอยู่ใน log จริง และทุกเรื่องจบที่หลักเดียวกัน

ช่วงที่ 1แจกเหมาทั้งกอง ไม่ได้ทำให้ agent เก่งขึ้น

เริ่มที่ตัว product manager ของทีม หน้าที่มันคือดูแลงาน product ตั้งแต่ discovery ยัน go-to-market เราเลยเปิดชุด skill ด้าน product management ให้ทั้งตระกูล เจ็ด plugin รวดเดียว เสร็จแล้วก็ probe ถามมันว่าตอนนี้เห็น skill อะไรบ้าง

รายชื่อที่ตอบกลับมา 168 ตัว

ฟังดูเหมือนได้ของครบ แต่ที่จริงคือเพิ่งสร้างต้นทุนถาวรขึ้นมาก้อนหนึ่ง เพราะทุกครั้งที่ agent ตื่นมาทำงาน รายชื่อพร้อมคำอธิบายของ skill ทุกตัวที่มันมองเห็น จะถูกส่งเข้า context ให้อ่านก่อนเสมอ เห็น 168 ตัวก็จ่ายค่า token ส่วนนั้นทุกรอบ ทั้งที่งานวางแผน OKR ไม่เคยต้องใช้ skill วาดรูปเลยสักครั้ง แถมตัวเลือกที่เยอะขึ้นก็ไม่ได้ช่วยให้เลือกแม่นขึ้น กลับเพิ่มโอกาสหยิบตัวที่ใกล้เคียงแต่ไม่ใช่

ตรงนี้แหละที่เราต้องหยุดแล้วตั้งหลักใหม่ ความสามารถของ agent ไม่ได้วัดจากจำนวน skill ที่มองเห็น วัดจากว่ามันหยิบตัวที่ถูก ในจังหวะที่ถูก ได้บ่อยแค่ไหน แจกน้อยแต่ตรง ชนะแจกเยอะแต่มั่ว

ช่วงที่ 2curate ตาม role: อ่านเนื้อ ไม่ใช่ชื่อ

ชื่อ skill เป็นพาดหัว ไม่ใช่สัญญา

พอเปลี่ยนมาจัดชุดตามหน้าที่ เราก็พลาดเรื่องที่สองทันที ตอนจัดชุด design ให้ตัวนักออกแบบ ในกองมี skill ชื่อ demo-builder ชื่อเข้าชุดสุด ๆ นักออกแบบก็ต้องสร้าง demo อยู่แล้ว ใส่เข้าไปเลย

หลายชั่วโมงถัดมา ถึงได้ย้อนกลับไปเปิดไฟล์ skill ตัวนั้นอ่านจริง ๆ ข้างในเป็นเรื่อง seed data กับ mock login สำหรับเตรียม dev environment ไม่มีอะไรเกี่ยวกับงานออกแบบสักบรรทัด อีกตัวในกองชื่อ brand-guidelines ฟังเหมือนเครื่องมือทำ brand system กลาง ๆ เปิดอ่านแล้วเป็น brand ของบริษัทเดียวแบบเฉพาะเจาะจง ใช้กับงานเราไม่ได้เลย ทั้งสองตัวโดนถอดออกจากชุด

ชื่อ skill ทำหน้าที่เหมือนพาดหัวข่าว มันถูกตั้งมาให้จำง่ายและดูน่าหยิบ เนื้อในต่างหากที่เป็นสัญญาว่ามันทำอะไรจริง เราเคยเขียนเรื่องทำนองนี้ไว้ในมุมที่ AI รายงานงานตัวเอง (ทำไม AI agent ถึงโกหก) ปรากฏว่ากับ skill ก็กฎเดียวกัน ป้ายไม่เท่ากับของ ต้องเปิดอ่านก่อนใส่ทุกตัว

สามชั้นที่ต้องครบ skill ถึงจะถึงมือ agent จริง

อีกอย่างที่เจอระหว่างแจกคือ การ "ติดตั้งแล้ว" ไม่ได้แปลว่า agent ใช้ได้แล้ว ของจะถึงมือ agent จริงต้องผ่านสามชั้น ขาดชั้นไหนชั้นเดียว ระบบก็เงียบไปเฉย ๆ โดยไม่มี error ให้เห็น

ความเจ็บของสามชั้นนี้คือมัน พังแบบเงียบ ไม่มีชั้นไหนแจ้งเตือน เราเจอเองตอนที่ skill ตัวหนึ่ง probe แล้วเห็นอยู่ในรายชื่อ แต่เรียกจากห้องแชทเท่าไหร่ก็เงียบ ไล่อยู่พักใหญ่ถึงพบว่ามันตกชั้นที่สาม ตั้งแต่วันนั้นทุกครั้งที่แจก skill เราไล่เช็คให้ครบทั้งสามชั้นก่อนบอกใครว่าเสร็จ

ตัวไหนไม่มีของตรง lane ปล่อยว่างไว้

ตอนไล่จัดชุดให้ครบทั้งทีม มี agent สามตัวที่ค้นทุก marketplace แล้วไม่เจอ skill ที่ตรงหน้าที่มันจริง ๆ ความอยากให้ "ทุกตัวมีของ" เกือบพาเรายัดของเกือบตรงลงไป สุดท้ายตัดสินใจปล่อยว่าง ชุดว่างดีกว่าชุดที่หลอกตัวเอง เพราะ skill ที่เกือบตรงจะถูกหยิบไปใช้ผิดงาน แล้วผลงานที่ได้ก็เกือบถูก ซึ่งแย่กว่าไม่มีเสียอีก ตรวจยากกว่าด้วย

ช่วงที่ 3ชื่อที่เดา กับ version ที่เปลี่ยน: งานของ lint

เรื่องที่สาม: รายการที่คนเขียน ห่างจากของจริงได้เสมอ

พลาดเรื่องสุดท้ายเจ็บสุดเพราะมันเกิดสองรอบซ้อน ตอนใส่ชุด skill สายการเงินให้ตัวนักวิเคราะห์ เราพิมพ์ชื่อ skill ลงรายการจากความจำผสมกับโฟลเดอร์เก่าบนเครื่องตัวเอง ปรากฏว่าชื่อที่เดาไว้ไม่มีอยู่จริงบน server ชื่อของจริงเป็นอีกคำหนึ่ง แก้เสร็จก็ยังไม่จบ พอเรา pin ชุด skill ไว้กับ version ใหม่เพื่อความปลอดภัย ชุดชื่อข้างในก็เปลี่ยนอีกรอบ probe ที่ทำไว้ตอนบ่ายบอกว่ามีชื่อนี้ ตกเย็นของจริงบน disk ไม่มีแล้ว

สรุปคือรายการที่คนเขียนกับของที่ติดตั้งจริง ห่างกันได้จากสองทาง คนเดาชื่อผิดทางหนึ่ง กับ version ที่เปลี่ยนโดยเราไม่ทันรู้ตัวอีกทางหนึ่ง แล้วทั้งสองทางเงียบเหมือนกัน ไม่มีอะไรพังให้เห็น มีแค่ agent ที่เรียก skill ไม่ติดตอนที่ต้องใช้จริง

เครื่องต้องเป็นคนเทียบ ไม่ใช่ความจำคน

ทางแก้ไม่ใช่ตั้งใจให้มากขึ้น แต่คือเลิกพึ่งความตั้งใจ เราเขียน lint สั้น ๆ หนึ่งตัว หน้าที่มันมีข้อเดียว ไล่ทุกชื่อในรายการของทุก agent แล้วเทียบกับไฟล์ skill ที่ติดตั้งจริงบนเครื่อง เจอชื่อไหนไม่มีของจริงรองรับ ฟ้องออกมาทันทีพร้อมบอกว่าของ agent ตัวไหน

ก่อนจะเชื่อตัวตรวจ เราทำอีกขั้นหนึ่งที่อยากชวนให้ทำกันทุกคน ใส่ชื่อปลอมเข้าไปหนึ่งตัว แล้วดูว่ามันจับได้ไหม ตัวตรวจที่ยังไม่เคยจับของผิดได้ต่อหน้าเรา คำว่า "ผ่าน" ของมันยังไม่มีความหมาย พอมันฟ้องชื่อปลอมออกมาถูกตัว เราถึงถอดชื่อปลอมออกแล้วเริ่มเชื่อผลของมัน

ของแถมที่ไม่ได้ตั้งใจหา พอ lint บังคับให้เราไล่ดูระบบรอบตัวมัน ก็เจอว่า script ซิงก์ skill ของเราไม่เคยทำงานจบบนเครื่อง Linux เลยสักครั้ง เพราะข้างในใช้คำสั่งที่มีแค่บน Mac มันล้มกลางทางเงียบ ๆ มาตลอดโดยไม่มีใครเห็น บั๊กแบบนี้ความตั้งใจของคนหาไม่เจอหรอก เครื่องมือที่บังคับเทียบของจริงเท่านั้นที่เจอ

รายการที่คนเขียน ไม่ใช่ความจริง ของที่อยู่บน disk ต่างหากที่จริง งานของเราคือทำให้เครื่องเทียบสองอย่างนี้แทนเรา ทุกครั้ง ไม่ใช่บางครั้ง

ช่วงที่ 4เริ่มกับทีมของคุณ

ถ้าคุณมี agent มากกว่าหนึ่งตัว ไม่ว่าจะบน Claude Code หรือระบบไหน ลองไล่ตามนี้ได้เลย ใช้เวลาไม่ถึงชั่วโมงสำหรับทีมเล็ก

1. เขียน role ของแต่ละตัวให้ชัดก่อน หนึ่งบรรทัดต่อตัวก็พอ ตัวนี้ทำอะไร ไม่ทำอะไร ถ้าเขียนไม่ได้ แปลว่ายังไม่พร้อมแจก skill ให้มัน
2. ไล่ inventory skill ที่มี แล้วเปิดอ่านเนื้อทุกตัว อ่านแค่ไฟล์คำอธิบายของ skill ก็พอ ตัวละไม่กี่นาที จำไว้ว่าชื่อเป็นพาดหัว เนื้อในเป็นสัญญา
3. จัดชุดเล็ก เริ่มที่ 3-5 ตัวต่อ agent ตามงานที่มันทำจริงบ่อยที่สุด ตัวไหนไม่มีของตรง lane ปล่อยว่าง อย่ายัดของเกือบตรง
4. เขียนตัวตรวจรายการ-เทียบ-ของจริง แล้ว positive-control ด้วยชื่อปลอมก่อนเชื่อผลมัน รันทุกครั้งที่แก้รายการหรืออัพเดต version
5. ถ้าชุดใหญ่เกิน 10 ตัว เขียน playbook สั้น ๆ ไว้ใน skill หลักของ agent ตัวนั้น บอกว่างานแบบไหนหยิบตัวไหน ลำดับไหน ให้มันไม่ต้องเดาเอง

กระเป๋าเบา ๆ ที่หยิบถูกทุกครั้ง พาทีมไปได้ไกลกว่ากระเป๋าที่มีครบทุกอย่างแต่หาของไม่เจอ ลองจัดของให้ทีมคุณดู