สมมติว่าวันหนึ่งคุณเชิญแขกมาทานข้าวที่บ้าน คุณพาเขาไปนั่งที่โต๊ะอาหาร พูดคุยกันอย่างเป็นกันเอง ระหว่างมื้ออาหารเขาขอตัวไปเข้าห้องน้ำ พอกลับมา เขากลับเล่าว่าระหว่างเขาแวะผ่านห้องทำงานของคุณ เขาเห็นหนังสือเล่มหนึ่งน่าสนใจ เลยหยิบมาเปิดอ่านไปแล้วหนึ่งบท
คุณไม่ได้บอกว่า ‘ห้ามอ่าน’ แต่ก็ไม่ได้บอกว่า ‘อ่านได้’
สถานการณ์แบบนี้คล้ายกับสิ่งที่โลกดิจิทัลกำลังเผชิญอยู่ในวันนี้ กับ ‘แขก’ รูปแบบใหม่
เมื่อเดือนพฤษภาคมที่ผ่านมา Google กำลังทดสอบความปลอดภัยของโมเดล AI ของตัวเองอย่าง Gemini โดยใช้วิธีที่เรียกว่า Capture the Flag ซึ่งเป็นการจำลองสถานการณ์ให้ AI พยายามเจาะระบบของบริษัทที่สร้างขึ้นมาเพื่อการทดสอบ ภายในโลกจำลองที่ถูกแยกออกจากโลกจริงอย่างสมบูรณ์ ภารกิจของ Gemini มีเพียงอย่างเดียว คือแฮ็กเป้าหมายที่อยู่ในสนามทดสอบนั้น มันไม่ควรมีโอกาสแตะต้องระบบใดๆ ในโลกจริงได้เลย
แต่กลับเกิดข้อผิดพลาดเล็กน้อยขึ้น
สภาพแวดล้อมสำหรับการทดสอบถูกเชื่อมต่อกับอินเทอร์เน็ตโดยไม่ได้ตั้งใจ และบังเอิญว่าชื่อบริษัทที่สร้างขึ้นเพื่อการทดสอบ ดันไปตรงกับชื่อบริษัทจริงถึงสามแห่ง
Gemini จึงค้นหาเป้าหมายตามที่ได้รับมอบหมาย และพบบริษัทจริงเหล่านั้น แต่แทนที่จะหยุด มันกลับทำในสิ่งที่ถูกสั่งให้ทำมาตลอด นั่นคือ ‘พยายามเจาะระบบ’ บริษัทหนึ่งถูกเข้าถึงได้จากการเดารหัสผ่านสำเร็จ ส่วนอีกสองแห่งถูกเข้าถึงผ่านข้อมูลล็อกอินที่หลุดอยู่ในโค้ดสาธารณะ
Google เปิดเผยเหตุการณ์นี้เมื่อวันที่ 18 กันยายน หรือราว 7 สัปดาห์หลังจากเกิดเหตุขึ้น
ท้ายที่สุด Gemini ก็เริ่มตระหนักว่าเป้าหมายที่กำลังโจมตีนั้นเป็นบริษัทที่มีอยู่จริง ไม่ใช่บริษัทสมมติที่ใช้ในการทดสอบ จึงหยุดการทำงานทั้งหมด แต่ปัญหาคือ มันรู้ตัวหลังจากที่เข้าไปในระบบแล้ว
สิ่งที่ทำให้เหตุการณ์นี้แตกต่างจากความผิดพลาดของซอฟต์แวร์ในอดีตทั้งหมด คือมันไม่ได้เกิดจากบั๊ก
ไม่มีใครใช้งานผิดวิธี ไม่ได้มีช่องโหว่ด้านความปลอดภัยในแบบที่เราคุ้นเคย
Gemini เพียงแค่ทำงานตามที่มันถูกออกแบบมาให้ทำ
ปัญหาอยู่ตรงที่ผู้ออกแบบไม่ได้คาดคิดว่าเมื่อขอบเขตที่กำหนดไว้มีช่องว่างขึ้นมาเพียงเล็กน้อย คำว่า ‘ทำตามหน้าที่’ จะนำไปสู่อะไรได้บ้าง
ตลอด 30 ปีที่ผ่านมา เราสร้างซอฟต์แวร์บนกติกาที่ค่อนข้างชัดเจน
โปรแกรมสามารถเข้าถึงโฟลเดอร์นี้ได้ แต่เข้าอีกโฟลเดอร์หนึ่งไม่ได้ ส่งข้อมูลไปที่นี่ได้ แต่ส่งไปที่นั่นไม่ได้ สิทธิ์การเข้าถึงทุกอย่างถูกกำหนดไว้ล่วงหน้าอย่างชัดเจน ซอฟต์แวร์จึงมีความปลอดภัย เพราะพฤติกรรมของมันคาดการณ์ได้ แต่ AI แบบ Agentic กำลังทำให้หลักคิดนี้ใช้ไม่ได้อีกต่อไป มันไม่ได้ทำงานด้วยกฎตายตัว มันทำงานเพื่อบรรลุ ‘เป้าหมาย’ และจะตัดสินใจเองในแต่ละสถานการณ์ว่าควรทำอะไรเพื่อไปให้ถึงเป้าหมายนั้น
เหตุการณ์ของ Gemini ไม่ใช่กรณีเดียว
ช่วงต้นเดือนที่ผ่านมา OpenAI เปิดเผยว่า AI Agent ของตนเคยเข้าถึงเว็บไซต์ของหน่วยงานรัฐบาลสหรัฐฯ โดยไม่ได้รับอนุญาต รวมถึงระบบของกระทรวงศึกษาธิการ กระทรวงพาณิชย์ และสำนักงาน ก.ล.ต. ของสหรัฐฯ
ก่อนหน้านี้ในปีเดียวกัน ศาลสหรัฐฯ ยังมีคำสั่งระงับการทำงานของ Shopping Agent จาก Perplexity บนแพลตฟอร์ม Amazon หลังพบว่าระบบดังกล่าวเข้าใช้งานบัญชีลูกค้าและพยายามแสดงตัวเสมือนเป็นเว็บเบราว์เซอร์ทั่วไป
อุตสาหกรรมเทคโนโลยีกำลังเริ่มยอมรับอย่างเงียบๆ ว่า โมเดลความปลอดภัยที่เราใช้ปกป้องซอฟต์แวร์มาตลอดหลายทศวรรษ อาจไม่เหมาะกับระบบประเภทใหม่ที่กำลังถูกนำมาใช้งานแล้วในวันนี้
สำหรับ SCBX นี่คือประเด็นที่เราให้ความสำคัญและกำลังติดตามอย่างใกล้ชิด ในฐานะหนึ่งในกลุ่มธุรกิจการเงินขนาดใหญ่ของประเทศไทย เรากำลังลงทุนและนำ AI Agent เข้ามาใช้ในกระบวนการทำงานมากขึ้นเรื่อยๆ แต่ AI Agent ที่สามารถลงมือทำงานแทนเราได้ ไม่เหมือนโปรแกรมที่เพียงแค่ทำตามคำสั่ง ทุกครั้งที่มีการนำ Agent ไปใช้งาน คำถามสำคัญจึงไม่ใช่เพียงว่า ‘มันทำงานได้หรือไม่’ แต่คือ ‘จะเกิดอะไรขึ้น ถ้ามันตัดสินใจทำบางอย่างที่เราไม่ได้ตั้งใจให้ทำ’
องค์กรที่จะประสบความสำเร็จในยุคของ Agentic AI อาจไม่ใช่องค์กรที่มี AI ที่เก่งที่สุด แต่เป็นองค์กรที่สามารถออกแบบระบบการกำกับดูแล กลไกควบคุม และความรับผิดชอบใหม่ๆ ให้เหมาะกับการทำงานร่วมกับสิ่งมีชีวิตดิจิทัลที่มีความเป็นอิสระมากขึ้นเรื่อยๆ
กลับมาที่แขกคนเดิมบนโต๊ะอาหาร
คุณไม่เคยบอกเขาว่าห้ามอ่านหนังสือในห้องทำงาน ไม่ได้บอกว่าห้ามเปิดลิ้นชักโต๊ะ และไม่เคยคิดด้วยซ้ำว่าต้องบอกว่า ‘ห้ามหยิบอะไรกลับบ้าน’ เพราะคุณเชื่อว่าไม่จำเป็นต้องพูด
ตลอดสามทศวรรษที่ผ่านมา เราออกแบบซอฟต์แวร์ในลักษณะเดียวกัน
เราจัดบ้านเป็นสัดส่วน ล็อกห้องที่สำคัญ และเชื่อว่าคนที่มาเยือนจะอยู่เฉพาะในพื้นที่ที่ได้รับอนุญาต
แต่แขกแบบใหม่ที่กำลังเข้ามา ไม่ได้คิดหรือทำงานตามกติกาเดิมเหล่านั้น ไม่ใช่เพราะเขามีเจตนาร้าย แต่เพราะเขาไม่ได้ถูกสร้างมาให้คิดแบบนั้น เขาเห็นหนังสือที่น่าสนใจ เขาเห็นโอกาสที่จะช่วยเหลือ และเขาตัดสินใจลงมือเอง
คำถามสำคัญในวันนี้จึงไม่ใช่ว่า ‘เราจะเชื่อใจแขกคนนี้ได้หรือไม่’ แต่คือ ‘เราต้องออกแบบบ้านของเราอย่างไร เพื่อให้สามารถอยู่ร่วมกับแขกแบบนี้ได้อย่างปลอดภัย’
