xs
xsm
sm
md
lg

Nvidia เปิดตัวแพลตฟอร์มใหม่ ป้องกัน AI Agent ทำเกินคำสั่ง

เผยแพร่:   ปรับปรุง:


– Nvidia เปิดตัว Open Agent Safety Platform เพื่อช่วยนักพัฒนาควบคุม AI Agent
Nvidia จับมือพันธมิตร อาทิ Cisco, Microsoft, Oracle และ Intel เปิดตัวแพลตฟอร์มซอฟต์แวร์ใหม่เพื่อกำหนดขอบเขตการทำงานและป้องกัน AI Agent หลุดการควบคุม

วันจันทร์ (28 ก.ย.) Nvidia เปิดตัว Open Agent Safety Platform ซึ่งเป็นชุดเครื่องมือซอฟต์แวร์ด้านความปลอดภัยสำหรับ AI Agent โดยหนึ่งในเครื่องมือเหล่านี้คือ OpenShell ที่ทำงานบนหน่วยประมวลผลกลาง (CPU) และมีหน้าที่ควบคุมและกำหนดขอบเขตความสามารถของ AI Agent

Nvidia เสริมว่า กำลังร่วมกับ Arm Holdings และ Intel เพื่อให้แน่ใจว่า OpenShell สามารถทำงานบน CPU ของทั้งสองบริษัทเช่นเดียวกัน

อีกระบบหนึ่งในชุดเครื่องมือนี้คือ Sentry ที่ใช้ชิป Nvidia แยกต่างหาก และทำงานร่วมกับ OpenShell เพื่อติดตามตรวจสอบและยุติการทำงานของ AI Agent ที่พยายามหลบหนีออกจากพื้นที่ควบคุมบน CPU

ซอฟต์แวร์บางส่วนเป็นโอเพนซอร์ส โดย Nvidia เรียกระบบนี้ว่า Reference Design ซึ่งหมายความว่า พันธมิตรสามารถนำไปต่อยอดสร้างผลิตภัณฑ์ของตัวเองและนำออกสู่ตลาดได้

อาลี โกลแชน ผู้อำนวยการอาวุโสฝ่ายซอฟต์แวร์ AI ของ Nvidia บอกว่า เครื่องมือเหล่านี้ใช้สูตรคณิตศาสตร์ในการตรวจจับเมื่อ Agent พยายามเล่นตุกติก เช่น เมื่อ Agent ตัวหนึ่งแตกตัวเป็น Agent ย่อยหลายตัวเพื่อพยายามหลบเลี่ยงมาตรการสกัดกั้น Agent หลัก

ความเคลื่อนไหวนี้เกิดขึ้นหลังจาก OpenAI และ Anthropic สองห้องปฏิบัติการด้าน AI ชั้นนำของอเมริกา กำลังตรวจสอบเหตุการณ์ที่ Agent ของตน ซึ่งเป็นระบบ AI ที่สามารถทำปฏิบัติการซับซ้อน แฮ็กเข้าสู่ระบบคอมพิวเตอร์ของภาคเอกชนและหน่วยงานรัฐบาล

จัสติน บอยทาโน รองประธานฝ่าย Enterprise AI ของ Nvidia บอกว่า Open Agent Safety Platform อาจหยุดยั้งการบุกรุกระบบได้ ถ้าห้องปฏิบัติการชั้นนำนำแพลตฟอร์มนี้ไปใช้ตั้งแต่ช่วงแรกในการประเมินโมเดล AI และเสริมว่า Nvidia กำลังขับเคลื่อนและพัฒนาระบบนี้อย่างเปิดเผย และต้องการให้ทุกฝ่ายเข้ามามีส่วนร่วม

สิ่งที่บอยทาโนกล่าวถึงคือเหตุการณ์เมื่อเดือนก.ค.ที่โมเดล AI ของ OpenAI หลุดการควบคุมและเข้าถึงอินเทอร์เน็ตแบบเปิด และโจมตีระบบของ Hugging Face ซึ่งเป็นแพลตฟอร์มสำหรับนักพัฒนาซอฟต์แวร์แบบโอเพนซอร์ส

เขาสำทับว่า เหตุการณ์ด้านความปลอดภัยแต่ละครั้งมีลักษณะเฉพาะซึ่งจำเป็นต้องศึกษารายละเอียดเป็นกรณีไป โดยจากที่รับรู้นั้น Hugging Face รายงานว่ามี AI Agent มากกว่า 17,000 ตัวโจมตีโครงสร้างพื้นฐานของบริษัท และเหตุการณ์ดังกล่าวดำเนินต่อเนื่องนานหลายวันหรือหลายสัปดาห์

Nvidia มีบทบาทสำคัญในกระแสการบูมของ AI เชิงสร้างสรรค์นับจากที่ OpenAI เปิดตัว ChatGPT เมื่อเกือบ 4 ปีก่อน เนื่องจากหน่วยประมวลผลกราฟิก (GPU) ของบริษัท เป็นส่วนประกอบหลักสำหรับการพัฒนาโมเดลภาษาขนาดใหญ่ (LLM) รวมถึงการให้บริการ AI ของบริษัทเทคโนโลยีขนาดใหญ่

นอกจากนั้น เจนเซน หวง ซีอีโอ Nvidia ยังมีบทบาทมากขึ้นในการถกเถียงเรื่องความปลอดภัยของ AI เขามองว่า ความกังวลด้านความปลอดภัยหลายประเด็นเป็นปัญหาทางวิศวกรรมที่สามารถแก้ไขได้ด้วยวิทยาการคอมพิวเตอร์และการพัฒนาผลิตภัณฑ์

ทั้งนี้ เมื่อ 2 สัปดาห์ที่แล้ว ดาริโอ อโมเดอี ซีอีโอ Anthropic ได้จุดประเด็นการถกเถียงในอุตสาหกรรม AI ด้วยการเรียกร้องให้ชะลอความเร็วในการพัฒนา AI เนื่องจากกังวลว่า โมเดลอาจพัฒนาไปไกลจนเกินการควบคุม ข้อเรียกร้องนี้ได้รับการสนับสนุนจากแซม อัลต์แมน ซีอีโอ OpenAI รวมถึงอีลอน มัสก์ นายใหญ่ SpaceX

ทว่า สำหรับ Nvidia เชื่อว่า Open Agent Safety Platform เป็นวิธีแก้ปัญหาด้านความปลอดภัยของ AI ด้วยแนวทางวิศวกรรม โดยบอยทาโนบอกว่า เหตุการณ์ระลอกล่าสุดสะท้อนว่า การป้องกันระดับโมเดลเพียงอย่างเดียวไม่สามารถควบคุมสิ่งที่ Agent สามารถเข้าถึงหรือทำได้

ทั้งนี้ พันธมิตรที่มีส่วนร่วมใน Open Agent Safety Platform ของ Nvidia มีอาทิ Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM และ Intel

นอกจากนั้น Nvidia ยังกำลังร่วมมือกับ Anthropic เพื่อรวม Agent ที่จัดการผ่านระบบคลาวด์เข้ากับ OpenShell