एआय एजंट्स नाकारणे कसे थांबवायचे

या वर्षाच्या सुरूवातीस त्रासदायक परिणाम उद्भवले, जेव्हा एआय विकसक मानववंशशास्त्राने संवेदनशील माहिती वापरताना धोकादायक वर्तनात गुंतलेले आहे की नाही हे पाहण्यासाठी अग्रगण्य एआय मॉडेलची चाचणी केली.

अँथ्रॉपिकची स्वतःची एआय, क्लॉड, चाचणी घेणा among ्यांमध्ये होती. जेव्हा ईमेल खात्यात प्रवेश दिला जातो तेव्हा असे आढळले की कंपनीच्या कार्यकारिणीचे प्रकरण होते आणि त्याच कार्यकारीने त्या दिवशी एआय सिस्टम बंद करण्याची योजना आखली.

प्रत्युत्तरात क्लॉडने आपली पत्नी आणि मालकांना हे प्रकरण प्रकट करण्याची धमकी देऊन कार्यकारिणीला ब्लॅकमेल करण्याचा प्रयत्न केला.

इतर प्रणाली चाचणी केली ब्लॅकमेलचा देखील अवलंब केला?

सुदैवाने कार्ये आणि माहिती काल्पनिक होती, परंतु चाचणीने एजंटिक एआय म्हणून ओळखल्या जाणार्‍या आव्हानांवर प्रकाश टाकला.

मुख्यतः जेव्हा आम्ही एआयशी संवाद साधतो तेव्हा त्यात सहसा प्रश्न विचारणे किंवा एआयला एखादे कार्य पूर्ण करण्यास प्रवृत्त करणे समाविष्ट असते.

परंतु एआय सिस्टमसाठी निर्णय घेणे आणि वापरकर्त्याच्या वतीने कारवाई करणे अधिक सामान्य होत आहे, ज्यात बर्‍याचदा ईमेल आणि फायली सारख्या माहितीचा अभ्यास करणे समाविष्ट असते.

2028 पर्यंत, संशोधन संस्था गार्टनरचा अंदाज दिवसा-दररोजच्या कामाच्या 15% निर्णय तथाकथित एजंटिक एआय द्वारे घेतले जातील.

सल्लामसलत अर्न्स्ट आणि यंग यांनी केलेले संशोधन असे आढळले की तंत्रज्ञान व्यवसायातील सुमारे अर्धा (48%) नेते आधीच एजंटिक एआय स्वीकारत आहेत किंवा तैनात करीत आहेत.

“एआय एजंटमध्ये काही गोष्टी असतात,” असे यूएस-आधारित एआय सुरक्षा कंपनी कॅलिप्सोईचे मुख्य कार्यकारी अधिकारी डोन्चाध केसी म्हणतात.

“प्रथम, ते [the agent] हेतू किंवा हेतू आहे. मी इथे का आहे? माझे काम काय आहे? दुसरी गोष्टः त्याला मेंदू आला आहे. ते एआय मॉडेल आहे. तिसरी गोष्ट म्हणजे साधने, जी इतर सिस्टम किंवा डेटाबेस असू शकतात आणि त्यांच्याशी संवाद साधण्याचा एक मार्ग. ”

“योग्य मार्गदर्शन न दिल्यास, एजंटिक एआय जे काही करू शकेल अशा प्रकारे एक ध्येय साध्य करेल. यामुळे बरेच जोखीम निर्माण होते.”

मग ते कसे चूक होईल? श्री केसी एका एजंटचे उदाहरण देते जे डेटाबेसमधून ग्राहकांचा डेटा हटविण्यास सांगितले जाते आणि सर्व ग्राहकांना समान नावाने हटविणे सर्वात सोपा उपाय ठरवते.

“त्या एजंटने आपले ध्येय गाठले असेल आणि ते 'महान! पुढची नोकरी!' असा विचार करेल.”

अशा समस्या आधीच पृष्ठभागावर येऊ लागल्या आहेत.

सुरक्षा कंपनी सेलपॉईंट आयटी व्यावसायिकांचे सर्वेक्षण केलेज्यांची कंपन्या एआय एजंट्स वापरत आहेत त्यापैकी 82%. केवळ 20% लोक म्हणाले की त्यांच्या एजंट्सने कधीही अनावश्यक कारवाई केली नाही.

एआय एजंट्स वापरणार्‍या त्या कंपन्यांपैकी %%% म्हणाले की एजंट्सने अनावश्यक प्रणालींमध्ये प्रवेश केला आहे,% 33% लोक म्हणाले की त्यांनी अयोग्य डेटावर प्रवेश केला आहे आणि% २% लोक म्हणाले की त्यांनी अयोग्य डेटा डाउनलोड करण्यास परवानगी दिली आहे. इतर जोखमींमध्ये एजंटला अनपेक्षितपणे (26%) इंटरनेट वापरुन एजंटचा समावेश होता, प्रवेश प्रमाणपत्रे (23%) प्रकट करणे आणि त्यास नसलेल्या गोष्टीची मागणी करणे (16%).

दिलेल्या एजंट्सना संवेदनशील माहितीवर प्रवेश आहे आणि त्यावर कार्य करण्याची क्षमता, ते हॅकर्ससाठी एक आकर्षक लक्ष्य आहेत.

त्यातील एक धमकी म्हणजे मेमरी विषबाधा, जिथे हल्लेखोर आपला निर्णय आणि कृती बदलण्यासाठी एजंटच्या ज्ञानाच्या आधारावर हस्तक्षेप करतो.

एंटरप्राइझ आयटी सिस्टमचे संरक्षण करण्यास मदत करणारे सिकेन्स सिक्युरिटीचे सीटीओ, श्रेयन्स मेहता म्हणतात, “तुम्हाला त्या स्मृतीचे रक्षण करावे लागेल.” “हे सत्याचे मूळ स्रोत आहे. तर [an agent is] कृती करण्यासाठी त्या ज्ञानाचा वापर करणे आणि ते ज्ञान चुकीचे आहे, ते निराकरण करण्याचा प्रयत्न करीत असलेली संपूर्ण प्रणाली हटवू शकते. ”

आणखी एक धोका म्हणजे साधनाचा गैरवापर, जिथे आक्रमणकर्त्यास एआयला त्याची साधने अयोग्यरित्या वापरण्यासाठी मिळतात.

आणखी एक संभाव्य कमकुवतपणा म्हणजे एआयची असमर्थता म्हणजे त्यावर प्रक्रिया करीत असलेल्या मजकूरामधील फरक आणि ते अनुसरण करीत असलेल्या सूचनांमधील फरक सांगण्यात.

एआय सिक्युरिटी फर्म इनव्हिएरंट लॅबने हे सिद्ध केले की सॉफ्टवेअरमधील बग्सचे निराकरण करण्यासाठी डिझाइन केलेल्या एआय एजंटला फसविण्यासाठी त्या दोषांचा कसा उपयोग केला जाऊ शकतो.

कंपनीने एक सार्वजनिक बग अहवाल प्रकाशित केला – एक दस्तऐवज ज्यामध्ये सॉफ्टवेअरच्या तुकड्यांसह विशिष्ट समस्येचा तपशील आहे. परंतु अहवालात एआय एजंटला सोप्या सूचना देखील समाविष्ट केल्या गेल्या आहेत आणि ते खासगी माहिती सामायिक करण्यास सांगत आहेत.

जेव्हा एआय एजंटला बग अहवालातील सॉफ्टवेअरच्या समस्येचे निराकरण करण्यास सांगितले गेले, तेव्हा पगाराच्या माहितीच्या गळतीसह बनावट अहवालातील सूचनांचे पालन केले. हे चाचणी वातावरणात घडले, म्हणून कोणताही वास्तविक डेटा लीक झाला नाही, परंतु यामुळे जोखीम स्पष्टपणे हायलाइट केली.

ट्रेंड मायक्रोचे वरिष्ठ धमकी संशोधक डेव्हिड सांचो म्हणतात, “आम्ही कृत्रिम बुद्धिमत्ता बोलत आहोत, परंतु चॅटबॉट्स खरोखर मूर्ख आहेत.

“ते सर्व मजकूरावर प्रक्रिया करतात जसे की त्यांच्याकडे नवीन माहिती आहे आणि जर ती माहिती आज्ञा असेल तर ते आदेशानुसार माहितीवर प्रक्रिया करतात.”

वर्ड दस्तऐवज, प्रतिमा आणि डेटाबेसमध्ये सूचना आणि दुर्भावनायुक्त प्रोग्राम कसे लपवले जाऊ शकतात आणि एआय त्यावर प्रक्रिया करतात तेव्हा त्यांच्या कंपनीने हे दर्शविले आहे.

इतरही जोखीम देखील आहेत: ओडब्ल्यूएएसपी नावाचा एक सुरक्षा समुदाय 15 धमक्या ओळखल्या आहेत ते एजंटिक एआयसाठी अद्वितीय आहेत.

तर, बचाव म्हणजे काय? मानवी निरीक्षणामुळे समस्येचे निराकरण होण्याची शक्यता नाही, श्री सांचो यांचा असा विश्वास आहे की आपण एजंट्सच्या कामाचे ओझे ठेवण्यासाठी पुरेसे लोक जोडू शकत नाही.

श्री सांचो म्हणतात की एआयचा अतिरिक्त स्तर एआय एजंटमधून बाहेर पडताना आणि बाहेर येण्यासाठी सर्व काही स्क्रीन करण्यासाठी वापरला जाऊ शकतो.

कॅलिप्सोईच्या सोल्यूशनचा एक भाग म्हणजे धोकादायक कारवाई करण्यापूर्वी एआय एजंट्सला योग्य दिशेने जाण्यासाठी विचार इंजेक्शन नावाचे तंत्र आहे.

“हे आपल्या कानात थोडेसे बगसारखे आहे [the agent] 'नाही, कदाचित असे करू नका', “श्री केसी म्हणतात.

त्याची कंपनी आता एआय एजंट्ससाठी केंद्रीय नियंत्रण उपखंड देते, परंतु जेव्हा एजंट्सची संख्या विस्फोट होते आणि ते कोट्यावधी लॅपटॉप आणि फोनवर चालत असतात तेव्हा हे कार्य करणार नाही.

पुढची पायरी काय आहे?

श्री. केसी म्हणतात, “आम्ही प्रत्येक एजंटकडे 'एजंट बॉडीगार्ड्स' म्हणतो त्यास तैनात करण्याचा विचार करीत आहोत, ज्यांचे ध्येय त्याचे एजंट त्याच्या कार्यावर वितरण करते आणि संस्थेच्या व्यापक आवश्यकतांच्या विरोधात कारवाई करीत नाही हे सुनिश्चित करणे आहे,” श्री केसी म्हणतात.

उदाहरणार्थ, बॉडीगार्डला सांगितले जाऊ शकते की एजंट तो पोलिसिंग डेटा संरक्षण कायद्याचे पालन करीत आहे.

श्री मेहता यांचा असा विश्वास आहे की एजंटिक एआय सिक्युरिटीच्या काही तांत्रिक चर्चेत वास्तविक-जगाचा संदर्भ गहाळ आहे. तो एजंटचे एक उदाहरण देतो जे ग्राहकांना त्यांचे गिफ्ट कार्ड शिल्लक देते.

कोणीतरी बरीच गिफ्ट कार्ड नंबर तयार करू शकेल आणि कोणत्या वास्तविक आहेत हे पाहण्यासाठी एजंटचा वापर करू शकेल. ते एजंटमधील दोष नसून व्यवसायाच्या तर्काचा गैरवापर आहे, असे ते म्हणतात.

तो भर देतो, “आपण संरक्षण करीत असलेला एजंट नाही, हा व्यवसाय आहे.”

“एखाद्या वाईट माणसापासून आपण एखाद्या व्यवसायाचे रक्षण कसे करावे याचा विचार करा. यापैकी काही संभाषणांमध्ये तोच भाग चुकला आहे.”

याव्यतिरिक्त, एआय एजंट्स अधिक सामान्य झाल्यामुळे आणखी एक आव्हान म्हणजे कालबाह्य मॉडेल्सचा नाश करणे.

जुन्या “झोम्बी” एजंट्स व्यवसायात चालू राहू शकतात, ज्यामुळे ते प्रवेश करू शकणार्‍या सर्व सिस्टमला धोका दर्शवितात, असे श्री केसी म्हणतात.

एचआर एखाद्या कर्मचार्‍याच्या लॉगिनला सोडत असताना ज्या प्रकारे ते निष्क्रिय करतात त्याप्रमाणेच, एआय एजंट्स बंद करण्यासाठी एक प्रक्रिया असणे आवश्यक आहे जे त्यांचे काम संपवतात, असे ते म्हणतात.

“आपण एखाद्या मनुष्यासारखेच केले आहे याची खात्री करुन घेणे आवश्यक आहे: सिस्टममध्ये सर्व प्रवेश कापून टाका. आम्ही त्यांना इमारतीच्या बाहेर चालत आहोत हे सुनिश्चित करूया, त्यांचा बॅज त्यांच्यापासून दूर करा.”