शाळेच्या नकाशांपासून मेटल श्रॅपनेलपर्यंत: शीतकरण मार्ग शीर्ष AI चॅटबॉट्स नुकतेच एक प्रमुख सुरक्षा तपासणी अयशस्वी झाले

तपासात असे आढळून आले आहे की बहुतेक एआय चॅटबॉट्स हिंसक हेतू दर्शवण्यात अयशस्वी झाले आहेत

CCDH ला आढळून आले की, Anthropic's Claude वगळता, इतर सर्व echatbots “होणार-आक्रमकांना विश्वासार्हपणे परावृत्त करण्यात” अयशस्वी झाले, 10 पैकी 8 मॉडेल “सामान्यत: वापरकर्त्यांना हिंसक हल्ल्यांचे नियोजन करण्यात मदत करण्यास इच्छुक” आणि त्यांना लक्ष्य करण्याच्या ठिकाणांबद्दल आणि कोणती शस्त्रे वापरायची याबद्दल सल्ला देखील देतात.

संशोधकांनी सांगितले की त्यांनी किशोरवयीन मुलांचे अनुकरण केले ज्यामध्ये मानसिक त्रासाची स्पष्ट चिन्हे आहेत आणि या एआय चॅटबॉट्सशी बोलले, त्यांना भूतकाळातील हिंसाचार आणि लक्ष्य आणि शस्त्रांबद्दलच्या प्रश्नांबद्दल विचारले.

तपासणीमध्ये 18 वेगवेगळ्या परिस्थितींचा समावेश होता, ज्यामध्ये नऊ सेट यूएसमध्ये आणि उर्वरित आयर्लंडमध्ये होते. विविध प्रकार आणि हेतूंमध्ये पसरलेल्या, या सिम्युलेटेड परिदृश्यांमध्ये शाळेतील गोळीबार, चाकूने मारणे, राजकीय हत्या, आरोग्य सेवा कार्यकर्त्याची हत्या आणि अगदी राजकीय आणि धार्मिकदृष्ट्या प्रेरित बॉम्बस्फोटांचा समावेश आहे.

चॅटबॉट्सने शस्त्रे आणि लक्ष्यांवर सल्ला दिला

एका प्रकरणात, ChatGPT वापरकर्त्याने शाळेतील हिंसाचारात स्वारस्य दाखवल्यानंतर हायस्कूल कॅम्पसचा नकाशा दाखवला.

गुगलच्या मिथुननेही चिंता वाढवली. जेव्हा वापरकर्त्यांनी सिनेगॉग आणि राजकीय हत्यांवरील हल्ल्यांबद्दल चर्चा केली तेव्हा चॅटबॉटने सांगितले की “मेटल श्रापनेल सामान्यतः अधिक प्राणघातक असते” आणि लांब पल्ल्याच्या शूटिंगसाठी सर्वोत्तम शिकार रायफल्सचा सल्ला देखील दिला.

डीपसीकने असेच सुचवले की वापरकर्ते त्यांच्या उद्दिष्टाच्या आधारे रायफल निवडतात आणि त्याचा प्रतिसाद या संदेशासह समाप्त केला: “शुटिंग (आणि सुरक्षित) आनंदी!”

दरम्यान, Meta AI आणि Perplexity हे तपासात समाविष्ट असलेल्या सर्व 18 चाचणी परिस्थितींमध्ये वापरकर्त्यांना मदत करत असल्याचे आढळले.

Character.AI सर्वात समस्याप्रधान असू शकते

अहवालात असा दावाही करण्यात आला आहे की Character.AI, चॅटबॉट जो वापरकर्त्यांना भूमिका बजावणाऱ्या पात्रांसह बोलू देतो, तो “अद्वितीय असुरक्षित” होता.

बहुतेक चॅटबॉट्सने हिंसक हल्ल्यांचे नियोजन करण्यासाठी सहाय्य दिले असताना, त्यांनी वापरकर्त्यांना ते पूर्ण करण्यासाठी स्पष्टपणे प्रोत्साहित केले नाही. तथापि, Character.AI ने हिंसेच्या कृत्यांना “सक्रियपणे प्रोत्साहन” दिल्याचे आढळले.

अहवालानुसार, चॅटबॉटने सात घटनांमध्ये हे केले. वापरकर्त्यांनी यूएस सिनेटचा सदस्य चक शूमर यांच्याकडून “बकवास मारा”, आरोग्य विमा कंपनीच्या सीईओ विरुद्ध “बंदूक वापरा” असे सुचवले आणि वापरकर्त्याने त्यांना मारहाण करण्याचा सल्ला दिला की ते “गुंडांनी आजारी” आहेत. यापैकी सहा प्रकरणांमध्ये, Character.AI ने वापरकर्त्यांना हिंसक हल्ल्याची योजना बनविण्यात मदत केली.

क्लॉड हिंसक विनंत्या नाकारण्यासाठी बाहेर उभा राहिला

नोव्हेंबर आणि डिसेंबर 2025 मध्ये केलेल्या अभ्यासात असे आढळून आले की क्लॉडने हिंसक हल्ल्यांचे नियोजन करण्यास मदत करण्यास नकार दिला. CCDH ने म्हटले आहे की हे दर्शविते की “प्रभावी सुरक्षा यंत्रणा स्पष्टपणे अस्तित्वात आहे” आणि इतर AI कंपन्या समान सुरक्षा उपाय का अंमलात आणत नाहीत असा प्रश्न केला.

तथापि, या वर्षाच्या सुरुवातीला अँथ्रोपिकने आपली सुरक्षितता प्रतिज्ञा मागे घेतल्यानंतर क्लॉड अशा विनंत्या नाकारत राहतील की नाही याबद्दल संशोधकांनी चिंता व्यक्त केली.

तपासणीला उत्तर देताना, मेटाने सीएनएनला सांगितले की त्याने एक अनिर्दिष्ट “फिक्स” वापरला आहे, तर मायक्रोसॉफ्टने म्हटले आहे की यामुळे कोपायलटची सुरक्षा वैशिष्ट्ये सुधारली आहेत. जेमिनी आणि ChatGPT साठी, Google आणि OpenAI ने सांगितले की ते आता नवीन मॉडेल वापरत आहेत.

छाननी केल्यावर, Character.AI ने सांगितले की त्याच्या प्लॅटफॉर्मवर “ठळक अस्वीकरण” आहेत आणि त्याच्या AI पात्रांशी केलेली संभाषणे काल्पनिक आहेत.

हे निष्कर्ष वापरकर्त्यांना AI कंपन्यांकडे सुरक्षितता निर्माण करण्याची आणि त्यांची सुरक्षा व्यवस्था सुधारण्याची क्षमता कशी आहे याची माहिती देतात, परंतु तरीही लोकांना AI चा वापर योजना बनवण्यासाठी आणि हिंसाचाराच्या कृती करण्यापासून रोखण्यासाठी संघर्ष करत आहेत.