एआय उद्योगाने स्वतःची लीक अर्थव्यवस्था विकसित केली आहे. एक प्रमुख मॉडेल अधिकृतपणे लॉन्च करण्यापूर्वी, सोशल मीडिया आधीपासूनच स्क्रीनशॉट, कथित अंतर्गत नावे, बेंचमार्क दावे, कथित रिलीझ विंडो आणि मॉडेल कथितपणे काय करू शकते याचे प्रात्यक्षिकांनी भरले जाऊ शकते.
Mr_Salio सारखी खाती त्या इकोसिस्टमचा भाग बनली आहेत, वारंवार AI बातम्या, लीक आणि बेंचमार्क-संबंधित दावे पोस्ट करतात. त्याच्या अलीकडील फीडमध्ये GPT-6 Astra, Anthropic's Mythos आणि Fable मॉडेल्स आणि इतर कथित आगामी प्रणालींबद्दलच्या पोस्टचा समावेश आहे. अशा पोस्ट मोठ्या प्रमाणात लक्ष वेधून घेऊ शकतात, परंतु दृश्यमानता पडताळणीमध्ये गोंधळून जाऊ नये.
एआय लीकचे तीन स्तर
ठराविक AI गळतीमध्ये अनेक भिन्न स्तर असतात जे सहसा एक कथा म्हणून सादर केले जातात.
- पुरावा: यात अधिकृत मॉडेल रिलीझ, प्रवेशयोग्य API, सार्वजनिक बेंचमार्क परिणाम, स्वतंत्रपणे पुनरुत्पादित केले जाऊ शकणारे उत्पादन स्क्रीनशॉट किंवा कंपनीने स्वतः प्रकाशित केलेले दस्तऐवजीकरण समाविष्ट असू शकते.
- व्याख्या: कोणीतरी असामान्यपणे मजबूत आउटपुट पाहतो आणि असा निष्कर्ष काढू शकतो की नवीन मॉडेल कोडिंग, तर्क किंवा इंटरफेस निर्मितीमध्ये बरेच चांगले आहे. ते स्पष्टीकरण वाजवी असू शकते, परंतु एकल प्रात्यक्षिक सामान्य कामगिरी स्थापित करत नाही.
- अंदाज: अधिकृत दस्तऐवजीकरणाद्वारे समर्थित असल्याशिवाय रिलीजच्या तारखा, भविष्यातील मॉडेलची नावे, पॅरामीटर संख्या, किंमत किंवा आगामी प्रकारांबद्दलचे दावे येथे आहेत.
हा फरक विशेषतः अशा भाषा वापरणाऱ्या पोस्टमध्ये महत्त्वाचा आहे जसे की “या आठवड्यात घसरण“पराभूत करू शकतो“अहवालानुसार,” किंवा “अंतर्गत चाचणी दाखवते.” ही वाक्ये पोस्टरच्या दाव्याला अचूकपणे संप्रेषण करू शकतात आणि तरीही त्याची स्वतंत्र पुष्टी देत नाहीत.
GPT-6 Astra पडताळणी का महत्त्वाची आहे हे दाखवते
GPT-6 Astra एक उपयुक्त केस स्टडी प्रदान करते कारण मॉडेलच्या सभोवतालचे दावे अखेरीस चाचणी करण्यायोग्य बनले. OpenAI आता अधिकृतपणे Astra चे सर्वात सक्षम मॉडेल म्हणून वर्णन करते, जे जटिल तर्क, कोडिंग, संगणक वापर, संशोधन आणि व्यावसायिक कामासाठी तयार केले गेले आहे. त्याचे प्रकाशित मूल्यमापन संगणक वापर, कोडींग आणि गणितीय तर्क यासह अनेक कार्यांवर GPT-5.6 Sol वर भरीव नफा दाखवतात.
परंतु अधिक मनोरंजक पुरावे ओपनएआयच्या बाहेरून येतात.
ARC प्राइजने ARC-AGI-3 वर GPT-6 Astra चे स्वतंत्रपणे मूल्यमापन केले आणि त्याचे मानक हार्नेस आणि प्रोव्हायडर अडॅप्टर हार्नेस यांच्यातील मुख्य फरक नोंदवला. मानक सेटअप अंतर्गत, Astra ने 62.7% रेकॉर्ड केले, तर प्रदाता अडॅप्टर कॉन्फिगरेशनने 99.9% निकाल दिला. तो फरक तळटीप नाही; बेंचमार्क स्कोअर म्हणजे काय मूल्यमापन पद्धती भौतिकरित्या प्रभावित का करू शकते हे ते दर्शवते.
ARC प्राइज हे देखील आढळले की Astra ने त्याच्या प्रदाता अडॅप्टर मूल्यमापन अंतर्गत चाचणी केलेल्या 96% स्तरांवर सरासरी मानवी बेसलाइनपेक्षा कमी क्रिया वापरल्या. त्याच वेळी, एआरसी प्राइजने स्पष्टपणे चेतावणी दिली की एआरसी-एजीआय-3 सॅच्युरेटिंगला सिस्टमने एजीआय प्राप्त केल्याचा पुरावा मानला जाऊ नये. अगदी साध्या संदर्भाचा हाच प्रकार आहे “नवीन मॉडेल स्कोअर 99.9%” शीर्षक.
बेंचमार्क स्कोअर हे संपूर्ण मॉडेल नाही
AI बेंचमार्क उपयुक्त आहेत कारण ते तुलनेसाठी नियंत्रित परिस्थिती निर्माण करतात. ते जादूचे आकडे नाहीत जे स्वतंत्रपणे बुद्धिमत्ता परिभाषित करतात.
बेंचमार्क निकालाला संदर्भ आवश्यक आहे: कशाची चाचणी केली गेली? मॉडेलला साधने वापरण्याची परवानगी होती का? कोणती तर्क सेटिंग वापरली गेली? किती प्रयत्न केले? मूल्यांकनासाठी किती खर्च आला? चाचणी सार्वजनिक की खाजगी होती? बेंचमार्क प्रदाता-तटस्थ होता? मॉडेलची क्षमता सामान्य वर्कलोड्समध्ये हस्तांतरित झाली का?
हे प्रश्न एजंटिक AI साठी विशेषतः महत्वाचे बनतात. स्टॅटिक प्रश्न-उत्तर बेंचमार्कवर चांगली कामगिरी करणारे मॉडेल ब्राउझर ऑपरेट करणे, फाइल्स संपादित करणे, कमांड कार्यान्वित करणे, चुकांमधून पुनर्प्राप्त करणे आणि दीर्घकाळ चालणारे कार्य पूर्ण करणे यापेक्षा वेगळे काहीतरी दाखवत आहे. नंतरचे नियोजन, साधन निवड, राज्य व्यवस्थापन आणि त्रुटी पुनर्प्राप्ती यांचा समावेश असलेले अतिरिक्त अपयशी मुद्दे सादर करतात. म्हणूनच तांत्रिकदृष्ट्या अर्थपूर्ण लीक कथेने प्रत्यक्षात कोणती क्षमता दर्शविली जात आहे हे स्पष्ट केले पाहिजे.
दंतकथा 5 लीक समस्येची दुसरी बाजू दाखवते
अँथ्रोपिकची दंतकथा 5 एक वेगळी समस्या दर्शवते: कधीकधी मनोरंजक माहिती मॉडेल अस्तित्वात आहे की नाही हे नसते, परंतु त्यात प्रवेश का बदलतो. Anthropic ने अधिकृतपणे Fable 5 ला सामान्य वापरासाठी डिझाइन केलेले अत्यंत सक्षम मॉडेल म्हणून लाँच केले, तसेच त्याच्या क्षमतांनी अतिरिक्त सायबरसुरक्षा जोखीम निर्माण केली हे देखील मान्य केले. जूनमध्ये, कंपनीने सांगितले की यूएस सरकारच्या निर्देशानुसार राष्ट्रीय-सुरक्षेच्या चिंतेमुळे फेबल 5 आणि मिथॉस 5 वर प्रवेश निलंबित करणे आवश्यक आहे. एन्थ्रोपिकने नंतर जाहीर केले की निर्बंध उठवले गेले आहेत आणि फेबल 5 जागतिक स्तरावर पुन्हा तैनात केले जाईल.
हा इतिहास नवीन मानववंशीय मॉडेल्सच्या सोशल मीडिया दाव्यांसाठी महत्त्वपूर्ण संदर्भ प्रदान करतो. निर्बंधांमुळे विकास किंवा तैनातीवर परिणाम झाला असे सुचवणारी पोस्ट कदाचित वाजवी वाटू शकते, परंतु वास्तविक प्रवेश प्रतिबंधाचे अस्तित्व अंतर्गत मॉडेल्स, भविष्यातील आवृत्त्या किंवा रिलीझ योजनांबद्दलच्या प्रत्येक दाव्याचे स्वयंचलितपणे प्रमाणीकरण करत नाही. दुसऱ्या शब्दांत, एक सत्यापित तथ्य असत्यापित दाव्यांच्या संपूर्ण साखळीचा पुरावा म्हणून वापरला जाऊ नये.
काय स्पर्धक कव्हरेज अनेकदा चुकते
एआय-लीक कव्हरेजमधील सर्वात मोठी कमकुवतपणा ही नाही की अहवाल खोटे आहे. हे असे आहे की निश्चिततेच्या विविध स्तरांना एकाच परिच्छेदामध्ये संकुचित केले जाते.
एक मजबूत दृष्टीकोन माहितीच्या स्थितीनुसार लेबल करते. अधिकृत घोषणेची पुष्टी झाली आहे. स्वतंत्रपणे पुनरुत्पादित केलेला बेंचमार्क स्वतंत्रपणे सत्यापित केला जातो. तृतीय पक्षाने दिलेला स्क्रीनशॉट हा पुरावा आहे, परंतु त्याचे मूळ अद्याप महत्त्वाचे आहे. विकासक प्रात्यक्षिक सामान्य कार्यप्रदर्शन स्थापित केल्याशिवाय एका प्रसंगात काय घडले हे दर्शवू शकते. अप्रकाशित मॉडेलबद्दल निनावी दावा हा दावा राहतो.
ती रचना AI कव्हरेजला अधिक उपयुक्त बनवते कारण वाचकांना लगेच समजू शकते की त्यांनी कशावर विश्वास ठेवला पाहिजे, त्यांनी कशाची चौकशी करावी आणि त्यांना सट्टा म्हणून काय मानले पाहिजे.
प्रत्येक गळतीमागील तांत्रिक प्रश्न
सर्वात मौल्यवान एआय लीक कथांनी शेवटी एका प्रश्नाचे उत्तर दिले पाहिजे: जर हा दावा खरा असेल तर, तांत्रिकदृष्ट्या काय बदलते?
एक अफवा असलेली मोठी संदर्भ विंडो एका परस्परसंवादात मॉडेल किती माहितीवर प्रक्रिया करू शकते यावर परिणाम करू शकते, परंतु प्रभावी दीर्घ-संदर्भ कार्यप्रदर्शन देखील पुनर्प्राप्ती गुणवत्तेवर आणि मॉडेलची माहिती अचूकपणे वापरण्याच्या क्षमतेवर अवलंबून असते.
दावा केलेला तर्क सुधारणे जटिल कार्यांवर कार्यप्रदर्शन सुधारू शकते, परंतु उच्च तर्कशक्तीच्या प्रयत्नामुळे विलंब किंवा अनुमान खर्च देखील वाढू शकतो. सॉफ्टवेअर कार्यसंघांसाठी एक अपेक्षित कोडिंग प्रगती खूप महत्त्वाची असू शकते, परंतु मॉडेल डेमोमध्ये प्रभावी कोड तयार करते की नाही हे संबंधित चाचणी नाही. हे खरे कोडबेस विश्वसनीयरित्या बदलू शकते, चाचण्या उत्तीर्ण करू शकते, मर्यादांचा आदर करू शकते आणि नवीन दोष सादर करणे टाळू शकते.
त्याचप्रमाणे, कथित एजंटिक यशाचे मूल्यमापन कार्य पूर्ण करणे, अयशस्वी होण्यापासून पुनर्प्राप्ती, साधनांचा वापर आणि खर्चाद्वारे केले पाहिजे.
व्हायरल लीक पासून सत्यापित कथा
एआय लीक अदृश्य होण्याची शक्यता नाही. किंबहुना, मॉडेल डेव्हलपमेंट जसजसे अधिक स्पर्धात्मक होईल, तसतसे लवकर माहिती प्रसारित करण्यासाठी प्रोत्साहन वाढेल.
गळतीकडे दुर्लक्ष न करणे किंवा अविवेकीपणे त्यांची पुनरावृत्ती करणे हा उत्तम प्रतिसाद आहे. त्यांना लीड्स मानणे आहे. Mr_Salio चे फीड हे दाखवते की फ्रंटियर मॉडेल्सच्या आसपासचे दावे किती लवकर ऑनलाइन AI इकोसिस्टममधून पुढे जाऊ शकतात. परंतु व्हायरल पोस्टनंतर अधिक उपयुक्त अहवाल सुरू होतो: मॉडेल अस्तित्वात आहे की नाही हे तपासणे, मूळ पुरावा प्रत्यक्षात काय दर्शवतो हे ओळखणे, अधिकृत दस्तऐवजीकरणाच्या विरूद्ध दाव्याची तुलना करणे, स्वतंत्र मूल्यमापन शोधणे आणि तांत्रिक महत्त्व स्पष्ट करणे.
तो दृष्टिकोन दुसऱ्यापेक्षा अधिक मौल्यवान काहीतरी तयार करतो “एक्स वापरकर्त्याचा दावा आहे की आगामी एआय मॉडेल सर्वकाही बदलेल“कथा. पुरावे कोठे संपतात आणि अनुमान कोठे सुरू होते हे समजून घेण्याचा एक मार्ग वाचकांना देते.
(स्त्रोत)
Comments are closed.