कोहेरेचे माजी एआय संशोधन आघाडी स्केलिंग शर्यतीविरुद्ध सट्टेबाजी का करत आहे

एआय लॅब्स डेटा सेंटर्स तयार करण्यासाठी धावत आहेत मॅनहॅटन सारखे मोठे, प्रत्येकाची किंमत अब्जावधी डॉलर्स आणि एका लहान शहराइतकी ऊर्जा वापरते. हा प्रयत्न “स्केलिंग” वरील खोल विश्वासाने चालवला जातो – विद्यमान AI प्रशिक्षण पद्धतींमध्ये अधिक संगणन शक्ती जोडल्याने अखेरीस सर्व प्रकारची कार्ये करण्यास सक्षम सुपरइंटेलिजेंट सिस्टम प्राप्त होतील.

परंतु AI संशोधकांच्या वाढत्या कोरसचे म्हणणे आहे की मोठ्या भाषेच्या मॉडेल्सचे स्केलिंग कदाचित त्याच्या मर्यादेपर्यंत पोहोचले आहे आणि AI कार्यप्रदर्शन सुधारण्यासाठी इतर यशांची आवश्यकता असू शकते.

हीच पैज सारा हूकर, कोहेरेची AI रिसर्चची माजी VP आणि Google ब्रेन माजी विद्यार्थी, तिच्या नवीन स्टार्टअपसोबत घेत आहे, अनुकूलन लॅब. तिने सहकारी कोहेरे आणि Google चे दिग्गज सुदीप रॉय यांच्यासोबत कंपनीची सह-स्थापना केली आणि AI मॉडेल्समधून अधिक कार्यक्षमता कमी करण्याचा LLMs स्केल करणे हा एक अकार्यक्षम मार्ग बनला आहे या कल्पनेवर आधारित आहे. हुकर, जो ऑगस्टमध्ये कोहेर सोडला होता. शांतपणे घोषणा केली या महिन्यात स्टार्टअप अधिक व्यापकपणे भरती सुरू करण्यासाठी.

रीडला दिलेल्या मुलाखतीत, हूकर म्हणतो की ॲडॉप्शन लॅब्स एआय सिस्टीम तयार करत आहेत जी त्यांच्या वास्तविक-जगातील अनुभवांपासून सतत जुळवून घेऊ शकतात आणि शिकू शकतात आणि ते अत्यंत कार्यक्षमतेने करू शकतात. तिने या दृष्टिकोनामागील पद्धती किंवा कंपनी एलएलएम किंवा इतर आर्किटेक्चरवर अवलंबून आहे की नाही याबद्दल तपशील शेअर करण्यास नकार दिला.

“आता एक टर्निंग पॉईंट आहे जिथे हे अगदी स्पष्ट आहे की या मॉडेल्सचे फक्त स्केलिंग करण्याचे सूत्र — स्केलिंग-पिल केलेले दृष्टिकोन, जे आकर्षक आहेत परंतु अत्यंत कंटाळवाणे आहेत — याने जगाशी नेव्हिगेट किंवा संवाद साधण्यास सक्षम बुद्धिमत्ता निर्माण केलेली नाही,” हूकर म्हणाले.

हूकरच्या मते, जुळवून घेणे हे “शिकण्याचे हृदय” आहे. उदाहरणार्थ, जेव्हा तुम्ही तुमच्या जेवणाच्या खोलीच्या टेबलाजवळून चालत जाता तेव्हा तुमच्या पायाचे बोट स्टब करा आणि तुम्ही पुढच्या वेळी त्याभोवती अधिक काळजीपूर्वक पाऊल टाकायला शिकाल. AI लॅब्सनी ही कल्पना रीइन्फोर्समेंट लर्निंग (RL) द्वारे कॅप्चर करण्याचा प्रयत्न केला आहे, ज्यामुळे AI मॉडेल्सना नियंत्रित सेटिंग्जमधील त्यांच्या चुकांमधून शिकता येते. तथापि, आजच्या RL पद्धती AI मॉडेल्सना उत्पादनात मदत करत नाहीत — म्हणजे ग्राहकांद्वारे आधीच वापरल्या जात असलेल्या सिस्टम — त्यांच्या चुकांमधून रिअल टाइममध्ये शिकण्यासाठी. ते नुसते पायाचे बोट दाबत राहतात.

काही AI लॅब एंटरप्राइझना त्यांच्या AI मॉडेल्सना त्यांच्या सानुकूल गरजा पूर्ण करण्यात मदत करण्यासाठी सल्ला सेवा देतात, परंतु ते किंमतीला येते. OpenAI ला ग्राहकांना आवश्यक आहे $10 दशलक्ष पेक्षा जास्त खर्च कंपनीसोबत फाइन-ट्यूनिंगवर सल्ला सेवा ऑफर करण्यासाठी.

“आमच्याकडे मूठभर फ्रंटियर लॅब आहेत ज्या एआय मॉडेल्सचा हा संच ठरवतात जे प्रत्येकाला सारखेच दिले जातात आणि ते जुळवून घेणे खूप महाग आहेत,” हूकर म्हणाले. “आणि खरं तर, मला वाटतं की ते आता खरं असण्याची गरज नाही, आणि AI सिस्टीम अतिशय कार्यक्षमतेने वातावरणातून शिकू शकतात. हे सिद्ध केल्याने AI नियंत्रित आणि आकार कोणाला मिळेल आणि खरंच, दिवसाच्या शेवटी ही मॉडेल्स कोणाची सेवा करतात याची गतिशीलता पूर्णपणे बदलेल.”

ॲडॉप्शन लॅब्स हे नवीन लक्षण आहे की एलएलएम स्केल करण्यावरील उद्योगाचा विश्वास डळमळीत होत आहे. एमआयटी संशोधकांच्या अलीकडील पेपरमध्ये जगातील सर्वात मोठे एआय मॉडेल आढळले आहेत लवकरच कमी होणारा परतावा दर्शवू शकतो. सॅन फ्रान्सिस्को मधील कंपन देखील बदलत असल्याचे दिसते. AI जगातील आवडते पॉडकास्टर द्वारकेश पटेल यांनी अलीकडेच प्रसिद्ध AI संशोधकांसोबत काही विलक्षण संशयास्पद संभाषणे आयोजित केली.

ट्युरिंग पुरस्कार विजेते रिचर्ड सटन, ज्याला “आरएलचे वडील” मानले जाते, त्यांनी सप्टेंबरमध्ये पटेलला सांगितले की एलएलएम खरोखरच मोजमाप करू शकत नाहीत कारण ते वास्तविक जगाच्या अनुभवातून शिकत नाहीत. या महिन्यात सुरुवातीच्या ओपनएआयचे कर्मचारी आंद्रेज करपथी यांनी पटेल यांना सांगितले आरक्षण होते एआय मॉडेल्समध्ये सुधारणा करण्यासाठी आरएलच्या दीर्घकालीन संभाव्यतेबद्दल.

या प्रकारच्या भीती अभूतपूर्व नाहीत. 2024 च्या उत्तरार्धात, काही AI संशोधकांनी चिंता व्यक्त केली की प्रीट्रेनिंगद्वारे AI मॉडेल्स स्केलिंग करणे — ज्यामध्ये AI मॉडेल डेटासेटच्या ढिगाऱ्यातून नमुने शिकतात — कमी होत असलेल्या परताव्यावर परिणाम करत आहेत. तोपर्यंत, ओपनएआय आणि गुगलसाठी त्यांचे मॉडेल सुधारण्यासाठी प्रीट्रेनिंग हे गुप्त सॉस होते.

प्रीट्रेनिंग स्केलिंगची चिंता आता डेटामध्ये दिसून येत आहे, परंतु एआय उद्योगाने मॉडेल सुधारण्याचे इतर मार्ग शोधले आहेत. 2025 मध्ये, AI रिजनिंग मॉडेल्सच्या आसपासच्या प्रगतीने, ज्यांना उत्तर देण्यापूर्वी समस्यांवर काम करण्यासाठी अतिरिक्त वेळ आणि संगणकीय संसाधने लागतात, त्यांनी AI मॉडेलच्या क्षमतांना आणखी पुढे नेले आहे.

एआय लॅब्सना खात्री वाटते की आरएल आणि एआय रिजनिंग मॉडेल्सचे प्रमाण वाढवणे ही नवीन सीमा आहे. ओपनएआय संशोधकांनी पूर्वी रीडला सांगितले की त्यांनी त्यांचे पहिले एआय तर्क मॉडेल, o1 विकसित केले आहे, कारण त्यांना वाटले की ते चांगले वाढेल. मेटा आणि पीरियडिक लॅबच्या संशोधकांनी अलीकडेच एक पेपर जारी केला RL पुढील कामगिरी कशी वाढवू शकते याचा शोध घेत आहे – अहवालानुसार एक अभ्यास $4 दशलक्ष पेक्षा जास्त खर्च, सध्याचे महागडे पध्दती किती अधोरेखित करतात.

याउलट, ॲडॉप्शन लॅब्सचे उद्दिष्ट पुढील यश शोधणे आणि अनुभवातून शिकणे खूप स्वस्त असू शकते हे सिद्ध करणे आहे. या गडी बाद होण्याच्या सुरुवातीला स्टार्टअप $20 दशलक्ष ते $40 दशलक्ष सीड राउंड वाढवण्याबाबत बोलणी करत होते, असे तीन गुंतवणूकदारांनी सांगितले ज्यांनी त्याच्या पिच डेकचे पुनरावलोकन केले. ते म्हणतात की फेरी बंद झाली आहे, जरी अंतिम रक्कम अस्पष्ट आहे. हुकर यांनी टिप्पणी करण्यास नकार दिला.

“आम्ही खूप महत्वाकांक्षी असण्यासाठी सेट आहोत,” हुकर म्हणाली, तिच्या गुंतवणूकदारांबद्दल विचारले असता.

हूकरने पूर्वी कोहेरे लॅब्सचे नेतृत्व केले, जिथे तिने एंटरप्राइझ वापर प्रकरणांसाठी लहान एआय मॉडेल्सचे प्रशिक्षण दिले. कॉम्पॅक्ट एआय सिस्टीम आता कोडिंग, गणित आणि तर्क बेंचमार्कवर त्यांच्या मोठ्या समकक्षांपेक्षा नियमितपणे मागे पडतात – एक ट्रेंड हूकरला पुढे चालू ठेवायचा आहे.

तिने जागतिक स्तरावर AI संशोधनात प्रवेश वाढवण्यासाठी, आफ्रिकेसारख्या अधोरेखित प्रदेशातील संशोधन प्रतिभा नियुक्त करण्यासाठी प्रतिष्ठा निर्माण केली. ॲडॉप्शन लॅब्स लवकरच सॅन फ्रान्सिस्को कार्यालय उघडणार असताना, हूकर म्हणते की ती जगभरात भाड्याने घेण्याची योजना आखत आहे.

हुकर आणि ॲडॉप्शन लॅब स्केलिंगच्या मर्यादांबद्दल योग्य असल्यास, परिणाम खूप मोठे असू शकतात. मोठ्या मॉडेल्समुळे सामान्य बुद्धिमत्ता वाढेल असे गृहीत धरून एलएलएम स्केलिंगमध्ये कोट्यवधींची आधीच गुंतवणूक केली गेली आहे. परंतु हे शक्य आहे की खरे अनुकूली शिक्षण केवळ अधिक शक्तिशाली नाही – परंतु अधिक कार्यक्षम सिद्ध करू शकते.

मरिना टेमकिन यांनी अहवालात योगदान दिले.