कॉग्निशन NVIDIA Vera Rubin वर प्रभावशाली डेव्हिन वर्कलोड्स चालवत आहे – केस पेक्षा अधिक वेगवान GPU साठी

CoreWeave NVIDIA Vera Rubin NVL72 सिस्टीम CoreWeave Cloud वर मर्यादित उपलब्धतेत असल्याची घोषणा 30 सप्टेंबर रोजी केली. कॉग्निशन, डेव्हिनच्या मागे लागू केलेली एआय लॅब, प्लॅटफॉर्मवर उत्पादन वर्कलोड चालवणारा पहिला ग्राहक आहे.

FrontierCode टास्कमधून काढलेल्या SWE-2 अनुमान वर्कलोड्सवर, NVIDIA Vera Rubin NVL72 ने जुळलेल्या इंटरॅक्टिव्हिटीवर GB200 NVL72 बेसलाइनपेक्षा प्रति GPU 4.8 पट जास्त टोकन थ्रूपुट वितरित केले. FrontierCode टास्कचा एक उपसंच नमुने घेऊन आणि AI एजंट्सना त्यांचे निराकरण करून वर्कलोड तयार केला गेला.

उच्च टोकन थ्रूपुट उच्च कार्य यश दर किंवा अधिक बुद्धिमत्ता समान नाही.

NVIDIA Vera Rubin रोडमॅप स्लाइड्सच्या पलीकडे गेली आहे. उत्पादन एजंटची कार्ये आता सिस्टमवर चालतात.

कॉग्निशनच्या अभियंत्यांनी स्वतः मोजमाप केले.

सर्व आकडे CoreWeave इन्फ्रास्ट्रक्चरवर कार्यरत कॉग्निशनमधून आले आहेत आणि स्वतंत्र तृतीय-पक्ष सत्यापन अद्याप दिसून आलेले नाही.

एजंटिक वर्कलोड्स हार्डवेअरवर वेगवेगळ्या मागण्या ठेवतात

बहुतेक जनरेटिव्ह सिस्टम मॉडेलला प्रशिक्षण देण्यावर आणि नंतर टोकन सर्व्ह करण्यावर लक्ष केंद्रित करतात. एजंटिक सिस्टम अनेक अतिरिक्त पायऱ्या जोडतात. एजंटिक सिस्टीम पोस्ट-ट्रेनिंग लूपशी देखील जोडल्या जाऊ शकतात जेथे उत्पादन ट्रेस आणि यशस्वी किंवा अयशस्वी परिणाम नंतरचे मूल्यमापन आणि मॉडेल सुधारणा सूचित करतात.

कॉग्निशन डेव्हिनसारखे सॉफ्टवेअर-अभियांत्रिकी एजंट नमुना स्पष्टपणे दाखवतात, वारंवार मोठ्या रिपॉझिटरीज स्कॅन करतात आणि डझनभर क्रिया साखळी करतात. कोणत्याही एका चरणावरील विलंबता संपूर्ण अनुक्रमात गुणाकार करते. उच्च टोकन थ्रूपुट कार्य यश दर किंवा स्वतःहून बुद्धिमत्ता सुधारत नाही. वेगवान थ्रूपुट क्रमिक तर्क चरणांमधील प्रतीक्षा वेळ कमी करू शकते.

GPUs, CPUs, नेटवर्किंग फॅब्रिक आणि एकाच वेळी मोठ्या संख्येने पृथक अंमलबजावणी वातावरणांवर परिणामी दबाव पडतो हे CoreWeave सूचित करते.

NVIDIA Vera Rubin CPU सँडबॉक्स मर्यादा संबोधित करते

NVIDIA ने Vera ला AI एजंट्ससाठी तयार केलेले पहिले CPU म्हणून डिझाइन केले. CoreWeave प्रोसेसरला त्याच्या क्लाउडवर आणेल. CoreWeave चाचणीमध्ये, Vera ने अज्ञात पर्यायी x86 CPU पेक्षा 3× पेक्षा जास्त वेगवान एजंट-सँडबॉक्स स्टार्टअप तयार केले. टर्मिनल-बेंचवर, कंपनीने प्रत्येक पासिंग टास्कमध्ये 1.7x कामगिरी वाढ नोंदवली.

सॉफ्टवेअर-अभियांत्रिकी एजंट वारंवार मोठ्या भांडारांवर प्रक्रिया करतात, कोड कार्यान्वित करतात आणि दीर्घ टास्क चेनद्वारे पुनरावृत्ती करतात, जीपीयू, सीपीयू, नेटवर्किंग आणि हजारो वेगळ्या वातावरणावर एकाच वेळी दबाव टाकतात.

CoreWeave ने प्रथम जूनमध्ये Vera Rubin NVL72 आणले आणि प्रमाणित केले; सप्टेंबरची घोषणा प्रथम उत्पादन वापरकर्ता म्हणून कॉग्निशनसह, मर्यादित ग्राहक उत्पादनाकडे वाटचाल दर्शवते.

CoreWeave चे स्टँडअलोन रॅक-स्केल Nvidia Vera CPU कॉन्फिगरेशन 128 CPUs आणि 11,264 कोर पॅक करते; हे Vera Rubin NVL72 रॅकसह गोंधळात टाकू नये, जे 36 Vera CPUs सह 72 Rubin GPUs एकत्र करते. NVIDIA आणि CoreWeave नुसार, रॅकमध्ये 11,000 पेक्षा जास्त समवर्ती एक-कोर वातावरणासाठी पुरेसे CPU कोर आहेत.

CoreWeave सँडबॉक्सेस प्रत्येक पर्यावरण हार्डवेअर-विलग ठेवतात जेणेकरुन ते सपोर्ट करत असलेल्या प्रशिक्षण नोकऱ्यांच्या बरोबरीने वातावरण चालू शकते. स्पेक्ट्रम-एक्स इथरनेट स्विचेस आणि ब्लूफिल्ड-4 डीपीयू नोड्स दरम्यान सुरक्षित, उच्च-कार्यक्षमता, कमी-लेटन्सी कनेक्टिव्हिटी प्रदान करण्यासाठी डिझाइन केलेले आहेत. स्टँडअलोन Vera CPU ऑफर अद्याप सामान्यतः CoreWeave वर उपलब्ध नाही; कंपनी म्हणते की ते लवकरच येत आहे.

हे आधीपासून Vera Rubin NVL72 सिस्टीममध्ये एकत्रित केलेल्या Vera CPUs पासून वेगळे आहे.

CoreWeave फोर्ज दुवे उत्पादन सिग्नल सुधारण्यासाठी

हार्डवेअर घोषणेचा फक्त एक भाग बनवतो. CoreWeave ने फोर्ज लाँच केले, उत्पादन वर्तन पुढील सुधारणा चक्राशी जोडून ठेवण्यासाठी डिझाइन केलेले एक कनेक्टेड वातावरण.

फोर्ज AI लूप कव्हर करते – धावणे, निरीक्षण करणे, सुधारणे, सुधारणे आणि मूल्यमापन करणे – वजन आणि बायसेस मॉडेल्स, ओपनपाइप कौशल्य, मारिमो आणि कोअरवेव्ह सेवा एकत्र करणे.

नवीन किंवा विस्तारित सेवांमध्ये एजंट लेन्सचा समावेश होतो, जे उत्पादन ट्रेसचे कंक्रीट अंतर्दृष्टीमध्ये रूपांतर करते परंतु सामान्यतः उपलब्ध नसते. ARIA आता सामान्यतः प्रयोगाच्या धावांचे विश्लेषण करण्यासाठी आणि फॉलो-अप चाचण्या प्रस्तावित करण्यासाठी उपलब्ध आहे. सँडबॉक्स स्वतः सामान्यतः उपलब्ध असतात.

कॅनव्हा, कॅपिटल वन आणि मास्टरक्लास हे फोर्जमध्ये तयार होत असलेल्या पहिल्या कंपन्यांमध्ये आहेत. विविध मॉडेल्स, फ्रेमवर्क आणि अगदी इतर ढगांमध्येही वातावरण खुले राहते.

हार्डवेअरच्या अनेक पिढ्यांमधील संदर्भ

CoreWeave आणि NVIDIA कडे जवळपास एक दशकापासून सह-अभियांत्रिक पायाभूत सुविधा आहेत. नवीन प्रणाली येत असताना जुन्या GPU पिढ्या ग्राहकांच्या वर्कलोडला सेवा देत राहतात. NVIDIA चे इयान बक यांनी नमूद केले की व्होल्टा लाँच झाल्यानंतरही कोरेवेव्हचे मूळ V100 GPU अजूनही उत्पादन कार्ये चालवतात.

Nvidia Vera Rubin NVL72 एजंटिक उत्पादनामध्ये समान टिकाऊ दृष्टीकोन वाढवते.

नवीन प्रणालींची क्षमता CoreWeave Kubernetes Service, SUNK, मिशन कंट्रोल, सँडबॉक्सेस आणि CoreWeave Inference द्वारे चालते. CoreWeave म्हणते की कॉग्निशनने रॅक हँडओव्हरच्या काही दिवसात उत्पादन वर्कलोड्स ऑनलाइन आणले.

व्यावहारिक परिणाम खुले राहतात

मोजलेले थ्रुपुट आणि सँडबॉक्स लाभ कमी ऑपरेटिंग खर्च, लहान पुनरावृत्ती चक्र किंवा उच्च-गुणवत्तेचे सॉफ्टवेअर तयार करतात की नाही हे पूर्णपणे विशिष्ट एजंट आणि आसपासच्या अभियांत्रिकी प्रक्रियेवर अवलंबून असते.

CoreWeave ने Nvidia Vera Rubin क्षमता किंमत किंवा विस्तृत हार्डवेअर उपलब्धतेसाठी तारीख प्रकाशित केलेली नाही; फोर्ज, स्वतंत्रपणे, विनामूल्य, प्रो आणि एंटरप्राइझ आवृत्त्यांमध्ये ऑफर केले जाते.

एआय सिस्टीमने वेगळ्या पिढ्यांऐवजी वास्तविक कार्याचा विस्तारित क्रम पूर्ण केल्यानंतर पायाभूत सुविधा कशा विकसित झाल्या पाहिजेत हा मोठा प्रश्न आहे.