Nvidia चा AI फायदा GPU च्या पलीकडे जात आहे

या आठवड्यापूर्वी, Nvidia बद्दलची प्रबळ कथा अशी काही होती: AI बूमच्या पहिल्या काही वर्षांसाठी, Nvidia हा अत्याधुनिक GPU साठी एकमेव स्त्रोत होता, जो उद्योग वाढल्यामुळे खूप फायदेशीर झाला. गेल्या काही वर्षांमध्ये, Amazon आणि Google सारख्या हायपरस्केलर्सनी त्यांच्या स्वतःच्या चिप्स तयार करण्यास सुरुवात केली आहे आणि Nvidia हा आता शहरातील एकमेव खेळ नाही, ज्यामुळे अनेक गुंतवणूकदारांना आश्चर्य वाटू लागले आहे की त्याचा फायदा खरोखर किती टिकाऊ आहे.

ही एक आकर्षक कथा आहे आणि बहुतेक सत्य आहे. 2023 च्या सुरुवातीपासून आणि 2025 च्या मध्यापर्यंत त्याचे मार्केट कॅप 10 पट वाढल्यानंतर, GPU स्पर्धेच्या चिंतेमुळे Nvidia शेअर्स गेल्या वर्षभरात अधिक माफक मार्गावर आहेत.

बुधवारी कंपनीच्या कमाईनंतर एक नवीन कथा आकार घेत आहे आणि गुंतवणूकदारांना हे समजू लागले आहे की Nvidia चा फायदा GPU च्या पलीकडे आहे. जसजसे AI ची गणना गिगावॅट स्केलमध्ये होत आहे, तसतसे ऑर्केस्ट्रेशन हे एक जटिल कार्य बनले आहे. आश्चर्याची गोष्ट नाही की, Nvidia ने ते हाताळण्यासाठी आवश्यक असलेले बरेचसे अत्याधुनिक हार्डवेअर तयार केले आहेत, ज्यामुळे कंपनीला GPU च्या सभोवतालच्या सिस्टीममध्ये मोठा फायदा मिळतो जरी तो स्वतः GPU वर वाढलेली स्पर्धा पाहतो.

च्या सर्व चर्चेसाठी कमोडिटी म्हणून गणना कराकमाल कार्यक्षमतेवर मेगास्केल डेटा सेंटर ऑपरेट करणे अजूनही आश्चर्यकारकपणे कठीण आहे — आणि जसजसे डिप्लॉयमेंट मोठे आणि जलद होत आहे, तसतसे ते आव्हान वाढत आहे.

रॅक द्वारे रॅक

Nvidia प्रत्यक्षात काय विकत आहे याचे तपशील पाहून तुम्ही यापैकी काही पाहू शकता. कंपनी सध्या तिचे व्हेरा रुबिन आर्किटेक्चर आणत आहे, जे रुबिन GPU ला वेरा CPU, Groq 3 LPX इन्फरन्स एक्सीलरेटर आणि स्टोरेज आणि नेटवर्किंगसाठी तत्सम रॅकसह इतर युनिट्सच्या संग्रहासह जोडते.

गेल्या आठवड्यात, मी Nvidia मधील लोकांशी त्या प्रणाली प्रत्यक्षात काय करतात याबद्दल बोलत आहे आणि परिणाम आश्चर्यकारक आहेत. रुबिन GPU प्रमाणेच, त्या अत्यंत विशेष प्रणाली आहेत, परंतु टोकन्सद्वारे मंथन करण्याऐवजी, ते GPU बाहेरील प्रत्येक गोष्ट शक्य तितक्या कार्यक्षमतेने कार्य करत असल्याची खात्री करत आहेत. जर GPU इंजिन असेल, तर ही बाकीची कार आहेत.

विशेषतः Vera CPU डेटा ऑर्केस्ट्रेट करण्याच्या समस्येवर केंद्रित आहे. “व्हेरा महत्त्वाचा आहे कारण फक्त एवढीच मेमरी आहे जी तुम्ही एकाच सर्व्हरमध्ये किंवा कोणत्याही प्रकारच्या कॉम्प्युट प्लॅटफॉर्ममध्ये ठेवू शकता,” जेसन हार्डी, Nvidia चे स्टोरेज तंत्रज्ञानाचे VP, मला म्हणाले.

डेटा सेंटर्सने संगणकीय शक्ती वाढवल्यामुळे, मेमरी क्षमता देखील वाढली आहे, म्हणूनच मायक्रोन सारख्या कंपन्यांनी पायाभूत सुविधांच्या बूमच्या दुसऱ्या लाटेत समृद्ध बनले आहे. परंतु योग्य वेळी GPU ला डेटा मिळवणे सोपे नाही — आणि कंपन्या टोकन-प्रति-वॅट कमी आणि कमी चालविण्याचा प्रयत्न करीत असल्याने, त्यांना त्या प्रकारची रहदारी दिशा किती महत्त्वाची आहे हे जाणवत आहे.

“आम्ही या ऑपरेशन्समध्ये 3x वरच्या दिशेने सुधारणा पाहिल्या, जिथे व्हेरा सीपीयू प्रवेग वाढवण्यास परवानगी देतो,” हार्डी म्हणाले. “म्हणून आता आम्ही आमच्या फ्लॅशचा पूर्ण क्षमतेने वापर करू शकतो, कारण आम्ही ते सर्व कार्यप्रदर्शन कोणत्याही अडथळ्याशिवाय मिळवू शकतो.”

तुम्ही Nvidia च्या बाहेर समान समस्येच्या आवृत्त्या पाहू शकता. जेव्हा OpenAI ने त्याची Jalapeño चीप विकसित केली, तेव्हा एक प्रमुख फोकस या आव्हानांना पूर्णपणे टाळून डेटाचे प्रमाण कमी करत होते.

कंपनीने एका ब्लॉग पोस्टमध्ये म्हटले आहे की, “डेटा हालचाल आणि संप्रेषणातील विलंब कमी करण्यासाठी आम्ही जलापेनोची रचना केली आहे. या महिन्याच्या सुरुवातीला. “त्याचे मोठे डोमेन संपूर्ण वर्कलोडला एका कनेक्ट केलेल्या सिस्टममध्ये राहण्यास अनुमती देते, डेटाची हालचाल कमी करते आणि संपूर्ण विनंतीला सुरुवातीपासून शेवटपर्यंत जलद आणि कार्यक्षम राहण्यास मदत करते.”

एका समाकलित चिपमध्ये वर्कलोड आयोजित करून डेटाची हालचाल पूर्णपणे टाळून हा एक वेगळा दृष्टीकोन आहे. परंतु एकूण तर्क एकच आहे, फक्त अधिक प्रोसेसर चक्रांऐवजी स्मार्ट रहदारी नियंत्रणासह कार्यक्षमता वाढवणे. त्या बदल्यात कंपन्यांना स्पर्धा करण्यासाठी पायाभूत सुविधांचा एक संपूर्ण नवीन स्तर उघडतो.

डेटा ऑर्केस्ट्रेशनवरील हे नवीन फोकस Nvidia साठी आपोआप विजय नाही. कंपनीला GPU प्रमाणेच प्रतिस्पर्धी चिपमेकर आणि हायपरस्केलर्सशी स्पर्धा करावी लागेल. परंतु स्पर्धा एका नवीन स्तरावर गेली आहे, जिथे संपूर्ण सिस्टम कार्यक्षमतेने कार्य करण्यास सक्षम असण्यापेक्षा प्रतिस्पर्धी GPU तयार करणे कमी महत्त्वाचे आहे.

आणि किमान सुरुवातीच्या टप्प्यात, Nvidia कडे कमांडिंग लीड असल्याचे दिसते.