GPU मधून अधिक निष्कर्ष काढण्यासाठी Kog खोलवर जात आहे

वेगवान AI अनुमानाची शर्यत सुरू आहे आणि मे महिन्यात आयपीओ पदार्पण करताना बाजारपेठांनी सेरेब्रास आणि त्याच्या उद्देशाने तयार केलेल्या चिप्सचे स्वागत केले. पण फ्रेंच स्टार्टअप आय पारंपारिक GPUs मधून पिळून काढण्यासाठी आणखी बरीच शक्ती आहे असे पैज लावत आहे.

स्टार्टअप हॅकर न्यूजच्या पहिल्या पानावर दाबा मे मध्ये a सह तंत्रज्ञान पूर्वावलोकन “आधीच मालकीच्या मानक डेटासेंटर GPUs एंटरप्राइजेसवर अत्यंत वेगवान सिंगल-रिक्वेस्ट डीकोडिंग शक्य आहे” हे सिद्ध करण्याच्या उद्देशाने — जसे की AMD MI300X आणि Nvidia H200 GPUs जे त्यांनी डेमोसाठी वापरले.

आमच्या लॅपटॉपमधील जीपीयूपर्यंत याचा विस्तार होत नाही हे ऐकून काहीजण निराश झाले, परंतु इतरांनी संभाव्यता पाहिली. अनुमानित गती आणि खर्च आता एक गंभीर अडचण असल्याने, सॉफ्टवेअर ऑप्टिमायझेशनसह विद्यमान हार्डवेअरवर नवीन क्षमता अनलॉक करण्याचे कॉगचे वचन आकर्षित झाले. प्रेक्षकांपेक्षा जास्त. “आमच्याकडे 200 मूर्त व्यवसाय लीड्स आहेत,” सीईओ गेल डेलालो यांनी रीडला सांगितले.

सुरुवातीच्या अभिप्रायाच्या आधारावर, सोलो संस्थापकाने सॉफ्टवेअर अभियांत्रिकी हे प्रथम वापराचे प्रकरण असावे अशी अपेक्षा केली आहे. वेटरन क्लॉड कोड वापरकर्त्यांना हे चांगले ठाऊक आहे की त्यांना परिणाम मिळविण्यासाठी काहीवेळा तास प्रतीक्षा करावी लागते. एंथ्रोपिक स्वतःच समजतो की गती पैशाची आणि शुल्काची किंमत आहे अनेक किंमत क्लॉडच्या फास्ट मोडसाठी.

कॉग या विलंबामुळे ग्राहकांना लक्ष्य करण्याची अपेक्षा करत आहे, सामान्यतः कारण ते व्यावसायिक कार्यांसाठी AI वर्कफ्लोवर अवलंबून असतात. परंतु स्टार्टअपमध्ये डिझाइन भागीदार देखील आहेत जे वापरकर्त्यांना प्रॉम्प्टसह गेम आणि ॲप्स व्युत्पन्न करू देतात आणि ज्यांच्यासाठी कॉग इन्फेरेन्स इंजिन (KIE) मुळे जलद निकालाचा अर्थ अधिक महसूल असेल, डेलालेउ म्हणाले.

कंपनीला हे समजले आहे की ही बाजारपेठ अद्याप फारशी परिपक्व नाही. मागणीचे निरीक्षण करत असताना, कॉगला समजले की त्याचे संभाव्य ग्राहक लहान मॉडेल्सला चांगले ट्यून करण्यास तयार नाहीत. “आणि म्हणूनच लॉन्च झाल्यापासून, आम्ही पाहिलेल्या मागणीची पूर्तता करण्यासाठी मोठ्या मॉडेलच्या विकासाला गती देण्यावर आम्ही पूर्णपणे लक्ष केंद्रित केले आहे.”

यामुळे “30x जलद LLM अनुमान” देण्याचे वचन पूर्ण करण्यासाठी कॉगला मोठी झेप मिळते. त्याच्या डेमोने 3,000 प्रति-विनंती टोकन प्रति सेकंद (TPS) प्रभावी दर्शविले — परंतु केवळ 2 अब्ज पॅरामीटर्ससह उद्देशाने तयार केलेल्या लहान मॉडेलसह, आता ओपन सोर्स लेन फॉर्म 2B.

संशयवादी विरोधाभासी, डेलालोला खात्री आहे की समान दृष्टीकोन LLM सह देखील कार्य करू शकतो, ज्याचा आकार अनुमान चिप्ससाठी एक आव्हान असू शकतो. “GPU चे भविष्य उज्ज्वल आहे,” तो म्हणाला. कॉगच्या सीईओसाठी, ते डीकोडिंगसाठी योग्य नाहीत ही कल्पना एक गैरसमज बनली आहे; नवीन GPU मध्ये अधिकाधिक मेमरी बँडविड्थ असते जी फक्त अनलॉक करण्याची विनंती करते.

सॉफ्टवेअर ऑप्टिमायझेशन GPU ला बॉक्सवर म्हटल्यापेक्षा बरेच काही करण्यास मदत करू शकते असा विचार करणारा कॉग एकटा नाही. ZML, फ्रान्समधील देखील, हार्डवेअर-अज्ञेयवादी सॉफ्टवेअर जारी केले जे Nvidia च्या CUDA ला मागे टाकून प्रतिस्पर्धी चिप्सवर वेगवान अनुमानांना समर्थन देते. पण डेलालो म्हणाले की कॉग स्टॅनफोर्ड विद्यापीठाच्या प्रयोगशाळेशी अधिक समान आहे अस्पष्ट संशोधनGPU प्रवेग वर अगदी सखोल-स्तरीय फोकससह.

Delalleau स्वतः एक संशोधक नाही, आणि त्याच्या पहिल्या स्टार्टअपचा, TechCrunch50 2009 alum Stribe चा त्याच्या नवीन स्टार्टअपशी काहीही संबंध नाही — त्याचे माजी सह-संस्थापक VC Kamel Zeroual, ज्यांच्या फर्म Varsity VC सह-नेतृत्व कॉगच्या बीज फेरीत होते. पण स्टार्टअपचे सखोल लक्ष त्याच्या अनोख्या पार्श्वभूमीतून उद्भवते.

फ्रान्सच्या इकोले पॉलिटेक्निकमध्ये सॉलिड-स्टेट फिजिक्सचा अभ्यास केल्यावर, त्याने आक्षेपार्ह सायबरसुरक्षामध्ये काम केले — ज्याला व्हाईट हॅट हॅकिंग असेही म्हणतात. डेलालोच्या म्हणण्यानुसार, या मानसिकतेला आकार दिला तो आता त्याच्या संघाला अवलंबण्यास प्रोत्साहित करत आहे. विज्ञानाच्या बाजूने, “भौतिकशास्त्राचे कायदे समजून घेण्याची ही मानसिकता आहे, आणि त्यातील जास्तीत जास्त फायदा घेण्यासाठी GPU चे कायदे आहेत.”

हॅकिंग साठी म्हणून, येथे चार वेळा अंतिम फेरीत DEFCON ची CTF स्पर्धा ते म्हणाले की त्याने त्याला “अत्यंत खालच्या स्तरावर गोष्टी रिव्हर्स-इंजिनियर करण्यास शिकवले — असेंबली भाषा आणि बायनरी कोडपर्यंत — ते कसे कार्य करते हे समजून घेणे आणि ज्यासाठी ते डिझाइन केलेले नाही असे उद्दिष्ट साध्य करण्यासाठी त्याचा वापर करण्याचा प्रयत्न करणे.”

या दृष्टिकोनाचा तोटा असा आहे की तो खूप हाताशी आणि वेळ घेणारा आहे. “प्रत्येक नवीन GPU साठी, आम्ही त्या हार्डवेअरवर खरोखर तपशील शोधण्यासाठी आणि GPU अभियांत्रिकी संशोधन करण्यासाठी अनेक आठवडे किंवा महिने समर्पित करू.” 11 लोकांच्या टीमसह, हे किमान नजीकच्या भविष्यासाठी, कॉग काम करू शकतील अशा चिप्सच्या संख्येवर मर्यादा घालते.

दीर्घकाळात, कॉगला त्याची कार्यपद्धती एजंट-आधारित पाइपलाइनमध्ये फीड करण्याची आशा आहे ज्यामुळे ते अधिक चिप्स आणि मॉडेल्सना समर्थन देतील. युरोप त्या दोन आघाड्यांवर स्वतःची क्षमता निर्माण करण्याचा प्रयत्न करत असल्याने, हे स्टार्टअपसाठी सार्वभौमत्व टेलविंड जोडू शकते, जे आधीच आहे स्केलवे द्वारे समर्थित आणि फ्रान्सच्या Bpifrance द्वारे समर्थित आणि फ्रेंच टेक 2030चा कार्यक्रम.

आत्तासाठी, तरी, कॉगला जगाला हे सिद्ध करण्याची गरज आहे की त्याचा दृष्टिकोन LLM वर कार्य करतो. हे अधिक निधी सुरक्षित करण्यासाठी देखील महत्त्वाचे असेल. “एकदा आम्ही आमचे पहिले मोठे मॉडेल 10x वेगाने लागू केले, जे मला वाटते की सप्टेंबरमध्ये असेल, तेव्हा आम्ही ग्राहकांच्या आकर्षणाचे प्रदर्शन करण्यास सक्षम होऊ आणि तेथून आमची मालिका A वाढवू,” Delalleau म्हणाले.