प्रुना एआय ओपन स्रोत त्याचे एआय मॉडेल ऑप्टिमायझेशन फ्रेमवर्क

आपल्याकडे आहेएक युरोपियन स्टार्टअप जो एआय मॉडेल्ससाठी कॉम्प्रेशन अल्गोरिदमवर काम करत आहे, त्याची ऑप्टिमायझेशन फ्रेमवर्क बनवित आहे मुक्त स्त्रोत गुरुवारी.

प्रुना एआय एक फ्रेमवर्क तयार करीत आहे जी कॅशिंग, रोपांची छाटणी, क्वांटिझेशन आणि डिस्टिलेशन यासारख्या अनेक कार्यक्षमतेच्या पद्धती लागू करते.

“आम्ही संकुचित मॉडेल्सची बचत आणि लोड करणे, या कॉम्प्रेशन पद्धतींचे संयोजन लागू करणे आणि आपण संकुचित केल्यानंतर आपल्या संकुचित मॉडेलचे मूल्यांकन देखील करतो,” प्रुना एआय सह-फॉन्डर आणि सीटीओ जॉन रचवान यांनी रीडला सांगितले.

विशेषतः, मॉडेल कॉम्प्रेसिंग केल्यानंतर आणि आपल्याला मिळालेल्या कामगिरीच्या नफ्यावर लक्षणीय गुणवत्ता कमी झाल्यास प्रुना एआयची चौकट मूल्यांकन करू शकते.

ते म्हणाले, “जर मी एक रूपक वापरत असेल तर आम्ही मिठी मारणारा चेहरा प्रमाणित ट्रान्सफॉर्मर्स आणि डिफ्यूझर्स – त्यांना कसे कॉल करावे, त्यांना कसे वाचवायचे, त्यांना लोड करणे इत्यादी सारखेच आहोत, परंतु आम्ही तेच करीत आहोत, परंतु कार्यक्षमतेच्या पद्धतींसाठी,” ते पुढे म्हणाले.

बिग एआय लॅब आधीपासूनच विविध कॉम्प्रेशन पद्धती वापरत आहेत. उदाहरणार्थ, ओपनई त्याच्या फ्लॅगशिप मॉडेल्सची वेगवान आवृत्ती तयार करण्यासाठी डिस्टिलेशनवर अवलंबून आहे.

ओपनईने जीपीटी -4 टर्बो, जीपीटी -4 ची वेगवान आवृत्ती कशी विकसित केली आहे. त्याचप्रमाणे, द फ्लक्स .1-फास्ट इमेज जनरेशन मॉडेल ब्लॅक फॉरेस्ट लॅबमधील फ्लक्स 1 मॉडेलची डिस्टिल्ड आवृत्ती आहे.

डिस्टिलेशन हे एक तंत्र आहे जे “शिक्षक-विद्यार्थी” मॉडेलसह मोठ्या एआय मॉडेलमधून ज्ञान काढण्यासाठी वापरले जाते. विकसक शिक्षकांच्या मॉडेलला विनंत्या पाठवतात आणि आउटपुट रेकॉर्ड करतात. उत्तरे कधीकधी डेटासेटशी तुलना केली जातात की ते किती अचूक आहेत हे पाहण्यासाठी. हे आउटपुट नंतर विद्यार्थ्यांच्या मॉडेलला प्रशिक्षण देण्यासाठी वापरले जातात, जे शिक्षकांच्या वर्तनाचे अंदाजे प्रशिक्षण दिले जाते.

“मोठ्या कंपन्यांसाठी, ते सहसा काय करतात ते म्हणजे ते घरामध्ये तयार करतात. आणि ओपन सोर्स वर्ल्डमध्ये आपण जे शोधू शकता ते सहसा एकल पद्धतींवर आधारित असते. उदाहरणार्थ, एलएलएमसाठी एक क्वांटायझेशन पद्धत किंवा डिफ्यूजन मॉडेल्ससाठी एक कॅशिंग पद्धत म्हणा,” रचवान म्हणाले. “परंतु आपल्याला असे एक साधन सापडत नाही जे त्या सर्वांना एकत्रित करते, त्या सर्वांना वापरण्यास सुलभ करते आणि एकत्र एकत्र करते. आणि हे एक मोठे मूल्य आहे जे प्रुना आत्ताच आणत आहे.”

मोठ्या भाषेच्या मॉडेलपासून ते प्रसार-टू-मजकूर मॉडेल आणि संगणक व्हिजन मॉडेलपर्यंत कोणत्याही प्रकारच्या मॉडेल्सचे प्रुना एआय समर्थन करते, तर कंपनी सध्या प्रतिमा आणि व्हिडिओ निर्मितीच्या मॉडेल्सवर अधिक लक्ष केंद्रित करीत आहे.

प्रुना एआयच्या काही विद्यमान वापरकर्त्यांमध्ये समाविष्ट आहे परिस्थिती आणि फोटोरूम? ओपन सोर्स एडिशन व्यतिरिक्त, प्रुना एआयमध्ये ऑप्टिमायझेशन एजंटसह प्रगत ऑप्टिमायझेशन वैशिष्ट्यांसह एक एंटरप्राइझ ऑफर आहे.

रचवान म्हणाले, “आम्ही लवकरच सोडत आहोत हे सर्वात रोमांचक वैशिष्ट्य एक कॉम्प्रेशन एजंट असेल. “मुळात, आपण ते आपले मॉडेल द्या, आपण म्हणता: 'मला अधिक वेग हवा आहे परंतु माझी अचूकता 2%पेक्षा जास्त कमी करू नका.' आणि मग एजंट फक्त आपली जादू करेल.

प्रुना एआय त्याच्या प्रो आवृत्तीसाठी तासानुसार शुल्क आकारते. रचवान म्हणाले, “जेव्हा आपण एडब्ल्यूएस किंवा कोणत्याही क्लाऊड सेवेवर जीपीयू भाड्याने देता तेव्हा आपण जीपीयूबद्दल कसे विचार करता यासारखेच आहे,” रचवान म्हणाले.

आणि जर आपले मॉडेल आपल्या एआय इन्फ्रास्ट्रक्चरचा एक गंभीर भाग असेल तर आपण ऑप्टिमाइझ्ड मॉडेलच्या अनुमानानुसार बरेच पैसे वाचवाल. उदाहरणार्थ, प्रुना एआयने त्याच्या कॉम्प्रेशन फ्रेमवर्कचा वापर करून जास्त नुकसान न करता आठ वेळा लहान लामा मॉडेल बनविले आहे. प्रुना एआयला आशा आहे की त्याचे ग्राहक त्याच्या कम्प्रेशन फ्रेमवर्कबद्दल गुंतवणूक म्हणून विचार करतील जे स्वतःसाठी पैसे देतात.

प्रुना एआयने काही महिन्यांपूर्वी 6.5 दशलक्ष डॉलर्सची बियाणे निधी गोळा केला. स्टार्टअपमधील गुंतवणूकदारांमध्ये ईक्यूटी वेंचर्स, डाफनी, मोटियर व्हेंचर्स आणि किमा व्हेंचर्सचा समावेश आहे.