ओपन-सोर्स एआय सॉफ्टवेअर वर्ल्ड का खात आहे (आणि तुमची टीम का रडत आहे)

प्रोप्रायटरी ब्लॅक-बॉक्स AI वरून समुदाय-चालित ओपन वेट्समध्ये बदल उद्योगाला एखाद्या मालवाहू ट्रेनप्रमाणे कोणीही येताना दिसला नाही. वर्षानुवर्षे, OpenAI आणि Google सारख्या कंपन्यांनी त्यांची मॉडेल्स API च्या मागे लॉक करून ठेवली, अणु प्रक्षेपण कोड सारख्या अंतर्निहित वजनांचा उपचार केला. आता उद्योगातील नेते, त्यांच्या लामा मालिकेसह मेटा आणि मिस्ट्रल एआय मधील स्क्रॅपी टीम, त्या बंद मॉडेलला उघडपणे आव्हान देत आहेत.

मुक्त-स्रोत AI नवकल्पना लोकशाहीकरण करते, त्याबद्दल प्रश्नच नाही. परंतु ते लोकशाहीकरण जटिल परवाना अनुपालन डोकेदुखी आणि काही खरोखर भीतीदायक तैनाती जोखमींसह येते.

स्मार्ट कंपन्या खुल्या वजनासाठी बंद APIs का सोडत आहेत

बहुतेक लोक कबूल करतात त्यापेक्षा किमतीची कार्यक्षमता महत्त्वाची आहे. प्रोप्रायटरी एपीआय चालवणे म्हणजे आवर्ती प्रति-टोकन शुल्क भरणे, ज्याचा वापर वाढल्याने भयानक प्रमाणात होतो आणि ती बिले वेगाने अश्लील होतात. ओपन वेटसह कोणताही API कर अस्तित्वात नाही कारण तुम्ही स्वतःच्या हार्डवेअरवर मॉडेल चालवता.

जेव्हा आपण विक्रेता मार्कअपचे पैसे देण्याऐवजी ऑन-प्रिमाइसेस GPU क्लस्टर्स किंवा विद्यमान क्लाउड वचनबद्धतेचा फायदा घेऊ शकता तेव्हा पायाभूत सुविधा नियंत्रण वास्तविक बनते. राइटसाइझिंग देखील उघडते, कारण कंपन्या एका विशिष्ट कार्यासाठी तयार केलेले लहान डिस्टिल्ड मॉडेल्स निवडू शकतात जे काही अरुंद करण्यासाठी मोठ्या सामान्य-उद्देश मॉडेलसाठी पैसे देण्याऐवजी.

कस्टमायझेशन आणि फाइन-ट्यूनिंग लवचिकता गंभीर उपक्रमांसाठी सर्वकाही बदलते. डोमेन ॲडॉप्टेशनचा अर्थ असा आहे की तुम्ही मालकीच्या एंटरप्राइझ डेटावर मॉडेलला प्रशिक्षण देऊ शकता, जसे की वैद्यकीय रेकॉर्ड किंवा कायदेशीर करार, तो डेटा तृतीय पक्षाला न पाठवता.

तंत्राची मालकी तुम्हाला LoRA, QLoRA किंवा पूर्ण पॅरामीटर फाइन-ट्यूनिंग लागू करण्याचे स्वातंत्र्य देते, तरीही तुम्हाला योग्य वाटेल. मॉडेल चेकपॉईंट्स, हायपरपॅरामीटर्स आणि अपडेट शेड्यूलवर संपूर्ण कमांडसह पुनरावृत्ती नियंत्रण आपल्या लॅपमध्ये येते. केव्हा पुन्हा प्रशिक्षण द्यायचे, केव्हा गोठवायचे, कधी परतायचे ते तुम्ही ठरवता.

डेटा गोपनीयता आणि सार्वभौमत्व हे कदाचित नियमन केलेल्या उद्योगांसाठी सर्वात मोठे विक्री बिंदू आहेत. शून्य डेटा लीकेज होते कारण प्रॉम्प्ट आणि प्रतिसाद कधीही तुमचे स्थानिक वातावरण सोडत नाहीत किंवा कॉर्पोरेट VPC सुरक्षित करत नाहीत.

जेव्हा तुम्ही GDPR, HIPAA किंवा CCPA द्वारे आवश्यक असलेल्या भौगोलिक सीमांमध्ये डेटा राहतो हे सिद्ध करू शकता तेव्हा अनुपालन संरेखन व्यवहार्य होते. कोणताही विक्रेता लॉक-इन नाही याचा अर्थ असा आहे की तुम्ही तुमच्या API प्रदात्याच्या किमती तिप्पट, बदललेल्या अटी किंवा तुमचे उत्पादन ज्या अचूक मॉडेलवर अवलंबून आहे ते शोधण्यासाठी तुम्ही एक दिवस जागे होणार नाही.

मुक्त-स्रोत AI परवाना लँडस्केप नेव्हिगेट करणे

बहुतेक लोक “ओपन सोर्स” म्हणतात जेव्हा त्यांचा वास्तविक अर्थ “खुले वजन” असतो आणि तो फरक खूप महत्त्वाचा असतो. खरे OSI अनुपालनासाठी अप्रतिबंधित व्यावसायिक वापर, सुधारणा, वितरण आणि प्रशिक्षण डेटामध्ये प्रवेश करण्याची परवानगी देण्यासाठी परवाना आवश्यक आहे. वास्तविकता अशी आहे की बहुतेक शीर्ष मॉडेल्स सानुकूल वर्तणुकीशी संबंधित निर्बंध असतात जे त्यांना शुद्ध मुक्त स्त्रोत स्थितीपासून अपात्र ठरवतात.

1. Apache 2.0 आणि MIT सारखे परवानगी देणारे परवाने हे सुवर्ण मानक आहेत. Apache 2.0 व्यावसायिक वापर, फेरफार, वितरण आणि अगदी पेटंट अनुदान समाविष्ट करण्यास परवानगी देते. Falcon आणि मूळ Mistral 7B रिलीझ सारख्या मॉडेल्समध्ये Apache 2.0 वापरले गेले, ज्यामुळे कायदेशीर संघांना आनंद झाला आणि दत्तक घेणे सुलभ झाले.
2. ओपन रिस्पॉन्सिबल AI परवाने, ज्यांना सहसा RAIL परवाने म्हणतात, वापर-केस प्रतिबंध सादर करतात जे सर्वकाही गुंतागुंत करतात. तुम्हाला लष्करी वापरावर, डीपफेक तयार करणे, बेकायदेशीर क्रियाकलापांमध्ये गुंतणे किंवा मानवी निरीक्षणाशिवाय वैद्यकीय निदान सल्ला प्रदान करण्यावर प्रतिबंध सापडतील.
3. व्यावसायिक थ्रेशोल्ड देखील दिसतात. उदाहरणार्थ, जर एखादे उत्पादन 700 दशलक्ष मासिक सक्रिय वापरकर्त्यांपेक्षा जास्त असेल तर Meta च्या Llama परवान्यासाठी स्वतंत्र व्यावसायिक परवाना आवश्यक आहे. डेरिव्हेटिव्ह क्लॉज आणखी एक स्तर जोडतात, कधीकधी वापरकर्त्यांना प्रतिस्पर्धी LLM ला प्रशिक्षण देण्यासाठी मॉडेलचे आउटपुट वापरण्यापासून प्रतिबंधित करते.

फाइन प्रिंट वाचणे आता ऐच्छिक नाही असे दिसते.

हॅकर्स एआय मॉडेल्सला विष देत आहेत: खुल्या सुरक्षिततेबद्दल भयानक सत्य

मॉडेल भेद्यता आणि पुरवठा साखळी हल्ले एक भयानक आक्रमण पृष्ठभाग दर्शवतात.

1. जेव्हा कोणीही हगिंग फेस सारख्या सार्वजनिक भांडारांमध्ये मॉडेल अपलोड करू शकते तेव्हा विषयुक्त वजन हा खरा धोका असतो आणि तडजोड केलेल्या मॉडेलमध्ये लपलेले मागील दरवाजे असू शकतात जे विशिष्ट सूचनांनुसार सक्रिय होतात.
2. रिमोट कोड एक्झिक्यूशन टार्गेट लेगसी मॉडेल सीरियलायझेशन फॉरमॅट्सचा फायदा घेते, विशेषत: असुरक्षित पिकल फाइल्स ज्या लोड केल्यावर अनियंत्रित कोड कार्यान्वित करू शकतात.
3. हे टाळण्यासाठी सेफटेन्सर विशेषत: अस्तित्वात आहेत, परंतु जुन्या सवयी नष्ट होतात आणि भरपूर रेपोमध्ये अजूनही पिकल फाइल्स असतात.
4. डेटा गळती आणि बौद्धिक संपदा समस्या कायदेशीर माइनफील्ड तयार करतात. प्रशिक्षण डेटा प्रोव्हेन्सन्स एक प्रचंड अज्ञात आहे कारण इंटरनेटवरून स्क्रॅप केलेल्या कॉपीराइट केलेल्या सामग्रीवर अनेक खुले मॉडेल पूर्व-प्रशिक्षित होते, ज्यामुळे डाउनस्ट्रीम वापरकर्त्यांसाठी संभाव्य दायित्व निर्माण होते.

1. उलट्या हल्ल्यांमुळे प्रगत धोका निर्माण होतो जेथे हल्लेखोर मॉडेल आउटपुटमधून संवेदनशील प्रशिक्षण डेटाची पुनर्रचना करतात, जरी यासाठी महत्त्वपूर्ण कौशल्य आवश्यक आहे.
2. ऑपरेशनल आणि मेंटेनन्स ओव्हरहेड अशा संघांना क्रश करते जे शिफ्टला कमी लेखतात. मोठ्या पॅरामीटर मॉडेल्सना होस्ट करण्यासाठी आवश्यक असलेल्या V100, A100, H100 किंवा B200 चिप्ससाठी उच्च अपफ्रंट GPU खर्चासह हार्डवेअर अडथळ्यांना मोठा फटका बसतो. जेव्हा तुम्ही साध्या API एकत्रीकरणातून vLLM, ओलामा, कुबर्नेट्स आणि सतत मॉडेल मॉनिटरिंगचा समावेश असलेल्या जटिल ऑर्केस्ट्रेशनकडे जाता तेव्हा अभियांत्रिकी कर्जाचा स्फोट होतो.

GPUs, क्वांटायझेशन आणि गार्डरेल्स: एंटरप्राइझ एआय स्टॅक तयार करणे जे खंडित होत नाही

इन्फ्रास्ट्रक्चर स्टॅक निवडणे कठीण संभाषणांना भाग पाडते. क्लाउड विरुद्ध एज डिप्लॉयमेंट म्हणजे AWS बेडरॉक, Azure AI, किंवा Anyscale सारख्या व्यवस्थापित क्लाउड उदाहरणांमध्ये संतुलन राखणे हे स्थानिक एंटरप्राइझ डेटा सेंटर्सच्या विरूद्ध आहे जे तुम्हाला संपूर्ण भौतिक नियंत्रण देतात. महत्त्वपूर्ण अचूकता न गमावता निम्न-स्तरीय हार्डवेअरवर उच्च सक्षम मॉडेल चालविण्यासाठी 4-बिट किंवा 8-बिट अचूकतेचा लाभ घेऊन क्वांटायझेशन व्यावहारिक मध्यम ग्राउंड ऑफर करते. 4-बिट पर्यंत परिमाणित केलेले 70B मॉडेल हार्डवेअरवर चालू शकते जे पूर्ण-परिशुद्धता आवृत्तीवर चोक करेल.

शमन धोरण आणि रेलिंग उत्पादनामध्ये वाटाघाटी करण्यायोग्य नसतात. इनपुट आणि आउटपुट फिल्टरिंगसाठी बाह्य प्रमाणीकरण स्तर जसे की लामा गार्ड किंवा NeMo Guardrails लागू करणे आवश्यक आहे जेणेकरुन प्रॉम्प्ट इंजेक्शन्स आणि विषारी आउटपुट वापरकर्त्यांपर्यंत पोहोचण्यापूर्वी ते ब्लॉक करा. सतत मूल्यमापन स्वयंचलित पाइपलाइनची मागणी करते ज्या वेळेनुसार ड्रिफ्ट, लेटन्सी आणि वास्तविक अचूकतेचा मागोवा घेतात. तुम्ही न पाहिल्यास मॉडेल्स शांतपणे खराब होतात.

तुमची अभियांत्रिकी टीम खरोखर OpenAI हाताळू शकते?

मुक्त-स्रोत AI अतुलनीय स्वायत्तता, खर्च नियंत्रण आणि गोपनीयता प्रदान करते, परंतु आपत्ती टाळण्यासाठी मजबूत प्रशासनाची मागणी करते. तुम्ही परवाना देण्याच्या जबाबदाऱ्यांकडे दुर्लक्ष केल्यास किंवा उत्पादनासाठी विषयुक्त चेकपॉईंट पाठवल्यास स्थानिक पातळीवर मॉडेल्स चालवण्याच्या स्वातंत्र्याचा काहीच अर्थ नाही.

एंटरप्रायझेसने खुल्या वजनांना सॉफ्टवेअर अवलंबित्व म्हणून हाताळले पाहिजे ज्यासाठी कठोर परवाना ऑडिट, सुरक्षा स्कॅन आणि समर्पित अभियांत्रिकी संसाधने आवश्यक आहेत. मॉडेल डाउनलोड करणे सोपे आहे. ते जबाबदारीने, सुरक्षितपणे आणि कायदेशीररित्या उत्पादनात चालवणे हा पूर्णपणे वेगळा खेळ आहे.

निष्कर्ष

अनेक संघ परवान्याची फाइल न वाचता ओपन वेटमध्ये उडी मारतात आणि अशा प्रकारे लॉन्च झाल्यानंतर सहा महिन्यांनी तुम्हाला कायदेशीर विभागाकडून एक ओंगळ पत्र मिळते. तांत्रिक बाजूने तुम्ही जो काही उत्साह आणता ते कायदेशीर योग्य परिश्रमाने जुळले पाहिजे.

ओपन इकोसिस्टम अशा वेगाने पुढे सरकते जे अनुपालन संघांना घाबरवते, परंतु हेच ते रोमांचक बनवते. नवीन मॉडेल्स दर आठवड्याला कमी होतात, कमी हार्डवेअरवर चालत असताना प्रत्येकाने परफॉर्मन्स बेंचमार्कला जास्त धक्का दिला.

एंटरप्राइझचा अवलंब एका सोप्या प्रश्नावर होतो: तुमचा कार्यसंघ ऑपरेशनल ओझे हाताळू शकतो का? होय असल्यास, ओपन वेट तुम्हाला स्पर्धात्मक खंदक देतात जे बंद API कधीही जुळू शकत नाहीत.

तसे नसल्यास, तुमचे अभियंते ChatGPT वर परत जाण्याची विनंती करत असताना तुम्हाला महागड्या GPU क्लस्टरची धूळ मिळेल. दोन्ही उत्तरात लाज नाही; वचनबद्ध होण्यापूर्वी फक्त आपल्या क्षमतांबद्दल प्रामाणिक रहा.

मुक्त-स्रोत AI ही पायाभूत सुविधा आहे, जे अनैतिकतेने वागतात त्यांना कायमस्वरूपी आणि माफ नाही.

(स्त्रोत)