Windows ML: GGUF मॉडेल्स आणि स्थानिक AI साठी 2026 अद्यतने

मायक्रोसॉफ्टचे म्हणणे आहे की ते विंडोजवर स्थानिक एआय कार्य सुलभ करत आहे. हे Windows ML मध्ये प्रायोगिक `llama.cpp` पर्याय जोडत आहे. यासह, विकासक GGUF भाषा मॉडेल लोड करू शकतात आणि मायक्रोसॉफ्टच्या अनुमान स्टॅकचा वापर करून ते चालवू शकतात. कंपनीने हे 7 ऑक्टोबर रोजी शेअर केले आहे. त्याच पोस्टमध्ये OpenAI सारख्या स्थानिक एंडपॉईंटचा देखील उल्लेख आहे. व्यवहारात, हे विकसकांना परिचित SDK-शैली कोड वापरत राहू देते.

मायक्रोसॉफ्टचे म्हणणे आहे की नवीन रनटाइम आणि टेक्स्ट जनरेशन API अजूनही प्रायोगिक आहेत. ते उत्पादनात वापरण्यास तयार नाहीत असेही ते म्हणतात. आत्तासाठी, नेटिव्ह APIs C++ आणि Python चे समर्थन करतात. ते C# ला समर्थन देत नाहीत. तुम्ही आज हे API वापरत असल्यास, त्यांच्यावर अवलंबून असलेले ॲप्स Microsoft Store वर प्रकाशित करू नका.

मुख्य शिफ्ट म्हणजे विंडोज दुसरे मॉडेल फॉरमॅट उघडू शकते एवढेच नाही. स्थानिक मॉडेल्स वापरून पाहण्यासाठी शिफ्ट हा एक सोपा मार्ग आहे. विकसकांना प्रत्येक अनुमान इंजिनला अगदी नवीन एकत्रीकरणाप्रमाणे वागवावे लागू नये.

GGUF आणि ONNX मॉडेल एक इंटरफेस वापरतात

विंडोज एमएल ही विंडोजवर सपोर्ट करत असलेल्या स्थानिक हार्डवेअरवर AI अनुमान चालवणारी मायक्रोसॉफ्टची प्रणाली आहे. प्रायोगिक मजकूर निर्मिती API GGUF मॉडेल घेऊ शकते. हे ORT सह कार्य करणारे ONNX मॉडेल देखील घेऊ शकते. या मॉडेल्सना अजूनही Windows ML ला अपेक्षित असलेल्या मजकूर जनरेशन इंटरफेसशी जुळणे आवश्यक आहे. GGUF मॉडेल लामामधून चालतात. cpp बॅकएंड. cpp backend.cpp बॅकएंड. ONNX मॉडेल ONNX रनटाइमद्वारे चालतात. विंडोज एमएल नंतर मॉडेल प्रकारावर आधारित बॅकएंड निवडते. ते सेटअप विकसकांना समर्थित मजकूर निर्मिती कार्यांसाठी एक इंटरफेस देते.

तरीही, तुम्ही प्रत्येक ONNX भाषा मॉडेल कार्य करेल असे गृहीत धरू शकत नाही. ONNX आणि ORT मॉडेलला अपेक्षित असलेले टोकन इनपुट प्रदान करणे आवश्यक आहे. त्याला लॉगिट आउटपुट देखील परत करणे आवश्यक आहे. याव्यतिरिक्त, इंटरफेसला आवश्यक असलेल्या निश्चित-क्षमता स्थिती किंवा KV कॅशे सेटअपचे पालन करणे आवश्यक आहे. जेव्हा संघ मुक्त-स्रोत भाषा मॉडेलची चाचणी घेतात तेव्हा हे उपयुक्त ठरते. ते स्थानिक GGUF अनुमान चालवू शकतात आणि तरीही एक सामायिक API शैली वापरून समान प्रकारचा ONNX सेटअप ठेवू शकतात.

एक कळीचा मुद्दा म्हणजे OpenAI सारखा स्थानिक एंडपॉइंट

मायक्रोसॉफ्टचा स्थानिक एंडपॉईंट स्थानिक मशीनवर अनुमान चालवणारे ॲप्स वापरून पाहण्यासाठी लागणारा प्रयत्न कमी करू शकतो. हे OpenAI-अनुकूल पद्धतीने बोलते. तुम्ही OpenAI SDK वापरत असल्यास, तुम्ही तुमच्या क्लायंटला स्थानिक Windows ML सेवेवर लक्ष्य करू शकता, उदाहरणार्थ, “127.0.0.1” वर. मग तुमचा ॲप क्लाउड API ऐवजी स्थानिक सर्व्हरवर कॉल पाठवू शकतो. सोप्या भाषेत, मार्ग असे दिसते:

OpenAI SDK लोकलहोस्टला जातो. Windows ML कॉल हाताळते. Windows ML GGUF मॉडेल्ससाठी “llama.cpp” निवडते. Windows ML ONNX मॉडेल्ससाठी ONNX रनटाइम निवडते. मॉडेल तुमच्या मशीनवर Windows ML द्वारे चालते.

Windows ML GGUF किंवा ONNX साठी इंजिन निवडते. त्यांच्या सेटअपला बसणारे कोणते इंजिन वापरायचे हे विकसक अजूनही ठरवतात. एंडपॉईंट हा द्रुत चाचण्यांमध्ये मदत करण्यासाठी आहे, परंतु तो आजच्या प्रत्येक OpenAI वैशिष्ट्याशी जुळत नाही. Windows ML मजकूर निर्मिती भाग अद्याप प्रारंभिक स्थितीत आहे. त्याला फक्त-लोभी डीकोडिंग सारख्या मर्यादा आहेत. यात संरचित आउटपुटसाठी साधनांचाही अभाव आहे आणि ते सॅम्पलिंग नियंत्रणे देत नाही.

PyTorch, Triton आणि Windows 'हायब्रिड AI दिशा

मायक्रोसॉफ्टने पायटॉर्च आणि ट्रायटनसाठी विस्तृत विंडोज समर्थनाबद्दल देखील सांगितले. PyTorch कडे आर्म 64 CPU वर Windows साठी आता अधिकृत मूळ बिल्ड आहेत. NVIDIA आर्म 64 पॅकेजेस देखील ऑफर करते ज्यात समर्थित उपकरणांसाठी CUDA समाविष्ट आहे. विंडोजवर, ट्रायटन “triton.jit” कॉल करणे समाविष्ट असलेल्या कार्यास समर्थन देते.

एकत्रितपणे, हे स्थानिक आणि क्लाउड वर्कच्या मिश्रणासाठी Microsoft च्या पुशशी जुळते. काही कार्ये तुमच्या मशीनवर चालू शकतात आणि इतर कार्ये क्लाउडवर जाऊ शकतात. Windows ML मॉडेल सपोर्ट हा त्या योजनेचा फक्त एक भाग आहे, वेगळी हार्डवेअर कथा नाही.

अंतिम विचार

Windows ML अपडेट काही वस्तू एकत्र बांधतात. हे प्रायोगिक GGUF समर्थन जोडते. हे GGUF मॉडेल आणि ONNX किंवा ORT मॉडेलसाठी सामायिक मजकूर जनरेशन API देखील आणते. एक एंडपॉइंट देखील आहे जो OpenAI-style API प्रमाणे कार्य करतो. डेव्हलपरसाठी, एंडपॉइंट हा लगेचच सर्वात उपयुक्त भाग आहे. हे तुम्हाला तुमचा ॲप ग्राउंड अपपासून पुन्हा काम न करता स्थानिक निष्कर्षांची चाचणी करू देते. तरीही, मर्यादा आहेत.

मॉडेल समर्थन सुसंगतता नियमांवर अवलंबून असते. हार्डवेअर समर्थन बॅकएंडनुसार बदलू शकते. आत्तासाठी, हे विकसक पूर्वावलोकन म्हणून पाहिले पाहिजे. हे स्थानिक एआय चाचणी सुलभ करण्यासाठी आहे. प्रत्येक मॉडेल प्रत्येक विंडोज पीसीवर चालेल असे वचन नाही.

(स्त्रोत)