लार्ज लैंग्वेज मॉडल के फ़ायदे और सीमाएं

Christian Liebel

पब्लिश होने की तारीख: 13 जनवरी, 2024

एलएलएम और चैटबॉट के बारे में तीन हिस्सों वाली सीरीज़ का यह पहला लेख है. WebLLM की मदद से चैटबॉट बनाने के बारे में दूसरा और Prompt API का इस्तेमाल करने के बारे में तीसरा चरण पहले ही लाइव है.

लार्ज लैंग्वेज मॉडल (एलएलएम), सॉफ़्टवेयर डेवलपमेंट में एक अहम हिस्सा बन रहे हैं: एलएलएम, सामान्य भाषा के टेक्स्ट को जनरेट और प्रोसेस करने के लिए सबसे सही हैं. साथ ही, इनकी मदद से डेटा निकालने, खास जानकारी देने या उपयोगकर्ता के डेटा के साथ बातचीत करने जैसे इस्तेमाल के उदाहरणों को अनलॉक किया जा सकता है.

इस सीरीज़ में, हम डिवाइस में मौजूद एलएलएम के फ़ायदों और नुकसानों के बारे में बताएंगे. साथ ही, किसी मौजूदा ऐप्लिकेशन में चैटबॉट की सुविधाएं जोड़ने के बारे में बताएंगे. इसके लिए, हम दो स्थानीय और ऑफ़लाइन तरीकों का इस्तेमाल करेंगे. पहला, वेब-आधारित एलएलएम रनटाइम WebLLM और दूसरा, Chrome का एक्सपेरिमेंटल Prompt API.

संभावित उपयोग के उदाहरण

चैटबॉट जोड़ने से पहले का ऐप्लिकेशन.
हमारा 'कामों की सूची' ऐप्लिकेशन.

हम काम की सूची वाले क्लासिक ऐप्लिकेशन के साथ चैटबॉट बनाएंगे. हर चरण का सोर्स कोड, GitHub पर उपलब्ध है. उपयोगकर्ता नए टास्क जोड़ सकते हैं, उन्हें 'हो गया' के तौर पर मार्क कर सकते हैं, और उन्हें मिटा सकते हैं.

हो सकता है कि आप उपयोगकर्ताओं के लिए, 'क्या-क्या करें' सूची के डेटा के बारे में ज़्यादा जानने या अन्य फ़ंक्शन इस्तेमाल करने की सुविधा जोड़ना चाहें. चैटबॉट की सुविधा की मदद से, उपयोगकर्ता ये काम कर सकते हैं:

  • पूरे नहीं किए गए टास्क की संख्या के बारे में पूछें.
  • डुप्लीकेट या काफ़ी मिलते-जुलते टास्क की पहचान करना.
  • 'क्या-क्या करें' सूची को ग्रुप में बांटें.
  • पूरे हो चुके टास्क के आधार पर, नए टास्क के सुझाव पाएं.
  • टास्क का अनुवाद अलग-अलग भाषाओं में करना.
  • 'क्या-क्या करें' सूची को एक्सएमएल फ़ॉर्मैट में एक्सपोर्ट करें.

यहां ऐसे कुछ टास्क के उदाहरण दिए गए हैं जिन्हें एलएलएम मैनेज कर सकते हैं.

लार्ज लैंग्वेज मॉडल क्या होते हैं?

एलएलएम, आर्टिफ़िशियल न्यूरल नेटवर्क होते हैं. ये नैचुरल लैंग्वेज टेक्स्ट को प्रोसेस और जनरेट करते हैं. फ़िलहाल, ज़्यादातर एलएलएम, Google के बनाए गए Transformer आर्किटेक्चर पर आधारित हैं. उदाहरण के लिए, Google के Gemini और Gemma मॉडल, OpenAI की GPT मॉडल सीरीज़, और ओपन-सोर्स मॉडल, जैसे कि Meta AI का LLaMa और Mistral AI का Mistral.

ज़्यादा डेटा पर ट्रेनिंग की वजह से, एलएलएम में कई तरह की बेहतरीन सुविधाएं होती हैं. वे कई भाषाएं समझते हैं, सामान्य जानकारी रखते हैं, भाषाओं के बीच अनुवाद कर सकते हैं या प्रोग्रामिंग कोड जनरेट कर सकते हैं. मॉडल के साइज़ के हिसाब से, इन सुविधाओं की सीमा काफ़ी अलग-अलग हो सकती है. इस बारे में एलएलएम के साइज़ को समझना लेख में बताया गया है.

एलएलएम की मदद से, सॉफ़्टवेयर आर्किटेक्चर में काफ़ी बदलाव हुए हैं. अब आम बोलचाल की भाषा, सॉफ़्टवेयर इंजीनियरिंग की मुख्य सुविधा बन गई है. अच्छी तरह से तय किए गए इंटरफ़ेस का इस्तेमाल करके एपीआई को कॉल करने के बजाय, सामान्य भाषा में अपने इंटेंट को 'प्रॉम्प्ट' में बताना काफ़ी है.

एलएलएम की सीमाएं

एलएलएम में भी कुछ सीमाएं होती हैं:

  • नॉन-डेटरमिनिस्टिक व्यवहार: एलएलएम, एक ही प्रॉम्प्ट के लिए अलग-अलग और कभी-कभी एक-दूसरे से अलग जवाब दे सकते हैं. ऐसा इसलिए होता है, क्योंकि उनके आउटपुट, तय नियमों के बजाय संभाव्यता मॉडल पर निर्भर करते हैं.
  • भ्रम: ये मॉडल कभी-कभी गलत या बेमतलब की जानकारी जनरेट कर सकते हैं. ऐसा, तथ्यों के सटीक होने के बजाय, सीखे गए पैटर्न पर भरोसा करने की वजह से होता है.
  • प्रॉम्प्ट इंजेक्शन: एलएलएम पर प्रॉम्प्ट इंजेक्शन अटैक किए जा सकते हैं. इनमें उपयोगकर्ता ऐसे इनपुट प्रॉम्प्ट बनाते हैं जिनसे मॉडल को उसके मकसद से अलग दिशा में ले जाया जाता है या गलत नतीजे मिलते हैं.

इसलिए, उपयोगकर्ताओं को कोई भी कार्रवाई करने से पहले, एलएलएम से जनरेट किए गए नतीजों की पुष्टि करनी चाहिए.

डिवाइस पर मौजूद एलएलएम का इस्तेमाल करते समय, उनके साइज़ का ध्यान रखना ज़रूरी है. इनका फ़ाइल साइज़ कई गीगाबाइट होता है. साथ ही, इन्हें पहली बार इस्तेमाल करने से पहले, उपयोगकर्ता के डिवाइस पर डाउनलोड करना ज़रूरी होता है. छोटे मॉडल से, खराब क्वालिटी के जवाब मिलते हैं. ऐसा खास तौर पर, क्लाउड पर काम करने वाले मॉडल की तुलना में होता है.

स्थानीय समाधान चुनना

अपने वेब ऐप्लिकेशन में एलएलएम को इंटिग्रेट करने के लिए, क्लाउड सेवा देने वाली कंपनी का इस्तेमाल किया जा सकता है. कई कंपनियां बेहतर क्वालिटी के एलएलएम की सेवाएं देती हैं. इनमें से कुछ सेवाएं, सिर्फ़ कुछ कंपनियों के लिए उपलब्ध होती हैं. क्लाउड-आधारित एलएलएम, कम कीमत पर तेज़ी से अनुमान लगाते हैं. आम तौर पर, इसका हिसाब हर प्रोसेस किए गए टोकन के हिसाब से लगाया जाता है.

इसके उलट, स्थानीय समाधानों के कई फ़ायदे हैं. स्थानीय तौर पर होस्ट किए गए एलएलएम, उपयोगकर्ता के डिवाइस पर सीधे काम करते हैं. इसलिए, इनकी मदद से अनुरोधों का जवाब मिलने में कम समय लगता है. साथ ही, उपयोगकर्ता के ऑफ़लाइन होने पर भी इनका ऐक्सेस बना रहता है. इसके अलावा, डेवलपर को इनके लिए सदस्यता शुल्क या अन्य शुल्क नहीं चुकाने पड़ते. खास तौर पर, ये उपयोगकर्ता की सुरक्षा को बेहतर बना सकते हैं. सभी गतिविधियों को डिवाइस पर सेव करके, बाहरी सेवा देने वाली कंपनियों या इलाकों को व्यक्तिगत पहचान से जुड़ी जानकारी (पीआईआई) भेजने से बचा जा सकता है.

डेमो

चैटबॉट बनाने का तरीका जानने से पहले, चैटबॉट की सुविधाओं के साथ तैयार किए गए डेमो देखे जा सकते हैं.

इसके बाद, टू-डू सूची वाले ऐप्लिकेशन में चैटबॉट जोड़ने के लिए, WebLLM का इस्तेमाल किया जाएगा.