कंपनी के अपने दस्तावेज़ों पर AI (RAG), हंगेरियन में भी

बुडापेस्ट की सॉफ़्टवेयर विकास कंपनी Mesterséges Intelligencia Központ Kft. के अनुसार, कंपनी के दस्तावेज़ों से जाँचे जा सकने वाले जवाब RAG देता है: सिस्टम पहले प्रासंगिक अंश ढूँढता है, और मॉडल उन्हीं से, स्रोत के साथ, जवाब देता है (हंगेरियन में भी)।

मुख्य बात: मॉडल को अपने डेटा पर प्रशिक्षित करने की ज़रूरत नहीं: RAG सवाल के समय ही उसे प्रासंगिक अंश देता है, और जवाब स्रोत बताता है। गुणवत्ता दस्तावेज़ों की व्यवस्था, खोज की सटीकता और लगातार मापन पर निर्भर करती है; यह हंगेरियन में भी काम करता है, लेकिन इसे अपने हंगेरियन सवालों पर मापना ज़रूरी है।

RAG क्या है, और यह शब्द कहाँ से आया?

RAG, retrieval-augmented generation का संक्षिप्त रूप है, हिंदी में मोटे तौर पर खोज से पूरक टेक्स्ट जनरेशन। यह शब्द Patrick Lewis और सह-लेखकों के 2020 में प्रकाशित शोध-पत्र से आया है, जिसका शीर्षक “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks” है। लेखकों ने एक पूर्व-प्रशिक्षित भाषा मॉडल की तथाकथित पैरामीट्रिक मेमोरी को एक नॉन-पैरामीट्रिक मेमोरी से जोड़ा: Wikipedia के सघन वेक्टर इंडेक्स से, जिस तक एक न्यूरल रिट्रीवर पहुँचता था।

आज यह शब्द व्यापक रूप से ऐसे समाधान को कहते हैं, जिसमें सिस्टम सवाल के लिए पहले किसी दस्तावेज़-संग्रह में ज़रूरी अंश ढूँढता है, और भाषा मॉडल उन्हीं से जवाब तैयार करता है। इस दौरान मॉडल का अपना ज्ञान नहीं बदलता: कंपनी की सामग्री उसे सवाल के समय मिलती है। इसी से RAG के तीन व्यावहारिक फ़ायदे निकलते हैं: ज्ञान तुरंत अपडेट किया जा सकता है, जवाब अपना स्रोत बता सकता है, और खोज के समय उसी तक छाँटा जा सकता है जो सवाल पूछने वाला देख सकता है।

यह कैसे काम करता है? छह क़दम

  1. संग्रह: हम स्रोतों (दस्तावेज़ भंडार, विकी, टिकट सिस्टम, ई-मेल का चुना हुआ हिस्सा) को एक जगह लाते हैं।
  2. टुकड़े करना: लंबे दस्तावेज़ों को कुछ पैराग्राफ़ वाले छोटे टुकड़ों (chunk) में बाँटा जाता है। उदाहरण के लिए, OpenAI की रिट्रीवल सेवा डिफ़ॉल्ट रूप से अधिकतम 800 टोकन के टुकड़े बनाती है, 400 टोकन के ओवरलैप के साथ।
  3. एम्बेडिंग: एक एम्बेडिंग मॉडल हर टुकड़े को संख्याओं की सूची, यानी वेक्टर में बदलता है। OpenAI के विवरण के अनुसार वेक्टरों के बीच कम दूरी ज़्यादा, और ज़्यादा दूरी कम विषयगत संबंध दिखाती है।
  4. खोज: वही मॉडल सवाल को वेक्टर में बदलता है, और सिस्टम उसके सबसे क़रीबी टुकड़े ढूँढता है। Anthropic अपने Contextual Retrieval विवरण में अर्थ-आधारित खोज के साथ शब्दशः, कीवर्ड-आधारित BM25 खोज भी जोड़ता है, क्योंकि वह सटीक शब्दों (जैसे पहचान-संख्याओं) को बेहतर ढूँढती है; इसके बाद एक री-रैंकिंग (reranker) क़दम सिर्फ़ सबसे प्रासंगिक टुकड़े मॉडल को देता है।
  5. छँटाई और संकलन: मिले टुकड़ों में से सिर्फ़ वे रहते हैं जिन्हें सवाल पूछने वाला भी देख सकता है, और वही सवाल के साथ मॉडल के सामने जाते हैं।
  6. स्रोत के साथ जवाब: मॉडल मिले अंशों से जवाब देता है, और बताता है कि हर बात कहाँ से ली। Anthropic का citations फ़ीचर PDF में पृष्ठ संख्या और सादे टेक्स्ट में कैरेक्टर की स्थिति बताता है; OpenAI का फ़ाइल सर्च जवाब में स्रोत फ़ाइल का संदर्भ देने वाला चिह्न जोड़ता है।

टुकड़े करते समय आम ग़लती यह है कि टुकड़ा अपना संदर्भ खो देता है; Anthropic इसी विवरण में इसकी चेतावनी भी देता है। “समय-सीमा प्राप्ति की तारीख़ से गिनी जाती है” जैसे वाक्य से अकेले यह पता नहीं चलता कि बात किस अनुबंध और किस समय-सीमा की है। इसलिए हर टुकड़े के साथ दस्तावेज़ का शीर्षक, अध्याय का शीर्षक और तारीख़ जोड़ना उचित है, ताकि खोज और मॉडल दोनों उसका संदर्भ देख सकें।

RAG या फ़ाइन-ट्यूनिंग?

फ़ाइन-ट्यूनिंग (fine-tuning) का अर्थ है मॉडल को काम-विशेष के डेटा पर आगे प्रशिक्षित करना। OpenAI की सटीकता पर गाइड के अनुसार RAG काम के लिए ज़रूरी, क्षेत्र-विशेष संदर्भ देता है, और तब चाहिए जब मॉडल का ज्ञान पुराना हो या काम के लिए कंपनी की अपनी जानकारी चाहिए; फ़ाइन-ट्यूनिंग तब मदद करती है जब मॉडल का आउटपुट असंगत हो, या उसका फ़ॉर्मेट या लहजा ग़लत हो। गाइड के अनुसार दोनों पद्धतियाँ एक-दूसरे की पूरक हैं, और साथ भी इस्तेमाल की जा सकती हैं।

पहलूRAGफ़ाइन-ट्यूनिंग
किसलिएसवाल के समय कंपनी का ज्ञान देने के लिएमॉडल के व्यवहार, फ़ॉर्मेट और लहजे को एकरूप बनाने के लिए
ताज़ा ज्ञानदस्तावेज़ बदलने के बाद इंडेक्स अपडेट होते ही लागूनया प्रशिक्षण चाहिए
स्रोत का उल्लेखजवाब मिले अंश की ओर इशारा कर सकता हैमॉडल के वेट्स में गए ज्ञान का कोई स्रोत-उल्लेख नहीं होता
अनुमतियाँहर दस्तावेज़ के हिसाब से छाँटी जा सकती हैंप्रशिक्षित ज्ञान हर उपयोगकर्ता के लिए एक जैसा है
दस्तावेज़ वापस लेनादस्तावेज़ इंडेक्स से हट जाता हैउसका असर सिर्फ़ नए प्रशिक्षण से ख़त्म होता है
कब उचितकंपनी के दस्तावेज़ों के लिए लगभग हमेशा यही शुरुआती बिंदुजब फ़ॉर्मेट या लहजे की एकरूपता समस्या हो, RAG के साथ

इसलिए कंपनी के दस्तावेज़ों के लिए RAG स्वाभाविक शुरुआती बिंदु है। “क्या मॉडल को प्रशिक्षित करना होगा?” इस सवाल का असली अर्थ ज़्यादातर यह होता है कि मॉडल को कंपनी का ज्ञान कैसे मिले, और इसका जवाब RAG है।

हंगेरियन में भी? भाषा समर्थन और मिली-जुली भाषा वाली सामग्री

जवाब देने वाला मॉडल

बड़े प्रदाताओं के मॉडल हंगेरियन अच्छी तरह समझते और लिखते हैं, लेकिन भाषाई प्रदर्शन पर उनके प्रकाशित माप हमेशा हंगेरियन को शामिल नहीं करते। Anthropic का बहुभाषी समर्थन पृष्ठ अंग्रेज़ी के अलावा 14 भाषाओं के माप-परिणाम देता है, जिनमें हंगेरियन नहीं है (17 अक्टूबर 2026 को जाँचा गया); साथ ही पृष्ठ ज़ोर देता है कि Claude तालिका की भाषाओं के अलावा भी कई भाषाओं में इस्तेमाल हो सकता है, सुझाव देता है कि ऐप्लिकेशन के लिए महत्वपूर्ण भाषाओं में परीक्षण किया जाए, और जवाब की भाषा सिस्टम प्रॉम्प्ट में तय की जाए। हमारा अपना अनुभव भी यही है: हमारे मुखपृष्ठ का Claude-आधारित AI सहायक हंगेरियन और 13 अन्य भाषाओं में बातचीत करता है, लेकिन हर नए उपयोग को हम हंगेरियन सवालों पर मापते हैं।

एम्बेडिंग मॉडल

खोज की गुणवत्ता कम से कम उतनी ही एम्बेडिंग मॉडल पर निर्भर करती है, जितनी जवाब देने वाले मॉडल पर। बड़े प्रदाताओं में (17 अक्टूबर 2026 को जाँचा गया):

इसलिए एम्बेडिंग मॉडल हम कंपनी के अपने हंगेरियन सवाल–दस्तावेज़ जोड़ों पर चुनते हैं, प्रदाता के सामान्य मापों के आधार पर नहीं।

हंगेरियन भाषा की विशेषताएँ

यह किन दस्तावेज़ों से काम कर सकता है?

स्रोतकिस बात का ध्यान रखें
टेक्स्ट वाला PDFआसानी से संसाधित होता है; स्रोत-उल्लेख पृष्ठ संख्या तक बता सकता है
स्कैन किया गया PDFपहले टेक्स्ट पहचान (OCR) चाहिए: Anthropic के दस्तावेज़ीकरण के अनुसार, निकाले जा सकने वाले टेक्स्ट के बिना स्कैन किए गए PDF से संदर्भ नहीं दिया जा सकता
Word और ExcelAnthropic DOCX और XLSX फ़ाइलों को टेक्स्ट में बदलने की सलाह देता है, OpenAI का फ़ाइल सर्च DOCX को सीधे भी लेता है; तालिकाओं की संरचना बनाए रखनी होती है
विकी और इंट्रानेटलागू संस्करण ही मान्य हो, पुराने पृष्ठ आर्काइव में जाएँ
टिकट, हेल्पडेस्कइनमें व्यक्तिगत डेटा और पुराने समाधान बहुत होते हैं, इसलिए छँटाई ज़रूरी है
ई-मेलसिर्फ़ चुना हुआ, व्यवस्थित हिस्सा; व्यक्तिगत डेटा और अनुमतियों के लिहाज़ से सबसे संवेदनशील स्रोत

हर दस्तावेज़ के हिसाब से अनुमतियाँ

RAG का सबसे संवेदनशील बिंदु यह है कि सिस्टम ऐसा कोई अंश नहीं दिखा सकता, जिसे सवाल पूछने वाला स्रोत सिस्टम में भी नहीं खोल पाता। यह हम मॉडल पर नहीं छोड़ते, बल्कि खोज में ही बनाते हैं:

ताज़ा रखा गया इंडेक्स

RAG उतना ही अच्छा है, जितना ताज़ा उसका इंडेक्स है। हम इन बातों का ध्यान रखते हैं:

कम ग़लत जवाब: स्रोत, “मुझे नहीं पता”, मापन

भाषा मॉडल दी गई सामग्री के साथ भी ग़लती कर सकता है। Anthropic की ग़लत जवाबों को कम करने पर गाइड सलाह देती है कि मॉडल को स्पष्ट रूप से “मुझे नहीं पता” कहने की अनुमति दी जाए, वह शब्दशः उद्धरणों पर आधारित रहे, अपने हर दावे के लिए समर्थन करने वाला उद्धरण ढूँढे (और न मिले, तो दावा वापस ले), और सिर्फ़ दिए गए दस्तावेज़ों से काम करे। गाइड यह भी जोड़ती है कि ये तरीक़े ग़लत जवाबों को कम करते हैं, पूरी तरह ख़त्म नहीं करते, इसलिए महत्वपूर्ण जानकारी की जाँच ज़रूरी है। हम इन पर आधारित काम करते हैं:

डेटा संरक्षण: दस्तावेज़ कहाँ संग्रहीत होते हैं?

RAG सिस्टम में कंपनी की सामग्री तीन जगहों से गुज़रती है:

अगर दस्तावेज़ों में व्यक्तिगत डेटा भी है, तो डेटा प्रसंस्करण पर GDPR लागू होता है, और डेटा प्रसंस्करणकर्ता प्रदाता के साथ सामान्य डेटा संरक्षण विनियमन के अनुच्छेद 28 के अनुसार अनुबंध चाहिए। क़ानूनी सवालों (पारदर्शिता, डेटा का अंतरण, प्रभाव आकलन) के बारे में हम कंपनी के चैटबॉट के लिए AI Act और GDPR लेख में लिखते हैं। यह जानकारी है, क़ानूनी सलाह नहीं।

RAG प्रोजेक्ट के क़दम

  1. लक्ष्य और सवालों का दायरा: कौन पूछता है, किस बारे में, और अच्छा जवाब किसे माना जाए।
  2. स्रोतों की सूची और उन्हें व्यवस्थित करना: डुप्लिकेट, परस्पर-विरोधी और पुराने संस्करणों को छाँटना।
  3. अनुमति मॉडल: कौन किस दस्तावेज़ से जवाब पा सकता है।
  4. मूल्यांकन सेट: अपेक्षित जवाब और स्रोत के साथ असली, हंगेरियन सवाल।
  5. प्रोटोटाइप: मापन के आधार पर टुकड़े करने, एम्बेडिंग मॉडल और खोज को ट्यून करना।
  6. जोड़ना: इंटरफ़ेस, स्रोत का उल्लेख, कर्मचारी को सौंपना और लॉगिंग।
  7. प्रायोगिक रूप से लाइव करना: उपयोगकर्ताओं के छोटे समूह में, प्रतिक्रियाएँ इकट्ठा करते हुए।
  8. संचालन: इंडेक्स का अपडेट, लगातार मापन और मॉडल बदलने पर उसका मापन।

आमतौर पर होने वाली ग़लतियाँ

अक्सर पूछे जाने वाले प्रश्न

RAG क्या है?

RAG (retrieval-augmented generation, खोज से पूरक टेक्स्ट जनरेशन) ऐसा समाधान है, जिसमें सिस्टम सवाल के लिए पहले कंपनी के दस्तावेज़ों में प्रासंगिक अंश ढूँढता है, और भाषा मॉडल उन्हीं से, स्रोत बताते हुए, जवाब देता है। यह शब्द 2020 के एक शोध-पत्र से आया है।

क्या यह हमारे अपने दस्तावेज़ों से हंगेरियन में जवाब देता है?

हाँ। आज के बड़े भाषा मॉडल हंगेरियन अच्छी तरह समझते और लिखते हैं, और हंगेरियन दस्तावेज़ों से भी काम करते हैं; हमारे मुखपृष्ठ का AI सहायक भी हंगेरियन में बातचीत करता है। चूँकि प्रदाताओं के प्रकाशित माप हमेशा हंगेरियन को शामिल नहीं करते, इसलिए जवाब देने वाले और एम्बेडिंग मॉडल, दोनों को हम लाइव करने से पहले कंपनी के अपने हंगेरियन सवालों पर मापते हैं।

क्या मॉडल को अपने डेटा पर प्रशिक्षित करना होगा?

आमतौर पर नहीं। RAG सवाल के समय मॉडल को ज़रूरी अंश देता है, इसलिए ज्ञान अपडेट किया जा सकता है, स्रोत बताया जा सकता है, और अनुमतियाँ हर दस्तावेज़ के हिसाब से छाँटी जा सकती हैं। फ़ाइन-ट्यूनिंग तब विचार में आ सकती है, जब जवाबों का फ़ॉर्मेट या लहजा पर्याप्त रूप से एकरूप न हो। तब भी RAG के साथ, उसकी जगह नहीं।

अगर उसे जवाब नहीं पता, तो क्या होता है?

हम उसे ऐसा बनाते हैं कि वह यह साफ़ कहे और सवाल किसी कर्मचारी को सौंप दे, बजाय इसके कि कुछ गढ़ ले। मॉडल को “मुझे नहीं पता” कहने की स्पष्ट अनुमति मिलती है, वह सिर्फ़ दी गई सामग्री से काम कर सकता है, और बिना जवाब वाले सवाल लॉग से वापस ज्ञान-भंडार के विस्तार में जाते हैं।

हमारे दस्तावेज़ कहाँ संग्रहीत होते हैं?

स्रोत सिस्टम में, जहाँ अब तक थे; उनके साथ सर्च इंडेक्स में, जो कंपनी के अपने वातावरण में या किसी प्रदाता के पास चल सकता है; और मॉडल तक हर सवाल पर सिर्फ़ चुने गए अंश पहुँचते हैं, प्रदाता की डेटा प्रसंस्करण शर्तों के अनुसार। किसी कंपनी के लिए कौन-सा समाधान सही है, यह दस्तावेज़ों की संवेदनशीलता और डेटा संरक्षण की अपेक्षाओं पर निर्भर करता है।

हम कैसे मदद करते हैं?

Mesterséges Intelligencia Központ Kft. कंपनी के अपने दस्तावेज़ों से हंगेरियन में भी जवाब देने वाला AI चैटबॉट विकसित करती है, RAG पद्धति और स्रोत के उल्लेख के साथ, OpenAI (ChatGPT), Anthropic (Claude) और Google (Gemini) के भाषा मॉडलों पर आधारित। पहला परामर्श निःशुल्क है; हम विकास के आकार को COSMIC फ़ंक्शन पॉइंट में मापते हैं, और इसी से प्रस्ताव और समय-सारिणी बनती है। अनुरोध पर हम गोपनीयता समझौता (NDA) करते हैं, और हस्तांतरण के बाद हम ज्ञान-भंडार को अपडेट करने और कामकाज की निगरानी की ज़िम्मेदारी भी लेते हैं। सोर्स कोड और उपयोग के अधिकार अनुबंध में तय होते हैं।

विवरण AI चैटबॉट और AI एजेंट और AI एकीकरण पृष्ठों पर हैं; चैटबॉट चाहिए या एजेंट, यह तय करने में चैटबॉट या AI एजेंट? लेख मदद करता है। अगर आप कंपनी के दस्तावेज़ों से जवाब देने वाले सिस्टम की योजना बना रहे हैं, तो संपर्क पृष्ठ पर दिए गए विवरणों पर हमें लिखें।

स्रोत