RAGஎன சுருக்கமாக அழைக்கப்பெறுகின்ற மீட்டெடுப்பின் வளர்ந்திடுகின்ற தலைமுறை (Retrieval-Augmented Generation) என்பதுசெநு(AI)வின் ஒருவகை தொழில் நுட்பமாகும், இது தொடர்புடைய தகவல்களைத் தேடுவதையும் பதில்களை உருவாக்குவதையும் இணைக்கிறது. முதலில் வெளிப்புற மூலங்களிலிருந்து (ஆவணங்கள் அல்லது தரவுத்தளங்கள் போன்றவைகளிலிருந்து) தரவை மீட்டெடுப்பதன் மூலம் இது செயல்படுகிறது, மேலும் இதுதுல்லியமான சூழல்-விழிப்புணர்வுடனான பதில்களை உருவாக்கிட இந்தத் தகவலைபொருத்தமாகப் பயன்படுத்தி கொள்கிறது. இது செநு(AI) க்கு பயிற்சியளிக்கப்பட்டதை மட்டும் நம்பாமல்,அடிப்படையில் உண்மையான சிறந்த, பதில்களை வழங்க உதவுகிறது.
மீட்டெடுப்பின் வளர்ந்திடுகின்ற தலைமுறையானது((Retrieval-Augmented Generation) (RAG)) எவ்வாறு செயல்படுகிறது?
RAG ஆனது வெளிப்புற ஆதாரங்களில் இருந்து தொடர்புடைய தகவல்களுடன் செநு(AI)வின் பதில்களை மேம்படுத்துவதன் மூலம் செயல்படுகிறது. அதற்கான ஒரு சுருக்கமான விளக்கம்பின்வருமாறு:
1. ஒரு பயனர் ஒரு கேள்வியைக் கேட்கும்போது, தொடர்புடைய தகவலைக் கண்டறிய பல்வேறு தரவு மூலங்கள் (தரவுத்தளங்கள், இணையதளங்கள் , ஆவணங்கள் போன்றவை) ஆகியவற்றில் RAG ஆனது தேடிடுகிறது.
2.அவ்வாறு தேடி மீட்டெடுக்கப்பட்ட தகவலை உண்மயான கேள்வியுடன் இணைத்து மேலும் தகவலறிந்த நினைவுக்குறிப்பை உருவாக்குகிறது.
3. இந்த மேம்படுத்தப்பட்ட நினைவுக்குறிப்பை ஒரு மொழி மாதிரியில் கொடுக்கின்றது, இது கேள்விக்கு பொருத்தமான , மீட்டெடுக்கப்பட்ட தகவலுடன் செறிவூட்டப்பட்ட பதிலை உருவாக்குகிறது. இந்த செயல்முறையானது செநு(AI)வை அதன் முன்கூட்டியே பயிற்சி பெற்ற திறன்களுடன் வெளிப்புற அறிவு ஆதாரங்களை மேம்படுத்துவதன் மூலம் மிகவும் துல்லியமான, புதுப்பித்த , சூழலின்-விழிப்புணர்வுடனான பதில்களை வழங்க அனுமதிக்கிறது.
மீட்டெடுப்பின் வளர்ந்திடுகின்ற தலைமுறையானது((Retrieval-Augmented Generation) (RAG)) செநு(AI)வின் மாதிரிக்கு எவ்வாறு உதவுகிறது?
RAG ஆனது செநு(AI)ஐ மிகவும் நம்பகமானதாகவும், புதுப்பித்ததாகவும் ஆக்குகிறது, அதன் உள் அறிவை நடப்பு பயன்பாட்டிலுள்ள வெளியுலக, வெளிப்புறத் தரவுகளுடன் மேம்படுத்துகிறது. RAG ஆனது செநு(AI) மாதிரியை சில முக்கிய வழிகளில் மேம்படுத்துகிறது:
1. புதுப்பித்த தகவலுக்கான அணுகல்: வெளிப்புற மூலங்களிலிருந்து (ஆவணங்கள், தரவுத்தளங்கள் அல்லது இணையம் போன்றவை) தொடர்புடைய, நிகழ்வுநேர தகவலை RAGஆனது மீட்டெடுக்கிறது. அதாவது செநு(AI) அதன் பயிற்சிபெற்ற தரவு காலாவதியானாலும் துல்லியமான பதில்களை வழங்க முடியும்.
2. மேம்படுத்தப்பட்ட துல்லியம்: செநு(AI)இன் பயிற்றுவிக்கப்பட்ட அறிவை மட்டுமே நம்பாமல், RAG ஆனது, மிகவும் பொருத்தமான தரவின் அடிப்படையில் பதில்களை உருவாக்குகின்ற மாதிரியை உறுதி செய்கிறது. இது பதில்களை மிகவும் துல்லியமாகவும் உண்மைகளை அடிப்படையாகக் கொண்டதாகவும் ஆக்குகிறது.
3. சிறந்த சூழ்நிலைப் புரிதல்: மீட்டெடுக்கப்பட்ட தரவை பயனரின் வினவலுடன் இணைப்பதன் மூலம், RAG ஆனது சூழலின்-விழிப்புணர்வுடன் கூடிய பதில்களை வழங்க முடியும்,செநு(AI)வின் பதில்கள் சூழ்நிலைக்கு ஏற்றதாகவும் குறிப்பிட்டதாகவும் இருக்கின்றன.
4. குறைக்கப்பட்ட மாயத்தோற்றம்: தூய செநு(AI)இன் மாதிரிகள் சில நேரங்களில் “மாயத்தோற்றத்தை” அல்லது தகவலை உருவாக்குகின்றன. உண்மையான, மீட்டெடுக்கப்பட்ட தரவுகளில் பதில்களை அடிப்படையாக வைத்து, தவறான அல்லது புனையப்பட்ட தகவல்களின் வாய்ப்பைக் குறைப்பதன் மூலம் RAG இதைத் தணிக்கிறது.
திறமூலநூலகங்களை மீட்டெடுப்பதற்கானவளர்ந்திடுகின்ற தலைமுறை((Retrieval-Augmented Generation) (RAG))
RAGஆனது செயல்படுவதற்காக நமக்கு உதவுகின்ற சில திறமூல நூலகங்களை ஆராய்வோம். இந்த நூலகங்கள் RAG அமைப்புகளை திறம்பட செயல்படுத்த, ஆவணத்தின் அட்டவணைப் படுத்தல் முதல் மீட்டெடுப்பின் மொழி மாதிரிகளுடன் ஒருங்கிணைத்தல் வரை நமக்குத்தேவையான கருவிகளையும் கட்டமைப்புகளையும் வழங்குகின்றன.
1.SWIRL
SWIRL என்பது ஒரு திறமூலசெநு(AI)வின்உள்கட்டமைப்பு மென்பொருளாகும், இது RAGஇன் பயன்பாடுகளை இயக்குகிறது. தரவை நகர்த்தாமல் அல்லது நகலெடுக்காமல் தரவு மூலங்களில் வேகமான, பாதுகாப்பான தேடல்களை இயக்குவதன் மூலம் செநு(AI) இன் முறைவழிபடுத்துதல்களை இது மேம்படுத்துகிறது. SWIRL ஃபயர்வாலுக்குள் செயல்படுகிறது, அதனால் இதனை செயல்படுத்துவது எளிதாக இருக்கும் போது தரவின் பாதுகாப்பை உறுதி செய்கிறது.
எது அதை தனித்துவமாக்குகிறது:
•இது செயல்படுவதற்காகவென ETL அல்லது தரவு இயக்கம் தேவையில்லை.
• தனியார் மேககணினிகளுக்குள் வேகமான , பாதுகாப்பான செநு(AI)ஐ பரவலாக அமர்த்துதல்.
• 20+ பெரிய மொழி மாதிரிகளுடன் (LLMகள்) தடையற்ற ஒருங்கிணைப்பு.
• பாதுகாப்பான தரவு அணுகல் , இணக்கத்திற்காக கட்டப்பட்டது.
• 100+ பயன்பாடுகளில் இருந்து தரவு பெறுவதை ஆதரிக்கிறது.
- Cognita
Cognita என்பது தகவமைவு, உற்பத்திக்கு-தயாரான மீட்டெடுப்பின்வளர்ந்திடுகினற தலையின்(RAG) அமைவுகளை உருவாக்குவதற்கான ஒரு திறமூல கட்டமைவாகும். இது RAG கூறுகளை ஒழுங்கமைக்கிறது, வளாகத்தில் பரிசோதனை செய்வதை எளிதாக்குகிறது அளவில் பரவலாக அமர்த்திடுகிறது. இது பல்வேறு ஆவண மீட்டெடுப்புகளை ஆதரிக்கிறது, உட்பொதித்தல்களை , முழுமையாக API-இயக்கப்படுகிறது, மற்ற அமைப்புகளில் தடையற்ற ஒருங்கிணைப்பை அனுமதிக்கிறது.
எது அதை தனித்துவமாக்குகிறது:
• அளவிடக்கூடிய RAG அமைப்புகளுக்கான கூறுகளின் வடிவமைப்பு.
• தொழில்நுட்பம் அல்லாத பயனர்கள் ஆவணங்கள் , கேள்வி பதில்களுடன் தொடர்புகொள்வதற்கான UI அமைவு.
• அதிகரிக்கும் அட்டவணைப்படுத்தல் மாற்றங்களைக் கண்காணிப்பதன் மூலம் கணக்கீட்டு சுமையை குறைக்கிறது.
- LLM Ware
LLM Ware என்பது நிறுவனத்தின்-தயாரான மீட்டெடுப்பின் வளர்ந்திடுகின்ற தலைமுறையின் (RAG) முறைவழிபடுத்துதல்களை உருவாக்குவதற்கான ஒரு திறமூல கட்டமைப்பாகும். இது சிறிய, தனிப்பட்ட மாதிரிகளை ஒருங்கிணை்த்திடுமாறு வடிவமைக்கப்பட்டுள்ளது, அவற்றை தனிப்பட்ட முறையில், பாதுகாப்பாக பயன்படுத்திகொள்ளலாம், இது சிக்கலான நிறுவன பணிப்பாய்வுகளுக்கு ஏற்றதாக அமைகிறது.
எது அதை தனித்துவமாக்குகிறது:
• நிறுவனப் பணிகளுக்கு உகந்ததாக 50+ சிறந்த, சிறிய மாதிரிகளை வழங்குகிறது.
• தகவமையும், அளவிடக்கூடிய RAG கட்டமைப்பையும் ஆதரிக்கிறது.
• GPU இல்லாமல் இயங்க முடியும், இலகுரக பரவலாக அமர்த்துதல்களை செயல்படுத்துகிறது.
- RagFlow
RagFlow என்பது ஆழ்ந்த ஆவணப் புரிதலைப் பயன்படுத்தி மீட்டெடுப்பின் வளர்ந்திடுகின்ற தலைமுறையின் (RAG) மீது கவனம் செலுத்தும் ஒரு திறமூல இயந்திரமாகும். பயனுள்ள, மேற்கோள் அடிப்படையிலான கேள்வி-பதிலுக்காக கட்டமைக்கப்பட்ட கட்டமைக்கப்படாத தரவை ஒருங்கிணைக்க பயனர்களை இது அனுமதிக்கிறது. கணினியானது அளவிடக்கூடிய, தகவமைவின் கட்டமைப்பை எளிதாக பரவலாகஅமர்த்திடுகின்ற வாய்ப்புகளுடன் வழங்குகிறது.
எது அதை தனித்துவமாக்குகிறது:
• சிக்கலான தரவு வடிவங்களைக் கையாள ஆழ்ந்த ஆவணப் புரிதல்.
• குறைக்கப்பட்ட மாயத்தோற்றம் அபாயங்களைக் கொண்ட அடிப்படை மேற்கோள்கள்.
• PDFகள், படங்கள் , கட்டமைக்கப்பட்ட தரவு போன்ற பல்வேறு ஆவண வகைகளுக்கான ஆதரவு.
- GraphRAG
GraphRAG என்பது ஒரு தகவமைவின், வரைபட அடிப்படையிலான மீட்டெடுப்பின்-வளர்ந்திடுகின்ற தலையின் (RAG) அமைப்பாகும், இது கட்டமைக்கப்பட்ட அறிவார்ந்த வரைபடங்களை இணைத்து LLM வெளியீடுகளை மேம்படுத்த வடிவமைக்கப்பட்டுள்ளது. இது தனிப்பட்ட தரவுகளுடன் மேம்பட்ட பகுத்தறிவை ஆதரிக்கிறது, இது நிறுவனங்களின் ஆய்வு பயன்பாடுகளுக்கு ஏற்றதாக அமைகிறது.
எது அதை தனித்துவமாக்குகிறது:
• தரவு மீட்டெடுப்பை கட்டமைக்கவும் மேம்படுத்தவும் அறிவார்ந்த வரைபடங்களைப் பயன்படுத்திகொள்கிறது.
• தனிப்பட்ட தரவினை கையாளுதல் தேவைப்படும் சிக்கலான நிறுவன பயன்பாட்டு நிகழ்வுகளுக்கு ஏற்றவாறு வடிவமைக்கப்பட்டுள்ளது.
• பெரிய அளவிலான பரவலானஅமர்த்துதல்களுக்கு Microsoft Azure உடன் ஒருங்கிணைப்பை ஆதரிக்கிறது.
6.Haystack
Haystack என்பது ஒரு திறமூல செநு(AI) பல்லியஇசைஅமைவின் கட்டமைப்பாகும், இது உற்பத்திக்கு தயாராக உள்ள LLM பயன்பாடுகளை உருவாக்குகிறது. RAG, கேள்வி பதில் , சொற்பொருள் தேடல் போன்ற மேம்பட்ட அமைப்புகளை உருவாக்க மாதிரிகள், திசையன் தரவுத்தளங்கள் , கோப்பு மாற்றிகளை இணைக்க பயனர்களை இது அனுமதிக்கிறது.
எது அதை தனித்துவமாக்குகிறது:
• மீட்டெடுப்பு, உட்பொதித்தல் , அனுமானப் பணிகளுக்கான நெகிழ்வான முறைவழிபடுத்துதல்கள்.
• பல்வேறு திசையன் தரவுத்தளங்கள், LLMகளுடன் ஒருங்கிணைப்பை ஆதரிக்கிறது.
• off-the-shelf , fine-tuned செய்யப்பட்ட மாதிரிகள் ஆகிய இரண்டிலும் தனிப்பயனாக்கக்கூடியது.
- STORM
STORM என்பது LLM-இயங்கும் அறிவார்ந்த கண்காணிப்பு அமைவாகும், இது ஒரு தலைப்பை ஆராய்ந்து மேற்கோள்களுடன் அறிந்துகொள்வதற்கான முழு நீள அறிக்கைகளை உருவாக்குகிறது. இது மேம்பட்ட மீட்டெடுப்பு வழிமுறைகளை ஒருங்கிணைக்கிறது உருவாக்கப்படுகின்ற உள்ளடக்கத்தின் ஆழத்தையும் துல்லியத்தையும் மேம்படுத்தும்கின்ற பல கண்ணோட்டத்தில் கேள்வி கேட்பதை ஆதரிக்கிறது.
எது அதை தனித்துவமாக்குகிறது:
• அடிப்படை மேற்கோள்களுடன் விக்கிபீடியா போன்ற கட்டுரைகளை உருவாக்குகிறது.
• மனிதன்-செநு(AI) ஆகிய அறிவார்ந்த கூட்டுறவை ஆதரிக்கிறது.
• வெளிப்புற மீட்டெடுப்பு ஆதாரங்களுக்கான ஆதரவுடன் கூறுகளின் வடிவமைப்பினை கொண்டுள்ளது.
மீட்டெடுப்பின் வளர்ந்திடுகின்ற தலைமுறையில் உள்ள சவால்கள்
மீட்டெடுப்பின் வளர்ந்திடுகின்ற தலைமுறையின் (RAG) தரவு பொருத்தத்தை உறுதி செய்தல், தாமதத்தை நிர்வகித்தல், தரவு தரத்தை பராமரித்தல் போன்ற சவால்களை எதிர்கொள்கிறது. அதற்கான சில சவால்கள்பின்வருமாறு:
• தரவு தொடர்பானது: மீட்டெடுக்கப்பட்ட ஆவணங்கள் வினவலுக்கு மிகவும் பொருத்தமானவையாக இருப்பதை உறுதி செய்வது கடினமாக இருக்கும், குறிப்பாக பெரிய அல்லது சத்தமில்லாத தரவுத்தொகுப்புகளுடன்.
• தாமதம்: வெளிப்புற ஆதாரங்களைத் தேடுவது மேல்நிலையில் சேர்க்கிறது, குறிப்பாக நிகழ்நேர பயன்பாடுகளில் பதிலளிக்கும் நேரத்தை மெதுவாக்குகின்றது.
• தரவின் தரம்: குறைந்த தரம் அல்லது காலாவதியான தரவு துல்லியமற்ற அல்லது தவறான செநு(AI)-உருவாக்கப்பட்ட பதில்களுக்கு வழிவகுக்கின்றது.
• அளவிடுதல்: செயல்திறனைப் பராமரிக்கின்ற போது பெரிய அளவிலான தரவுத்தொகுப்புகள் , அதிக பயனர் போக்குவரத்தைக் கையாள்வது சிக்கலானதாக இருக்கும்.
• பாதுகாப்பு: தரவு தனியுரிமையை உறுதிசெய்தல் , முக்கியமான தகவல்களைப் பாதுகாப்பாகக் கையாள்வது மிகவும் முக்கியமானது, குறிப்பாக நிறுவன அமைப்புகளில்.
SWIRL போன்ற இயங்குதளங்கள் பிரித்துவெளியிலெடுத்தல், உருமாற்றம், மேலேற்றுதல்(ETL) அல்லது தரவு இயக்கம் தேவைப்படாமல், வேகமான , பாதுகாப்பான தரவு அணுகலை உறுதி செய்வதன் மூலம் இந்தச் சிக்கல்களைச் சமாளிக்கின்றன.
SWIRL மூலம், பயனரின் ஃபயர்வாலுக்குள் மீட்டெடுப்பு , செயலாக்கம் நடக்கிறது, இது தொடர்புடைய, உயர்தர பதில்களை உறுதி செய்யும் போது தரவு தனியுரிமையைப் பராமரிக்க உதவுகிறது. தற்போதுள்ள பெரிய மொழி மாதிரிகள் (LLMகள்) , நிறுவன தரவு மூலங்களுடனான அதன் ஒருங்கிணைப்பு, RAG இன் தாமதம், பாதுகாப்பு சவால்களை சமாளிப்பதற்கான திறமையான தீர்வாக அமைகிறது.