சமீபகாலமாக செய்யறிவு(AI) தளங்கள் திடீரென பெருகத் தொடங்கியபோது, அவற்றை நமது பணிப்பாய்வுகளில் பயன்படுத்துவதில் சிலருக்கு அவ்வளவு விருப்பமில்லை. மேலும், அந்த உணர்வு இன்னும் மாறவில்லை, குறிப்பாக பெரும்பாலான மென்பொருள் , வன்பொருள் உற்பத்தியாளர்கள் தங்களுடைய தயாரிப்புகளில் செய்யறிவினை திணிக்கிறார்கள். இருப்பினும், பெரிய நிறுவனங்கள் தங்களுக்குக் கிடைக்கும் ஒவ்வொரு சந்தர்ப்பத்திலும் எல்லோரும் திணிக்க முயற்சிக்கும் செய்யறிவு(AI) பயன்பாடுகளைப் போலவே பெரிய மொழி மாதிரிகள், உருவப்படங்களையும் நாம் ஒரே குடையின் கீழ் தொகுக்க மாட்டோம்.
ஏனென்றால் LLMகள் ( நீட்டிப்பு மூலம், உருவப்பட உருவாக்க கருவிகள்) அவற்றின் பயன்பாட்டு வழக்கங்களைக் கொண்டுள்ளன, அவை எவ்வளவு முக்கியத்துவமாக இருந்தாலும் சரி. பிரச்சனை என்னவென்றால், இணையத்தில் செய்யறிவின்(AI) புரவலர் தளங்கள் தனியுரிமை சிக்கல்களால் நிறைந்துள்ளன, அவற்றில் பெரும்பாலானவை கட்டணச் சந்தாக்களுக்குப் பின்னால் அத்தியாவசிய இயல்புகளைக் கட்டுப்படுத்துகின்றன. இந்நிலையில் நம்முடைய சொந்த செய்யறிவு(AI) கருவிகளை சுயபுரவலராக செய்வதுஎன்பதே ஒரு நல்ல தீர்வாக மாறியமைகின்றது, மேலும் LLMகள் , உருவப்பட உருவாக்க மாதிரிகளை நம்முடைய அன்றாட பணிகளில் ஒருங்கிணைக்க வளாக சேவையகங்களில் ( தினசரியான இயக்கி கூட) நாம் இயக்க தயாராக இருக்கின்ற திறமூலபயன்பாடுகளின் தொகுப்பு பின்வருமாறு.
I-Ollama-இது சுய-புரவலாகசெய்யப்பட்ட அடுக்கில் ஏராளமான சேவைகளுக்கு .
நமது வீட்டு ஆய்வகத்தில் பல்லாயிரக்கணக்கான சேவைகளை இயக்குவதை நாம் விரும்புவோம். அவற்றில் பெரும்பாலானவை மிகவும் தன்னிறைவு பெற்றவை ,குறைந்தபட்ச வளங்களை உட்கொண்டு கொள்கலன் சூழல்களுக்குள் நன்றாக செயல்படுகின்றன, மற்றவை வெளிப்புற சேவைகளுடன் LLMகள் உட்பட. நன்றாக ஒன்றிணைகின்றன –
நாம் இந்த செயலில் இருக்கும்போது, சுய-புரவலராக செய்யப்பட்ட LLMகளில் பெரும்பாலானவற்றை வரிசைப்படுத்தவும் நிர்வகிக்கவும் Ollama ஐப் பயன்படுத்தி கொள்க. ஏனெனில் Ollama என்பது ஒரு FOSS கருவியாகும், இது வெளிப்புற மேககணினி தளங்களை ஈடுபடுத்தாமல் LLMகளை இயக்க வளாக வன்பொருளின் செயலாக்க திறன்களைப் பயன்படுத்த முடியும். Ollama என்பது SBCகள் , CPUகளில் கூட இயங்கக்கூடிய எளிய 0.7B , 1B வகைகள் முதல் அதிநவீன வரைகலை அட்டைகளால் மட்டுமே கட்டுப்படுத்தக்கூடிய hardcore இன் 70B+ LLMகள் வரை பல மாதிரிகளை ஆதரிக்கிறது. Ollamaவின் API பல வீட்டு ஆய்வக சேவைகளுடன் இணக்கமாக உள்ளது, எனவே அதை நமது கொள்கலன்கள் , மெய்நிகர் இயந்திரங்களின் ஆயுதக் களஞ்சியத்துடன் நேரடியாக ஒருங்கிணைக்க முடியும்.
எடுத்துக்காட்டாக, வீட்டுஉதவியாளர்(Home Assistant)ஆனது, செய்யறிவு(AI)-இயங்கும் வினவல்களை ஆதரிக்கிறது, மேலும் 3B Ollamaஆனது அடிப்படையிலான மாதிரிகள் போன்ற இலகுரகமானது எதுவும் கூட நமது பெரும்பாலான கேள்விகளுக்கு பதிலளிக்க முடியும் சிக்கல்கள் இல்லாமல் சரியான திறன்மிகுவீடுகளின் செயலிகளைச் செயற்படுத்திட முடியும். அதேபோன்று, ஆவண மேலாளரின் OCR, தேடல் திறன்களை மேம்படுத்த Paperless-GPT ஆனது Ollama மாதிரிகளைப் பயன்படுத்திகொள்கிறது. பின்னர் bookmarksகளுக்கான குறிச்சொற்கள் , சுருக்கமான விவரங்களை உருவாக்க LLMகளைப் பயன்படுத்துகின்ற Karakeep, என்பது உள்ளது. tagsஆனவை , நமது மேம்படுத்துநர் VMகளில் இயங்கும் VS குறிமுறைவரிகளின் நிகழ்வுகளை Continue.Dev நீட்டிப்பைப் பயன்படுத்தி LLMகளுடன் ஆயுதமாக ஏந்திடலாம். குறிமுறைவரிகளை உருவாக்குவதற்கு அன்று என்ற செய்தியை நினைவில் கொள்க. அதற்கு பதிலாக மாதிரிகள் நிரலாக்க பணிகளுக்கு தானியங்கியான நிரப்புதல், குறிமுறைவரிகளின் மதிப்பாய்வு , பிழைத்திருத்த ஆதரவை வழங்குகின்றன. மேலும் திறமூலகுறிப்புத்தாளான (NoteBook) மூலம் Ollama மாதிரிகளைப் பயன்படுத்துவதை இங்கு குறிப்பிடவில்லை.
II-KoboldCPP- தினசரி இயக்கிகளில் LLMகளை இயக்கிடுவதற்கு
Ollama நிகழ்வை எவ்வளவு நேசிக்கிறேமோ, அதை வீட்டு சேவையகத்தில் VM ஆக இயக்கிடலாம், மேலும் சில நேரங்களில் அன்றாட கணினியிலிருந்து LLMகளை அணுக முடியாது. ஏனென்றால் பழைய RTX 3080 Ti அதிக பயன்பாட்டு நிலைகளைத் தாக்கும் முன் பல LLM பணிச்சுமைகளை மட்டுமே கையாள முடியும், மேலும் கூடுதல் பணிகளுடன் அதை பயன்படுத்த விரும்பமாட்டோம்.
இந்நிலையில் KoboldCPPஆனவை நிகழ்வுகள் சமன்பாட்டிற்குள் பொருந்துகின்றன. (bare-metal) Windows 11 PC இல் இதை இயக்கிடலாம். Ollama-விலிருந்து வருவதால், KoboldCPP-க்கு பழகுவதற்கு சிறிது நேரம் பிடிக்கின்றது, ஆனால் D&D இன்escapades முதல் நிரலாக்க வழிமுறைகளின் சாத்தியக்கூறுகளை விரைவாகச் சரிபார்ப்பது வரை அனைத்திற்கும் இதைப் பயன்படுத்திகொள்ளலாம்.
III-Automatic1111-அல்லது மாறாக, நிலையான பரவலுக்கு
உருவப்பட உருவாக்கிகளானவை விளக்கப்படங்களை உருவாக்கும் போது இன்னும் முரண்பாடுகளை உருவாக்கக்கூடும், ஆனால் அவற்றின் படைப்புகள் மிகவும் கனவுகளாக இருந்த துவக்க நாட்களிலிருந்து அவை நீண்ட தூரம் வந்துவிட்டன. Ollama , KoboldCPP போன்றே, Automatic1111 என்பது மாதிரி கோப்புகளை நிரப்பவும், உருவப்படங்களை உருவாக்குவதற்கான தூண்டுதல்களுடன் விளையாடவும் கூடிய ஒரு சிறந்தகருவியாகும்.
தனிப்பட்ட முறையில், விளக்கப்படங்களை உருவாக்க Automatic1111 (அல்லது மாறாக, நிலையான பரவல் மாதிரிகள்) பயன்படுத்துவதை தவிர்த்திடுக, மேலும் D&D பிரச்சாரங்களுக்கு தனிப்பயன் கதாபாத்திர உருவப்படங்களை உருவாக்குவதே அதனுடன் கலண்ல தயாராக உள்ள நமக்கு மிகத் தொலைவில் உள்ளது. அதற்கு பதிலாக, துவக்ககால குழந்தை பருவ நாட்களிலிருந்து குறைந்த தெளிவுத்திறன் கொண்ட படங்களை மேம்படுத்த பெரும்பாலும் இதைப் பயன்படுத்திடலாம். ஒரே எச்சரிக்கை என்னவென்றால், இதற்கு அதிக செயலாக்க சக்தி தேவைப்படுகிறது – ஏற்கனவே பயன்படுத்தப்பட்ட RTX 4090 க்கு மேம்படுத்த திட்டமிட்டுள்ள அளவிற்கு. இது எவ்வளவு விசித்திரமாகத் தோன்றினாலும், FOSS பட திருத்திகளின் தலைவனாக செயல்படுகின்றசெய்யறிவு(AI)இயக்கப்படும் ஓவியம் , X/Y plotting ஆதரவைச் சேர்க்க GIMP உடன் Automatic1111 ஐயும் பயன்படுத்திகொள்ளலாம்.
IV-Faster-whisper-எனது ஒலிமாற்றி பணிகளுக்கு
Faster-whisper என்பது இதுவரை உண்மையில் பயன்படுத்தாத ஒன்று, ஆனால் இந்த எளிமையான கருவியைக் கண்டால் நாம் மிகவும் மகிழ்ச்சியடைவோம். முதல் பார்வையில், ஒலியை மாற்றம் செய்வது ஒரு சிறப்புப் பயன்பாடாகத் தோன்றலாம், ஆனால் Faster-whisper சிக்கலான அமைப்பை விட மதிப்புக்குரியது. கூட்டங்களில் Faster-whisper தருக்கங்களை இயக்குவது குறிப்புகளை உருவாக்குவதை எளிதாக்குகிறது, ஏனெனில் காட்சிகளின் வெவ்வேறு பிரிவுகளுக்கு இடையில் தொடர்ந்து மாற வேண்டியதில்லை.
விவாதங்களுக்கும் , நேர்காணல்களுக்கும் இதுவே பொருந்தும், மேலும் இதனைகொண்டு YouTube கானொளிகாட்சிகளுக்கான உரையாடல்களை கூட உருவாக்க முடியும். கண்டிப்பாக, அதை உள்ளமைப்பது சற்று சிரமமாக இருக்கிறது, ஆனால் நீண்ட ஒலி தொகுப்புகளை காப்பகப்படுத்துவது மிகவும் எளிது – குறிப்பாக நம்மைப் போன்ற உள்ளடக்க படைப்பாளர்களுக்கு.
Faster-whisperகருவிகளை சுயபுரவலராக செய்ய நமக்கு மிகவும் ஒழுக்கமான அமைப்புகள் தேவைப்படும்.
LLM-கள்-புரவலர் பயன்பாடுகள், உருவப்பட உருவாக்கிகள் மிகவும் அணுகக்கூடியதாக மாறிவிட்டாலும், சிறந்த முடிவுகளுக்கு அவைகளுக்கு அதிக குதிரைத்திறன்கூடிய சக்தி தேவையாகும். கண்டிப்பாக, குறைந்த அளவுரு மாதிரிகள் குறைந்துசெலவத்திறன் அளவலான வன்பொருளில் இயங்கக்கூடும், ஆனால் அவற்றின் பயன்பாடு மிகவும் குறைவாகவே உள்ளது – குறிப்பாக உருவப்பட மேம்பாடு , சிறந்த துல்லியம் தேவைப்படும் பிற பணிகளுக்கு. அவற்றின் அதிக திறன் கொண்ட சகாக்கள் கணிசமாக சிறந்த முடிவுகளைத் தரக்கூடும், ஆனால் செயல்திறன் சிக்கல்களை எதிர்கொள்ள விரும்பவில்லை என்றால், அதிநவீன வரைகலை அட்டைகளுக்காக பணப்பையை தியாகம் செய்ய வேண்டியிருக்கும்.