உங்களுடைய கணினியில், பல்வேறுபட்ட திறன்மிகு மொழி மாதிரிகளை(LLM) இயக்கி பார்ப்பதற்கான, ஒரு திறந்த நிலை திட்டம்(OPEN SOURCE PROJECT)தான் “OLLAMA” (ஒல்லமா).
நிரல் மொழிகளை இயக்குவதற்காக, CODESTRAL அல்லது Chat gpt போன்ற அனுபவத்தை பெறுவதற்காக,LLaMa 3 போன்ற திறன்மிகு மொழி மாதிரிகளை உங்கள் கணினியில் இயக்குவதற்கு ஒரு சிறந்த வழி தான் OLLAMA(ஒல்லமா).
அதை எவ்வாறு செய்வது? எங்கிருந்து தரவிறக்குவது?உள்ளிட்ட அனைத்து விதமான சந்தேகங்களுக்கும் விடை அளிக்கிறது இந்த கட்டுரை.
ollama என்றால் என்ன?
லினக்ஸ்{Linux (Systemd-powered distros)}, விண்டோஸ்(Windows) மற்றும் மேக் ( Mac os – apple silicon) இயங்குதளங்களில் செயல்படக்கூடிய, திறன்மிகு மொழி மாதிரிகளை இயக்கும் ஒரு இயக்ககம்(operator) தான், இந்த OLLAMA.
இந்தக் கட்டளை நிறைவேற்றும் இடைமுகம் மூலமாக, திறன்மிகு மொழி மாதிரிகளை பதிவிறக்கவும், தனிப்பட்ட முறையில் பயன்படுத்தவும் முடியும். சில கட்டளைகளை வழங்குவதன் மூலமாக, மிகவும் பிரபலமான திறன்மிகு மொழி மாதிரிகளான Llama 3, Mixtral போன்றவற்றை பதிவிறக்கம் செய்ய முடியும்.
இதை ஒரு docker(an open platform for developing, shipping, and running applications) போல நினைத்துக் கொள்ளுங்கள்! நீங்கள் மத்திய களஞ்சியத்தில் இருந்து பதிவிறக்கம் செய்து உங்கள் கணினியில் பயன்படுத்துவது போல, இங்கும் உங்களால் திறன்மிகு மொழி மாதிரி களை பதிவிறக்கம் செய்து, உங்கள் தனிப்பட்ட கணினியில் எளிமையாக பயன்படுத்த முடியும்.
உங்களுடைய கணினியின் குறைந்த பட்ச தேவைகள் (system requirements) என்ன?
இதை பயன்படுத்துவதற்கு, உங்களுடைய கணினி செயற்கை நுண்ணறிவுகள் மாதிரிகளை கையாளும் திறனை பெற்றிருக்க வேண்டும்.
உங்களுக்கு வரைகலை செயலாக்க அமைப்பு(GPU) தேவைப்படும். மத்திய செயலாக்கு அமைப்பில்(CPU with iGpu) இதை செயல்படுத்த முடியாது. அப்படியே செயல்படுத்தினாலும், அதற்கு மணிக்கணக்கில் நேரம் எடுத்துக் கொள்ளும், எனவே அது நடைமுறையில் சாத்தியமற்ற ஒரு விஷயம்.
குறைந்தபட்ச செயல்திறன் அலகு 5 கொண்ட Nvdia/AMD வரைகலை செயலாக்க அமைப்பு, உங்களிடம் உள்ளது உறுதி செய்து கொள்ளுங்கள்.
கீழே, சில சிறந்த வரைகளை செயலாக்க அமைப்புகள் வகைப்படுத்தப்பட்டுள்ளன. கீழ்க்கண்டவற்றை பயன்படுத்தி OLLAMA வை இயக்க முடியும்
- NVIDIA RTX 40×0 series, NVIDIA RTX 30×0 series, GTX 1650 Ti, GTX 750 Ti, GTX 750
- AMD Vega 64, AMD Radeon RX 6000 series, AMD Radeon RX 7000 series
OLLAMA இயக்கக் கூடிய வரைகலை அமைப்புகள்(GPU) தொடர்பான தகவல்களை ,அதிகாரப்பூர்வ இணையதளம் மூலமாக அறிந்து கொள்ளலாம்.
ஆனால்,OLLAMA வை உங்களால் டிபியு(TPU)அல்லது என் பி யு(NPU)வில் தற்போது வரை அதிகாரப்பூர்வமாக இயக்க முடியாது, என்பதுதான் நிதர்சனமான உண்மை.
மைய செயலாக அமைப்பில் இயக்க முடியுமா?
தற்போது, வரைகலை செயலாக்க அமைப்பில்(GPU) மட்டுமே இயக்கக் கூடிய வசதிகள் உள்ளன.நீங்கள் மைய செயலாக அமைப்பில்(CPU) இயக்க நினைத்தால் 16 அடுக்கு(16core processor) செயலகம் உங்களிடம் இருந்தாலும், மிக அதிகப்படியான நேரத்தை இது எடுத்துக் கொள்கிறது. எனவே,மைய செயலாக அமைப்பில் பயன்படுத்துவதற்கு நான் ஒருபோதும் பரிந்துரைக்க மாட்டேன்.
எப்படி நிறுவுவது?
OLLAMA வை நிறுவுவதற்கான வழிமுறைகள் அடங்கிய குறிப்பேடுகள், பல இணையதளங்களிலும் கொட்டிக் கிடக்கின்றன.எளிய வகையில் அறிய கிளிக் செய்யவும்.
Ollama மாதிரிகள்
இங்கு, உங்களால் திறந்த நிலை மாதிரிகளை பயன்படுத்த முடியும். ஆனால், சில மட்டுமே உங்களுடைய வர்த்தக தேவைகளுக்கு பயன்படும் பிறவற்றை வர்த்தக தேவைகளுக்கு பயன்படுத்த நான் பரிந்துரைக்க மாட்டேன்.
கீழ்காணும் கட்டளையை வழங்குவதன் மூலம் திறந்த நிலை மாதிரிகளை நிறுவ முடியும்.
ollama pull codestral
உலாமாவில் கிடைக்கும் சில பயனுள்ள மாதிரிகள் இங்கே பட்டியலிடப்பட்டுள்ளது.
- llama 3: Meta நிறுவனத்தால் தயாரிக்கப்பட்ட தகவல்கள் உள்ளிடப்பட்ட ஒரு ஏஐ மாதிரி
- gemma: கூகுள் நிறுவனத்தின் ஜெமினி AI தொழில்நுட்பத்தை போன்று எளிய வடிவில் இயங்குவதற்காக உருவாக்கப்பட்டது.
- Mistral: Apache 2.0 உரிமைக்கு கீழ் கிடைக்கும் ஒரு மிகவும் சக்தி வாய்ந்த திறந்த நிலை AI மாதிரி
- Codestral: 80+ மேற்பட்ட நிரலாக்க மொழிகளில் பயிற்றுவிக்கப்பட்ட AI மாதிரி
நூற்றுக்கணக்கான திறன்மிகு செயலாக்கம் மொழி மாதிரி களை, OLLAMA நூலகத்தில் உங்களால் பார்க்க முடியும்.
உங்களுக்கு விருப்பமானவற்றை உங்களது சாதனத்தில் தரவிறக்குங்கள்.
உங்களுக்கு அந்த Ai மாடல் தேவையில்லை எனில், எளிமையாக கீழ்காணும் கட்டளையை பிறப்பித்து, உங்கள் linux இல் இருந்து அதை நீக்க முடியும்.
ollama rm codestral
உங்கள் தரவுகள் எங்கு சேமிக்கப்படுகின்றன?
சில நேரங்களில் நீக்குவதற்கான கட்டளையை பிறப்பித்த பிறகும் கூட, உங்களுடைய தரவுகள் நீக்கப்படாமல் இருக்கலாம். அதை சரி செய்ய, உங்களுடைய தரவுகள் எங்கு சேமிக்கப்படுகிறது? என்பதை அறிந்து கொள்வது முக்கியமாகிறது.
நீங்கள் கோப்பு மேலாளரை கொண்டு உங்களது தரவுகளை தேட முற்பட்டாலும் கூட, அதை கண்டுபிடிப்பதில் சில நேரம் சிக்கல் ஏற்படலாம். மேற்படி இயங்குதளங்களில், உங்களது தரவுகள் எங்கு இருக்கும் என்பதை கீழ்காணும் கோப்பு பெயர்களைக் கொண்டு அறிந்து கொள்ளுங்கள்.
- Linux:
/usr/share/ollama/.ollama/models - Windows:
C:\Users\%username%\.ollama\models - macOS:
~/.ollama/models
எப்படி வெளியேறுவது?
நீங்கள் விண்டோஸ் அல்லது மேக் இயங்குதளத்தைப் பயன்படுத்தினால், உங்கள் செயல்பாடுகள் பகுதியில் (taskbar) சென்று,Exit ollama என்பதை சொடுக்கவும்.
ஒருவேளை, நீங்கள் லினக்ஸ் இயங்குதளத்தை பயன்படுத்தினால், கீழ்காணும் கட்டளையை பிறப்பிக்கவும்.
sudo systemctl stop ollama
நிறைவு பகுதி
திறன்மிகு மொழி மாதிரிகளை இயக்கக்கூடிய OLLAMA குறித்து, இந்தக் கட்டுரையில், எளிய தமிழில், விரிவாக அறிந்து கொண்டிருப்பீர்கள்! என்று நம்புகிறேன். பிறகு ஏன் தாமதிக்கிறீர்கள் ?உங்களுடைய கணினியில் OLLAMA வை முயற்சித்துப் பாருங்கள்………..
இந்த கட்டுரையானது itsfoss இணையதளத்தில் அங்குஸ் தாஸ் அவர்களால் எழுதப்பட்டது.
மொழிபெயர்த்தவர்:
SRI KALEESWARAR S
ஶ்ரீ காளீஸ்வரர் செ
தொடக்கநிலை மொழிபெயர்ப்பாளர்,
இளங்கலை இயற்பியல் மாணவர்,
மின் மடல் முகவரி: srikaleeswarar@myyahoo.com