Llm

Gida honetan HuggingFace webgunean argitaratuak dauden ereduak GGUF formatura bihurtzeko jarraibideak azaltzen dira. GGUF formatu honek ereduak gure ordenagailuan modu eraginkorrean erabiltzeko aukera eskaintzen du. Horretarako, Llama.cpp edo Ollama bezalako tresnak erabili ditzakegu. Llama.cpp deskargatu Gure ordenagailuan bertan GGUF formatura bihurtzeko, llama.cpp deskargatu beharko dugu lehenik eta behin, bertako bihurketa tresnak erabili ahal izateko. # Klonatu llama.cpp biltegia git clone https://github.com/ggml-org/llama.cpp.git Ingurunea prestatu Ingurunea prestatu eta beharrezko dependentziak instalatzeko, uv erabiliko dugu. Ez baduzu instalatu, instalatu beharko duzu. ...

Duela gutxi HiTZ zentroak Latxa VL ereduak argitaratu zituen. Eredu hauek Qwen3-VL ereduetan oinarrituak daude eta ikusmenerako gaitasuna dute. Momentuz, bi tamaina ditugu eskuragarri, biak oso txikiak: 2B eta 4B parametro dituzten ereduak. Ondorenera aurkeztutako probak 4B ereduarekin eginak izan dira. Euskaraz dakiten ereduak Orokorrean, horrelako tamaina txikiko ereduek ingelesez txukun erantzuteko gaitasuna izan ohi dute soilik. Latxa VL eredu hauek, ordea, euskaraz egiteko entrenatuak izan dira. Euskaraz ulertzeko gai izan harren, sarri akats batzuk egiten ditu erantzunetan. ...

Kimu izeneko hizkuntza eredua argitaratu berri du Orai-k. Gemma 2 ereduan oinarrituta, 2B eta 9B parametro dituzten ereduak sortu dituzte. Oinarrizko ereduari euskaraz egiteko beharrezko jakintza txertatzea lortu dute. Kimu-ko bi ereduak GGUF formatura bihurtu ditut eta Hugging Face biltegian jarri ditut eskuragarri. Modu honetara, Kimu eredua Llama.cpp edo Ollama bezalako aplikazioetan erabiltzea posible da. Aldi berean, @urtzai-k eredu hauek Ollama-ko eredu katalogoan argitaratu ditu, Ollama bidez erabilera errazagoa eginez. ...

Azken hilabeteetan LLM eredu lokal eta askeak asko hobetu dira, eta horietako batzuk euskaraz ere nahiko ondo moldatzen dira. Horien artean, Tülu-3 70B nabarmendu nahi nuke, kuantizatutako bertsioa erabilita (q4_K_M) euskaraz emaitza onak ematen baititu. Latxa chat edo instrukzio eredua argitaratu arte, ziurrenik aukera onena da euskarazko elkarrizketak izateko edo testuak sortzeko. RAG sistema martxan jartzeko osagaiak RAG (Retrieval Augmented Generation) sistema bat martxan jartzeko behar ditugun osagaiak: ...