pLlama3 (8B + 70B) – GenAI dla polskiego
pLLama – wygenerowane za pomocą AI Intro Witajcie! W ostatnim wpisie wspominaliśmy o modelu GenaAI… Tak! Dzisiaj chcemy przedstawić Wam nasz nowy model, a właściwie to rodzinę modeli douczoną na …
Bi-encoder and cross-encoder model
The possibilities offered by generative models are enormous, as evidenced by the success of OpenAI and its flagship product, ChatGPT. Generative models based on transformer architecture are on par with …
Text denoiser
Currently, the world of natural language processing is dominated by solutions based on transformer architecture models. The diversity of these models has practically dominated every area of NLP. Regardless of …
Extraction QA – our model polish-qa-v2
In the field of natural language processing, innovative solutions are constantly emerging that enable precise answers to questions in different languages. We present the polish-qa-v2 model, which represents a step …
Nowe modele gpt2!
Dzisiaj udostępniliśmy dwa modele gpt2 trenowane od podstaw. Jeden w architekturze small, drugi w medium. Modele oczywiście dostępne są publicznie na naszym huggingface 😉 Poniżej po dwa zrzuty ekranu z …
[Q&A] Uczenie GPU/CPU
Q: Jak uruchomić uczenie/inferencję na wybranych GPU? A: Należy uruchomić program z opcją: gdzie 0 i 1 to numery kart graficznych do rozproszonego obliczenia. Q: Jak włączyć/wyłączyć obsługę NVX dla …
Narzędzia do tworzenia modeli word2vec
Fasttext, GloVe…
Błędy podczas uczenia i douczania transformatorów
Chcę wykorzystać trainera do fine-tuningowania ale dostaję komunikat CUBLAS_STATUS_ALLOC_FAILED… Dostaję informację o braku pamięci na GPU pomimo tego, że mam…
[Q&A] Uczenie transformatorów
Q: How to continue training from a checkpoint with Trainer?
Q: How to save only best weights with huggingface transformers?
Ciekawostki o transformatorach
BERT (ang. Bidirectional Encoder Representations from Transformers), to nie głęboka sieć neuronowa! To transformator!