Trening od zera
Architektura, dane i compute. Co możemy sprawdzić w małej skali, zanim zwiększymy model?
Polskie LLM × Fabryka AI
Potraktujmy trening modelu językowego jak eksperyment naukowy. Z hipotezą, kontrolą zmiennych i wynikiem, który można zmierzyć.
O czym porozmawiamy01 / Idea spotkania
Co jest potrzebne, żeby trenować polskie modele językowe od podstaw? Zapraszamy studentów, badaczy i osoby zainteresowane AI do rozmowy o danych, mocy obliczeniowej i metodologii badań.
W Fabryka AI eksperymentujemy z treningiem małych modeli językowych od zera. Chcemy porozmawiać o tym, jak połączyć praktykę budowania modeli z naukowym podejściem do testowania hipotez.
Zobacz modele SlayerLab02 / Tematy rozmowy
Architektura, dane i compute. Co możemy sprawdzić w małej skali, zanim zwiększymy model?
Jak zmieniają się wyniki wraz z liczbą parametrów, ilością danych i budżetem obliczeniowym?
Polskie dane do pretreningu, licencje, modele open weight i publikowanie wyników eksperymentów.
03 / Co dalej?
Spotkanie może stać się początkiem ścieżki projektowej, w której studenci trenują i porównują modele o różnej skali. Porozmawiamy również o możliwościach wsparcia badań przez Fabryka AI: zasobach obliczeniowych, narzędziach i potencjalnych grantach.
Parametry / proponowana ścieżka eksperymentów
04 / Prelegenci
Nazwiska prelegentów i szczegółowy program ogłosimy wkrótce.
Polskie LLM × Fabryka AI
Zaczynamy o 18:00. Szczegóły udziału opublikujemy na tej stronie.