Jaka karta graficzna do lokalnego AI

Tyle, ile waży plik modelu w Ollamie, plus pamięć na kontekst rozmowy (KV cache) i około 0,6 GB buforów na każdej karcie. Model 8B w kwantyzacji Q4 waży około 5 GB i zmieści się w 8 GB, 14B potrzebuje około 10,5 GB, modele 27B do 32B około 20 do 22 GB, a 70B około 45 GB. Dłuższy kontekst dokłada pamięci: przy 32 tysiącach tokenów nawet kilka gigabajtów.

Pamięć tak, szybkość nie. Ollama sama rozkłada warstwy modelu na wszystkie karty, więc dwa RTX 3060 po 12 GB pomieszczą model, który potrzebuje około 22 GB. Każdy token przechodzi jednak przez karty po kolei, więc tempo jest takie, jak na jednej karcie tego typu z większą pamięcią, i jeszcze kilka procent niższe przez przekazywanie danych między kartami. Dwie słabsze karty to tani sposób na duży model, a jedna mocna karta da szybsze odpowiedzi.

Ollama dzieli model proporcjonalnie do wolnej pamięci kart, a czas tokena to suma czasów na każdej z nich. Wolniejsza karta spowalnia więc całość w takim stopniu, w jakim przechowuje część modelu. Kalkulator pokazuje podział pamięci i liczy tempo dla Twojego zestawu.

Modele mixture-of-experts, na przykład Qwen3 30B-A3B czy gpt-oss 20B, przy każdym tokenie używają tylko części parametrów. Cały model musi zmieścić się w pamięci, ale czytana jest tylko aktywna część, więc odpowiadają kilka razy szybciej niż model gęsty tej samej wielkości. Przyjmujemy, że wykorzystują połowę teoretycznej przewagi, bo tak wychodzi w pomiarach na RTX 3090.

Ollama przeniesie część warstw do pamięci RAM i policzy je na procesorze. Model zadziała, ale ta część jest czytana z RAM z prędkością 30 do 50 GB/s zamiast setek GB/s, więc tempo spada kilkukrotnie. W kalkulatorze możesz na to pozwolić i zobaczyć szacunek.

Lista modeli, ich rozmiary, liczba parametrów i kwantyzacja pochodzą z biblioteki Ollamy i odświeżamy je codziennie. Prędkość kart to pomiary społeczności llama.cpp dla modelu 7B (CUDA dla NVIDII, Vulkan dla AMD i Intela), a dla kart bez pomiaru szacunek z przepustowości pamięci. Wynik dla wybranego modelu przeliczamy proporcjonalnie do liczby bajtów czytanych na token, więc to szacunek. Ceny pochodzą z x-kom, Komputronika, Media Expert i Morele.