Nowa konfiguracja Optane z dwoma RTX 3090 zwiększa wydajność modelu Kimi AI

Użytkownik Reddita zaprezentował nową konfigurację swojego systemu AI Optane, która wykorzystuje dwie karty graficzne RTX 3090 do uruchomienia modelu Moonshot Kimi K3 o łącznej liczbie 2,8 biliona parametrów. Dzięki przeniesieniu niemal połowy modelu na pamięć RAM, wydajność generacji wzrosła o 41%, osiągając 3,11 tokena na sekundę, a ocena promptów wzrosła o 26%, osiągając 16,8 tokena na sekundę. Mimo to, system wciąż wymaga dodatkowego chłodzenia, ponieważ pamięć Optane nagrzewa się podczas intensywnego użytkowania.

Nowa konfiguracja, w której 45 z 94 shardów (414 GB z 865 GB) znajduje się w pamięci RAM, pozwala na szybsze przetwarzanie danych. Wcześniej, bez pamięci RAM, system osiągał 2,20 tokena na sekundę przy generacji i 13,3 tokena przy ocenie promptów. Model Kimi K3, oparty na architekturze mieszanych ekspertów (MoE), wykorzystuje 896 ekspertów, z których 16 jest wybieranych dla każdego tokena, co pozwala na efektywne zarządzanie zasobami obliczeniowymi.

Użytkownik planuje dalsze optymalizacje, w tym dostosowaną kwantyzację, co może jeszcze bardziej zwiększyć wydajność systemu. Warto zauważyć, że osiągnięcie większej szybkości nie powinno odbywać się kosztem jakości generowanych wyników. Jakie są Wasze przemyślenia na temat tej konfiguracji?

Więcej informacji pod linkiem: Źródło newsa

Dodaj komentarz