Zhakowany PS4 uruchamia model AI z 9 miliardami parametrów

Projekt open-source Garlic LLM, stworzony przez dewelopera Leonardo Alegríę, umożliwia uruchomienie na zhakowanej konsoli PS4 modelu AI Qwen3.5-9B, który posiada 9 miliardów parametrów. Aplikacja komunikując się bezpośrednio z GPU konsoli z 2013 roku, pozwala na offline’owe działanie modelu, który został zoptymalizowany do około 4,5 GiB, osiągając prędkość 31 do 39 tokenów na sekundę.

Garlic LLM jest dostępny jako darmowe pobranie o wielkości 5,66 GB na platformie Hugging Face, a jego instalacja wymaga około 6 GB wolnego miejsca na konsoli. Aplikacja obsługuje konwersacje głosowe w siedmiu językach oraz umożliwia dyktowanie tekstu za pomocą modelu mowy Nvidia Parakeet, wspierającego 25 języków europejskich. Warto zauważyć, że w porównaniu do PS5, PS4 korzysta z innego podejścia, ponieważ Garlic LLM nie wykorzystuje portu Vulkan ani nie bazuje na popularnym programie llama.cpp.

Wyniki testów pokazują, że model osiąga prędkość do 43 tokenów na sekundę, co czyni go konkurencyjnym, zwłaszcza w kontekście starszego sprzętu. Projekt nie jest jeszcze przetestowany na PS4 Pro, a deweloper zachęca użytkowników do dzielenia się swoimi doświadczeniami na GitHubie. Jakie są Wasze przemyślenia na temat możliwości wykorzystania starszych konsol do nowoczesnych zastosowań AI?

Więcej informacji pod linkiem: Źródło newsa

Dodaj komentarz