Innowacyjna kompresja Wikipedii: 1 GB skurczony do 105 MB dzięki AI

Tufa Labs zaprezentowało nową metodę kompresji danych, która pozwala na bezstratne zmniejszenie 1 GB informacji z Wikipedii do zaledwie 105 MB. Proces ten wykorzystuje model Transformer z 163 milionami parametrów jako predyktor, a jego realizacja wymaga dwóch kart graficznych Nvidia B200 oraz około tygodnia na kompresję i dekompresję. To osiągnięcie jest największym sukcesem w kategorii kompresji tekstu na Large Text Compression Benchmark, gdzie dotychczasowe wyniki opierały się na mieszance modeli ręcznie budowanych i sieci neuronowych.

Model, nazwany tufazip, zawiera wstępnie wytrenowany model startowy o wielkości 4,33 MB, który jest niezbędny do rozpakowania skompresowanych danych. Tufa Labs podkreśla, że ich podejście różni się od tradycyjnych modeli kompresji, ponieważ nie korzysta z ręcznie budowanych komponentów. W efekcie, kompresja jest całkowicie deterministyczna, co oznacza, że nie ma ryzyka utraty danych.

Warto zauważyć, że proces treningu odbywa się w dwóch etapach: najpierw model startowy jest trenowany offline, a następnie pełny model uczy się w trakcie kompresji, przewidując każdy token i dostosowując się do danych. Chociaż wyniki są obiecujące, obecnie technologia ta ma charakter badawczy i wymaga zaawansowanego sprzętu do działania. Jakie są wasze przemyślenia na temat przyszłości kompresji danych z wykorzystaniem sztucznej inteligencji?

Więcej informacji pod linkiem: Źródło newsa

Dodaj komentarz