RWKV

RWKV (wym. RwaKuv) – architektura otwartoźródłowych modeli językowych, łącząca zalety sieci rekurencyjnych sieci neuronowych oraz sieci Transformer. Została zaprojektowana jako rozwiązanie eliminujące problem złożoności obliczeniowej i pamięciowej, charakterystycznych dla standardowych mechanizmów atencji^[1]. Dzięki unikalnej konstrukcji, modele tej architektury mogą być trenowane równolegle (jak transformery) zachowując liniową złożoność obliczeniową. Podczas wnioskowania, RWKV działa jak klasyczna sieć rekurencyjna, co wiąże się z stałym zapotrzebowaniem na pamięć VRAM. Pozwala to na płynne przetwarzanie długich kontekstów.

Początkowe implementacje RWKV dotyczyły przetwarzania języka naturalnego, obecnie jednak RWKV jest używany również do przetwarzania wizji komputerowej^[2]. W obdwu zadaniach jest wykorzystywany jako zamiennik architektury transformer. Najnowsze implementacje RWKV dorównują jakością do standardowych transformerów, lecz nie są powszechnie używane. Zdecydowanie częsciej, jako zamiennik transformer używa się architektur tj. Mamba oraz Hyena. Należy jednak pamiętać, iż Transformer nadal są najbardziej dominującą architekturą.

Ze względu na stały rozmiar stanu RNN, model musi kompresować informacje w bardzo długich sekwencjach, co może prowadzić do „zapominania” drobnych szczegółów z początku tekstu (tzw. problem needle in a haystach). Równie ważnym problemem jest niedojrzałość architektury. W momencie gdy Transformery mają cały ekosystem narzędziowy wewnątrz bibliotek, tj. PyTorch czy Hugging Face Transformers, RWKV wciąż wymaga własnych kerneli CUDA czy Triton^[3].