Grafické karty v RTX 20, 30 a 40 sériách dokážu po zmene firmware takmer zdvojnásobiť výkon Tensor jadier pri AI výpočtoch

Ukazuje sa, že viaceré generácie GeForce RTX grafických kariet majú pri určitých AI výpočtoch výrazne vyšší potenciál, než NVIDIA štandardne sprístupňuje. Po RTX 40 sérii sa podobné odomknutie podarilo aj na starších RTX 20 a RTX 30 kartách, pričom pri niektorých operáciách sa výkon zvýšil o 50 až takmer 100 %.

Nejde pritom o klasické pretaktovanie ani o zrýchlenie hier. Úpravy sa týkajú predovšetkým Tensor výpočtov FP16, BF16, TF32 a FP8 používaných pri maticových operáciách a AI. Projekty využívajú nízkoúrovňové zmeny konfigurácie GPU pred načítaním štandardného NVIDIA ovládača. Nie je tak potrebné flashovať upravený BIOS ani používať modifikovaný ovládač.

RTX 20 séria

Odomknutie sa podarilo aj na architektúre Turing. Pri RTX 2080 Ti boli namerané výrazné rozdiely pri FP16 výpočtoch s FP32 akumuláciou:

• 59,9 → 111,0 TFLOPS, teda +85,3 %
• Pri širšom MAMF teste: 57,71 → 88,24 TFLOPS, teda +52,9 %
• FP16 → FP16 zostalo prakticky bez zmeny: 119,5 → 118,5 TFLOPS

To zároveň ukazuje, že odomknutie nezrýchľuje všetky Tensor operácie automaticky. Záleží na konkrétnom type výpočtu.

RTX 30 séria

Pri Ampere kartách je efekt ešte zaujímavejší. Projekt GPU unlock 1.0.0 cieli na zvýšenie rýchlosti vydávania FP16/BF16 inštrukcií pri operáciách s FP32 akumuláciou.

Výsledky zahŕňajú:

• RTX 3090: 73,03 → 122,76 TFLOPS pri FP16 → FP32, teda +68,1 %
• RTX 3090 Ti FP16: 87,46 → 118,39 TFLOPS, približne +35 %
• RTX 3090 Ti BF16: 87,50 → 157,41 TFLOPS, približne +80 %
• RTX 3090 Ti TF32: 42,58 → 82,61 TFLOPS, približne +94 %

Samotný mechanizmus má podľa autorov pri podporovaných GA102, GA103, GA104 a GA106 čipoch zdvojnásobiť rýchlosť vydávania určitých FP16/BF16 FMA inštrukcií. To však neznamená automaticky dvojnásobný výkon celej aplikácie.

RTX 40 séria

Podobná situácia sa objavila aj pri architektúre Ada Lovelace. Testy ukazujú veľké rezervy predovšetkým pri Tensor operáciách FP16, BF16 a FP8:

• RTX 4090: približne 165 → 331 TFLOPS pri FP16/BF16, teda takmer dvojnásobný výkon
• RTX 4080 SUPER: FP16 výkon stúpol približne o 83 %, FP8 sa v niektorých testoch blížilo dvojnásobku
• RTX 4070 Ti SUPER: FP16/BF16 výkon sa takmer zdvojnásobil, FP8 maticové výpočty stúpli približne o 95 %
• RTX 4060 Ti: prvé testy ukazujú potenciál na zvýšenie výkonu približne o 40 %

Ani v tomto prípade však nejde o univerzálne zdvojnásobenie výkonu grafickej karty. Reálne zrýchlenie závisí od toho, aké Tensor operácie konkrétna AI aplikácia využíva.

Nie je to jednoduchý výkon zadarmo

Aktuálne riešenia sú experimentálne a väčšinou sa používajú pod Linuxom. Vyžadujú zásahy do procesu štartu systému, vypnutie Secure Bootu a v niektorých prípadoch aj úplný studený štart grafickej karty.

Autori zároveň upozorňujú, že ide o nízkoúrovňové experimenty s GPU. Nesprávny postup môže viesť k pádom systému, problémom pri štarte alebo v krajnom prípade aj poškodeniu hardvéru. Rozhodne tak nejde o úpravu určenú pre bežných používateľov.

Napriek tomu sú výsledky zaujímavé. Ukazujú totiž, že minimálne tri generácie GeForce RTX kariet, Turing, Ampere a Ada Lovelace, majú pri určitých Tensor operáciách rezervu, ktorú štandardná konfigurácia nevyužíva.

Pre hráčov sa tým výkon kariet prakticky nemení, ale pre lokálne AI modely, generovanie obrazu, výpočty a ďalšie Tensor úlohy môže byť rozdiel výrazný. Najmä pri niektorých BF16, FP16, TF32 a FP8 operáciách sa výkon dostáva o desiatky percent vyššie a v extrémnych prípadoch takmer na dvojnásobok.

Unlocky nájdete na githube:

• GPU Unlock Ada - RTX 40
• GitHub - Zagitta - RTX 30
• GitHub - Turing - RTX 20