0fd410c9fe2203ecac7f223463c97eb7c3c1623a
Bibliothèque pour l'utilisation de systèmes quantifiés (avec déquant à la volée) pour PyTorch.
Fonctions principales (attendues) :
- Kernels de Quant/DeQuant pour GPU
- GEMM (avec backward) en Q4_1 (plus tard d'autres quant)
- Optimiseurs avec APIs adaptées, agnostiques à la quant
- SGD custom avec compression géométrique 2 bits/poids
Avancement :
- Apprentissage de Triton en profondeur
- Système de détection du matériel au premier démarrage dans l'env
- Kerneles de Quant/DeQaunt en Q4_1
- GEMM fussionnée avec une DeQuant depuis Q4_1
- Réécriture de AdamW avec les API des quant pour update des poids et autres
- optionnel [ ] Réécriture de Muon avec les APIs de quant (plus adapté pour les LLM)
- Implémentation d'
emmedinget autres composants utiles aux LLM - Ajout FP8 pour les calculs des kernels
readme v1
Languages
Jupyter Notebook
55.5%
Python
44.5%