22 lines
886 B
Markdown
22 lines
886 B
Markdown
Bibliothèque pour l'utilisation de systèmes quantifiés (avec déquant à la volée) pour PyTorch.
|
|
|
|
### Fonctions principales (attendues) :
|
|
- Kernels de Quant/DeQuant pour GPU
|
|
- GEMM (avec backward) en Q4_1 (plus tard d'autres quant)
|
|
- Optimiseurs avec APIs adaptées, agnostiques à la quant
|
|
- SGD custom avec compression géométrique 2 bits/poids
|
|
|
|
### Avancement :
|
|
- [ ] Apprentissage de Triton en profondeur
|
|
- [ ] Système de détection du matériel au premier démarrage dans l'env
|
|
- [ ] Kerneles de Quant/DeQaunt en Q4_1
|
|
- [ ] GEMM fussionnée avec une DeQuant depuis Q4_1
|
|
- [ ] Réécriture de AdamW avec les API des quant pour update des poids et autres
|
|
- *optionnel* [ ] Réécriture de Muon avec les APIs de quant (plus adapté pour les LLM)
|
|
- [ ] Implémentation d'`emmeding` et autres composants utiles aux LLM
|
|
- [ ] Ajout FP8 pour les calculs des kernels
|
|
|
|
|
|
---
|
|
|
|
readme v1 |