Logikisto/QuantTensor
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

readme v1

Browse Source
This commit is contained in:
Logikisto
2026-09-09 14:43:50 +02:00
parent 9a7814414a
commit 0fd410c9fe
1 changed files with 22 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
README.md
+22
View File
@@ -0,0 +1,22 @@
Bibliothèque pour l'utilisation de systèmes quantifiés (avec déquant à la volée) pour PyTorch.
### Fonctions principales (attendues) :
- Kernels de Quant/DeQuant pour GPU
- GEMM (avec backward) en Q4_1 (plus tard d'autres quant)
- Optimiseurs avec APIs adaptées, agnostiques à la quant
- SGD custom avec compression géométrique 2 bits/poids
### Avancement :
- [ ] Apprentissage de Triton en profondeur
- [ ] Système de détection du matériel au premier démarrage dans l'env
- [ ] Kerneles de Quant/DeQaunt en Q4_1
- [ ] GEMM fussionnée avec une DeQuant depuis Q4_1
- [ ] Réécriture de AdamW avec les API des quant pour update des poids et autres
- *optionnel* [ ] Réécriture de Muon avec les APIs de quant (plus adapté pour les LLM)
- [ ] Implémentation d'`emmeding` et autres composants utiles aux LLM
- [ ] Ajout FP8 pour les calculs des kernels
---
readme v1