readme v1

2026-09-09 14:43:50 +02:00
parent 9a7814414a
commit 0fd410c9fe
1 changed files with 22 additions and 0 deletions
@@ -0,0 +1,22 @@
+Bibliothèque pour l'utilisation de systèmes quantifiés (avec déquant à la volée) pour PyTorch.
+
+### Fonctions principales (attendues) :
+- Kernels de Quant/DeQuant pour GPU
+- GEMM (avec backward) en Q4_1 (plus tard d'autres quant)
+- Optimiseurs avec APIs adaptées, agnostiques à la quant
+- SGD custom avec compression géométrique 2 bits/poids
+
+### Avancement :
+- [ ] Apprentissage de Triton en profondeur
+- [ ] Système de détection du matériel au premier démarrage dans l'env
+- [ ] Kerneles de Quant/DeQaunt en Q4_1
+- [ ] GEMM fussionnée avec une DeQuant depuis Q4_1
+- [ ] Réécriture de AdamW avec les API des quant pour update des poids et autres
+- *optionnel* [ ] Réécriture de Muon avec les APIs de quant (plus adapté pour les LLM)
+- [ ] Implémentation d'`emmeding` et autres composants utiles aux LLM
+- [ ] Ajout FP8 pour les calculs des kernels
+
+
+---
+
+readme v1