From 0fd410c9fe2203ecac7f223463c97eb7c3c1623a Mon Sep 17 00:00:00 2001 From: Logikisto Date: Wed, 9 Sep 2026 14:43:50 +0200 Subject: [PATCH] readme v1 --- README.md | 22 ++++++++++++++++++++++ 1 file changed, 22 insertions(+) create mode 100644 README.md diff --git a/README.md b/README.md new file mode 100644 index 0000000..ecc651a --- /dev/null +++ b/README.md @@ -0,0 +1,22 @@ +Bibliothèque pour l'utilisation de systèmes quantifiés (avec déquant à la volée) pour PyTorch. + +### Fonctions principales (attendues) : +- Kernels de Quant/DeQuant pour GPU +- GEMM (avec backward) en Q4_1 (plus tard d'autres quant) +- Optimiseurs avec APIs adaptées, agnostiques à la quant +- SGD custom avec compression géométrique 2 bits/poids + +### Avancement : +- [ ] Apprentissage de Triton en profondeur +- [ ] Système de détection du matériel au premier démarrage dans l'env +- [ ] Kerneles de Quant/DeQaunt en Q4_1 +- [ ] GEMM fussionnée avec une DeQuant depuis Q4_1 +- [ ] Réécriture de AdamW avec les API des quant pour update des poids et autres +- *optionnel* [ ] Réécriture de Muon avec les APIs de quant (plus adapté pour les LLM) +- [ ] Implémentation d'`emmeding` et autres composants utiles aux LLM +- [ ] Ajout FP8 pour les calculs des kernels + + +--- + +readme v1 \ No newline at end of file