diff --git a/README.md b/README.md new file mode 100644 index 0000000..ecc651a --- /dev/null +++ b/README.md @@ -0,0 +1,22 @@ +Bibliothèque pour l'utilisation de systèmes quantifiés (avec déquant à la volée) pour PyTorch. + +### Fonctions principales (attendues) : +- Kernels de Quant/DeQuant pour GPU +- GEMM (avec backward) en Q4_1 (plus tard d'autres quant) +- Optimiseurs avec APIs adaptées, agnostiques à la quant +- SGD custom avec compression géométrique 2 bits/poids + +### Avancement : +- [ ] Apprentissage de Triton en profondeur +- [ ] Système de détection du matériel au premier démarrage dans l'env +- [ ] Kerneles de Quant/DeQaunt en Q4_1 +- [ ] GEMM fussionnée avec une DeQuant depuis Q4_1 +- [ ] Réécriture de AdamW avec les API des quant pour update des poids et autres +- *optionnel* [ ] Réécriture de Muon avec les APIs de quant (plus adapté pour les LLM) +- [ ] Implémentation d'`emmeding` et autres composants utiles aux LLM +- [ ] Ajout FP8 pour les calculs des kernels + + +--- + +readme v1 \ No newline at end of file