Bibliothèque pour l'utilisation de systèmes quantifiés (avec déquant à la volée) pour PyTorch. ### Fonctions principales (attendues) : - Kernels de Quant/DeQuant pour GPU - GEMM (avec backward) en Q4_1 (plus tard d'autres quant) - Optimiseurs avec APIs adaptées, agnostiques à la quant - SGD custom avec compression géométrique 2 bits/poids ### Avancement : - [ ] Apprentissage de Triton en profondeur - [ ] Système de détection du matériel au premier démarrage dans l'env - [ ] Kerneles de Quant/DeQaunt en Q4_1 - [ ] GEMM fussionnée avec une DeQuant depuis Q4_1 - [ ] Réécriture de AdamW avec les API des quant pour update des poids et autres - *optionnel* [ ] Réécriture de Muon avec les APIs de quant (plus adapté pour les LLM) - [ ] Implémentation d'`emmeding` et autres composants utiles aux LLM - [ ] Ajout FP8 pour les calculs des kernels --- readme v1