2026-09-09 14:43:50 +02:00
2026-09-09 13:45:04 +02:00
2026-09-09 13:45:04 +02:00
2026-09-09 13:45:04 +02:00
2026-09-09 13:45:04 +02:00
2026-09-09 14:43:50 +02:00
2026-09-09 13:52:33 +02:00

Bibliothèque pour l'utilisation de systèmes quantifiés (avec déquant à la volée) pour PyTorch.

Fonctions principales (attendues) :

  • Kernels de Quant/DeQuant pour GPU
  • GEMM (avec backward) en Q4_1 (plus tard d'autres quant)
  • Optimiseurs avec APIs adaptées, agnostiques à la quant
  • SGD custom avec compression géométrique 2 bits/poids

Avancement :

  • Apprentissage de Triton en profondeur
  • Système de détection du matériel au premier démarrage dans l'env
  • Kerneles de Quant/DeQaunt en Q4_1
  • GEMM fussionnée avec une DeQuant depuis Q4_1
  • Réécriture de AdamW avec les API des quant pour update des poids et autres
  • optionnel [ ] Réécriture de Muon avec les APIs de quant (plus adapté pour les LLM)
  • Implémentation d'emmeding et autres composants utiles aux LLM
  • Ajout FP8 pour les calculs des kernels

readme v1

S
Description
No description provided
Readme
34 KiB
Languages
Jupyter Notebook 55.5%
Python 44.5%