Divisez par 3,5x vos coûts de stockage NVMe et l'usure de vos SSD, tout en chargeant vos modèles IA plus vite que sous Linux ext4.
KompactFS élimine le compromis historique entre déduplication et vitesse NVMe : divisez par 3,5x vos coûts de stockage SSD et l'usure matérielle des puces flash, tout en lançant vos modèles plus rapidement que sous Linux ext4 natif. Conçu pour projeter directement les tenseurs vers vos GPU (vLLM, PyTorch, llama.cpp) via mmap zéro-copie et nativement pilotable par vos agents d'IA via le standard ouvert MCP.
Les systèmes de fichiers classiques (Ext4, ZFS, S3, NFS) ont été conçus pour des petits fichiers texte ou multimédia il y a 20 ans, pas pour des réseaux neuronaux de 70 milliards de paramètres.
Chaque itération d'entraînement produit des dizaines de gigaoctets de poids quasi-identiques. Les clusters GPU s'étouffent sous le coût de stockage et la saturation I/O réseau.
Les compresseurs et déduplicateurs génériques ignorent les frontières de tenseurs : un seul octet décalé dans l'en-tête JSON brise la déduplication et duplique 100% des poids gelés.
En pleine crise mondiale de la DRAM (cannibalisée par la HBM), activer la déduplication sur ZFS exige 5 à 20 Go de DDR5 par To stocké. Le Page Cache Linux duplique inutilement les modèles IA en RAM hôte.
Organiser, indexer et rechercher des artefacts IA impose de déployer et maintenir des bases vectorielles externes complexes (Milvus, Pinecone), déconnectées du stockage système.
Huit innovations fondamentales intégrées nativement dans le noyau du système de fichiers pour accélérer les clusters GPU, éliminer la famine de calcul, dédupliquer les modèles et connecter directement vos agents d'IA via MCP.
Découpage propriétaire aligné sur les frontières géométriques des tenseurs (Safetensors / GGUF). Élimine les bavures sub-blocs et garantit 100% de déduplication des couches de poids partagées.
Classification dynamique des flux de données en sous-microseconde. Ajuste instantanément la granularité pour contourner les données incompressibles et diviser par 4 le volume de métadonnées sans pénalité CPU.
Indexation vectorielle et calcul de similarité spatiale intégrés nativement au système de fichiers. Recherche sémantique ultra-rapide au niveau du point de montage, sans base vectorielle externe.
Moteur de différentiation instantanée (.ckptdiff) entre étapes d'entraînement. Ne persiste et ne transfère que les deltas de poids réels sans réécrire les couches gelées (réplication réseau inter-nœuds automatisée sur Roadmap).
Exposition transparente des métadonnées structurelles du modèle (architecture, dtypes, quantifications) via les attributs étendus système, inspectables instantanément sans lecture physique des poids.
Passerelle native Model Context Protocol (MCP) permettant aux agents d'IA, assistants de développement et orchestrateurs MLOps d'interagir directement avec la couche de stockage. Pilotage autonome, audit d'empreinte et sécurité hermétique sans scripts shell arbitraires.
Accès GPU via --features cuda validé sur NVIDIA L4 (5.58 Go/s DMA H2D, 1.27 Go/s streams par couche) et cluster RDMA --features rdma validé en TCP KFS_RDMA1 (0.62 Go/s vers VRAM). Le mode natif /dev/cufile (nvidia-fs) et les HCA InfiniBand/RoCEv2 restent à valider sur matériel dédié ; ROCm reste en prototype hôte.
Codec logiciel CPU scalaire actif (tensor_quant.rs) quantifiant les blocs NVFP4 (-4x) et INT2 (-8x). L'accélération SIMD/DMA matériel NVMe vers VRAM pour modèles 1 000B+ relève de la feuille de route GPU.
Les gains de déduplication dépendent de la structure de vos fichiers. Choisissez votre charge de travail pour une projection honnête et validée par nos bancs d'essais.
KompactFS ne se contente pas de compresser des téraoctets. Il désengorge vos baies physiques, libère des mégawatts pour vos GPU, triple la durée de vie de vos SSD et réduit drastiquement vos CAPEX et OPEX.
En réduisant de 60% à 85% le volume physique de données, KompactFS permet de condenser plusieurs baies SAN/NAS et étagères NVMe en un tiers de rack 42U. Vous libérez des mètres carrés critiques en salle blanche et annulez le besoin d'extension physique de vos datacenters.
Dans un datacenter IA, la puissance électrique totale en mégawatts (MW) est le facteur limitant n°1 pour déployer de nouveaux clusters. En réduisant drastiquement l'énergie consommée par les contrôleurs et disques de stockage, KompactFS réinjecte ces mégawatts directement pour alimenter vos GPU NVIDIA H100/B200.
L'entraînement et le fine-tuning IA pilonnent les cellules flash NAND avec des téraoctets d'écritures répétées. Grâce à l'architecture Copy-on-Write (CoW) et au Content-Addressable Storage, les blocs identiques ne sont jamais réécrits. Le WAF s'effondre et le quota TBW est préservé sur vos pools NVMe.
KompactFS agit simultanément sur les deux leviers financiers de l'infrastructure informatique :
Alors que la ruée sur la HBM GPU fait flamber le coût de la DDR5 serveur (+150%), KompactFS évite le piège des FS classiques (ZFS réclame 5 à 20 Go de RAM par To). Notre index CAS Rust ne requiert que ~150 Mo pour 100 To de modèles, tout en unifiant le Page Cache du noyau Linux entre variantes de LLM.
mmap (jusqu'à 500 Go de DDR5 économisés par serveur)
Conformez-vous aux directives européennes CSRD grâce à une réduction certifiée des émissions de CO₂e. Moins de kWh consommés pour le stockage (Scope 2) et moins de serveurs fabriqués, transportés et recyclés (Scope 3).
Analyse comparative de l'empreinte mémoire RAM, du risque d'OOM et des coûts d'infrastructure pour 100 To de modèles IA.
| Système de Stockage | Granularité Blocs | RAM pour 100 To IA | Surcoût Barrettes DDR5 | Page Cache Linux (mmap) | Risque d'OOM |
|---|---|---|---|---|---|
| ZFS (Déduplication DDT Native) | Fixe 4 Ko | 500 Go à 1 500 Go de DDR5 | +7 500 $ à +22 500 $ / serv. | Incompatible partagé (duplication) | ❌ Très Élevé |
| Compresseurs de Flux (Zstd / Gzip) | Flux continu | Tampons décompression × N workers | +4 000 $ à +10 000 $ / serv. | Incompatible mmap direct (CPU lent) | ⚠️ Élevé sous charge |
| KompactFS (Rust Natif Tensor-Aware) ★ Recommandé IA | Adaptatif 64 Ko – 256 Ko | ~150 Mo de RAM (Index CAS) | < 25 $ (Négligeable) | Dédupliqué (-60% DDR5 hôte) | ✅ Nul (Spool 32 Mo) |
Les environnements d'infrastructure IA et d'ingénierie où KompactFS apporte des gains immédiats de performance, d'espace disque et d'automatisation agentique.
Sauvegardez vos étapes d'entraînement Safetensors sans saturer le réseau ni geler les GPU. Grâce au moteur Delta-Checkpoint Layering™, ne persistez que les deltas de poids réels sans réécrire les couches gelées.
Déduplication multi-LoRA sur base partagée, overlay CPU VirtualLoRA et SDK C-ABI de staging en RAM hôte (KompactFSWeightLoader pour vLLM / PyTorch). Mesuré sur GCP (lora-tenant) : -99,0 % NVMe (0,92 Go vs 92,02 Go pour 100 locataires, montage 316 µs).
Connectez vos agents autonomes (Claude, Cursor, orchestrateurs d'infrastructure) directement au système de fichiers via le standard ouvert MCP. Vos agents inspectent l'état du stockage, anticipent les ratios de compression et automatisent la gestion des modèles sans risque d'accès shell.
Core CSI Driver Kubernetes (Go) et module prewarm.rs amorçant le page cache hôte local pour viser un état Ready en < 2s sur cache chaud (vs téléchargement réseau ; -11,5% mesurés à froid sur llama.cpp FP16 vs ext4).
Les images CUDA + PyTorch + vLLM atteignent 15–30 Go. À chaque build ou push, FastCDC déduplique les couches OCI redondantes sans désarchiver manuellement vos registres ni saturer les nœuds.
Exécutez en parallèle des centaines d'environnements d'agents codeurs ou de trajectoires RL partageant mêmes dépôts, dépendances et poids, avec un montage overlay instantané et seulement quelques Mo de delta par exécution.
Conservez versions Parquet, tokens JSONL et logs chauds compressés avec accès aléatoire seek() en O(log K) via FUSE POSIX : vos DataLoaders et outils SIEM lisent directement sans tout décompresser.
Ne payez plus l'egress inter-régions ni la data 4G/5G/Starlink sur des snapshots complets : exportez des deltas binaires vérifiés .ckptdiff et répliquez uniquement les chunks inédits.
ext4 natif suffit
1 seul modèle statique déjà présent localement et lu 1× sur un disque bloc réseau plafonné (sur GCP pd-ssd + NVIDIA L4, vLLM charge en 24,38 s sur ext4 vs 25,56 s sur FUSE, soit 95,4 % de la vitesse noyau), ou stockage de médias déjà compressés (JPEG/MP4 : ratio 1,00x sans surcoût).
Multi-LoRA dense (-99,0 % sur 100 locataires), checkpoints d'entraînement (2,56x – 2,69x en mode adaptive), conteneurs OCI IA (7,57x), datasets/logs avec seek() sans réhydratation (3,62x), staging RAM hôte à 10,18 Go/s ou projection VRAM CUDA à 5,58 Go/s sur bare-metal NVMe.
Une monétisation directe par souscription annuelle récurrente (ARR) et facturation à l'usage, conçue pour les infrastructures critiques d'entreprise.
Souscription logicielle annuelle basée sur le volume brut géré.
Cluster clé en main managé avec facturation à l'usage réel dédupliqué.
Explorez la version complète : analyse du mur économique NVMe, benchmarks détaillés llama.cpp & GCP Cache Froid (HF + Docker), architecture GPU (cuFile, RDMA, CSI, MCP), cas d'usage Datacenter et modèle économique.