NVIDIA a récemment lancé Nemotron 3 Ultra — le plus grand modèle d'IA ouvert de la gamme Nemotron 3. Le lancement a eu lieu le 4 juin 2026 : les poids du modèle, les données d'entraînement et les méthodes d'entraînement elles-mêmes ont été rendus disponibles publiquement sous une licence gratuite. Le modèle est conçu pour des agents autonomes fonctionnant longtemps et un raisonnement complexe.
Contrairement aux modèles phares fermés tels que ChatGPT ou Claude, Nemotron 3 Ultra peut être téléchargé, affiné sur vos propres données et exécuté sur votre propre infrastructure. Le pari ici n'est pas sur l'intelligence maximale, mais sur l'ouverture, l'efficacité et le contrôle sur le modèle.
Vous voulez plus de nouvelles et d'analyses exclusives ? Abonnez-vous à notre chaîne Telegram, discutez des nouvelles et partagez vos opinions sur les derniers événements du marché dans le chat !
Ce qui rend l'architecture du modèle spéciale
Nemotron 3 Ultra n'est pas juste un «transformateur agrandi». Au cœur se trouve une architecture hybride composée de trois approches différentes : des couches Mamba-2, des couches d'attention (Attention) et un mélange latent d'experts (Latent MoE) — un mécanisme qui dirige chaque requête uniquement vers les «spécialistes» pertinents à l'intérieur du modèle.
Les couches Mamba-2 traitent rapidement et économiquement de longs textes : leurs coûts augmentent de manière linéaire avec la longueur plutôt que de manière avalanche, comme avec le mécanisme d'attention habituel. Les couches d'attention, quant à elles, conservent avec précision de grands volumes de texte en mémoire. Et le Latent MoE compresse les données avant de les transmettre aux experts, de sorte que chacun d'eux travaille de manière étroite et précise sans nécessiter de calculs supplémentaires.
Au total, le modèle a environ 550 milliards de paramètres, mais seulement environ 55 milliards sont engagés pour traiter chaque token. De ce fait, il pense comme un énorme système, tout en se comportant en termes de coût comme un système beaucoup plus compact. Avec une fenêtre de contexte de 1 million de tokens et une vitesse de plus de 300 tokens par seconde, cela offre un débit cinq à six fois supérieur et un coût de tâche environ 30 % inférieur.
Source : BeInCrypto
