First large-scale inference cluster with Together AI on IBM Cloud using NVIDIA HGX B300 systems to help enterprises run AI workloads, designed for fast and efficient production

ARMONK, N.Y. and SAN FRANCISCO, Aug. 11, 2026 /PRNewswire/ -- IBM (NYSE: IBM) announced a collaboration with Together AI to deliver IBM and NVIDIA AI infrastructure. Under a multi-year $240M agreement between IBM and Together AI, IBM is positioned to deploy a large cluster of NVIDIA HGX B300 systems on IBM Cloud with expected availability in Q1 2027. Together AI will use this cluster to provide open-source model inference. This deployment is the first dedicated, large-scale cluster built for inference on IBM Cloud using HGX B300 systems and NVIDIA Spectrum-X^TM Ethernet networking. According to NVIDIA, it is built to deliver 30x more AI factory output compared to prior generations.

This collaboration aims to enable Together AI to deliver better performance and token economics to enterprises as they look to efficiently scale their AI deployments. Together AI is built on the principle that open-source models are essential for the future of AI and developers should be able to build using open, modular stacks. The company recently raised an $800M Series C financing round at an $8.3B valuation to expand its AI Native Cloud and its platform spans capabilities across inference, training, fine tuning, and agentic workflows. The company reports that it has seen significant momentum for its inference product, now serving 400 trillion tokens monthly.         

Together AI selected IBM with NVIDIA because of their innovative product roadmaps and their ability to deliver GPU capacity at the pace required for rapid AI scaling and lowest token cost. Building on IBM's expertise in delivering enterprise-grade cloud capabilities, this collaboration aims to help Together AI to continue its expansion into the enterprise space while making open-source AI more accessible to developers and enterprises around the world.

"Enterprises want the performance of the best frontier models without the closed-model price tag, and that only works if the infrastructure underneath is fast and reliable at scale," said Vipul Ved Prakash, CEO at Together AI. "Working alongside IBM with NVIDIA gives us that foundation. This cluster lets us bring production-grade inference to more companies, faster, and it's a big step in our push to make open-source AI the obvious choice for enterprises."

IBM and NVIDIA Expand Collaboration to Power the Next Wave of AI Innovation

"Enterprises are in a race to adopt agentic AI at scale to drive real business outcomes," said Alan Peacock, General Manager of IBM Cloud. "IBM and NVIDIA are delivering scalable, economical, enterprise-grade AI infrastructure that can help Together AI accelerate innovation for the next generation of AI infrastructure."

"AI factories are becoming essential enterprise infrastructure—like electricity and telecommunications—turning compute and data into intelligence," said Dion Harris, Senior Director, HPC and AI Infrastructure Solutions, NVIDIA. "With NVIDIA HGX B300 systems and NVIDIA Spectrum-X Ethernet networking on IBM Cloud, IBM and Together AI will deliver an accelerated computing platform to help enterprises deploy open-source AI with the performance, efficiency and scale required for real-time AI services."

This work is the latest example of a larger collaboration between IBM and NVIDIA, who continue to work together to advance AI across infrastructure and software, to deliver performance and efficiency for enterprise and startup clients. A hybrid environment on IBM Cloud powered by NVIDIA GPUs connected with NVIDIA Spectrum-X Ethernet networking and Together AI's inference platform gives organizations a reliable foundation to build, deploy and scale AI systems. Additionally, IBM and NVIDIA recently announced progress across GPU-native data analytics, unstructured data extraction, on-premises and cloud infrastructure, and consulting services. These advancements are designed to help organizations operationalize AI at scale. For more information about the IBM and NVIDIA collaboration, visit www.ibm.com/products/gpu-ai-accelerator/nvidia.

Statements regarding IBM's future direction and intent are subject to change or withdrawal without notice, and represent goals and objectives only.

About IBM

IBM is a leading provider of global hybrid cloud and AI, and consulting expertise. We help clients in more than 175 countries capitalize on insights from their data, streamline business processes, reduce costs and gain a competitive edge in their industries. Thousands of governments and corporate entities in critical infrastructure areas such as financial services, telecommunications and healthcare rely on IBM's hybrid cloud platform and Red Hat OpenShift to affect their digital transformations quickly, efficiently and securely. IBM's breakthrough innovations in AI, quantum computing, industry-specific cloud solutions and consulting deliver open and flexible options to our clients. All of this is backed by IBM's long-standing commitment to trust, transparency, responsibility, inclusivity and service. Visit www.ibm.com for more information.

About Together AI

Together AI is the AI Native Cloud, combining state-of-the-art open-source models, high-performance infrastructure, and frontier research in AI efficiency and scalability. Founded in 2022, Together AI powers over a million of developers and some of the world's most demanding AI workloads, delivering production-scale inference, training, and reinforcement learning for the next generation of AI-native companies.

Media Contact

Kate Gazzillo 

kate.gazzillo@ibm.com

View original content to download multimedia:https://www.prnewswire.co.uk/news-releases/ibm-and-together-ai-sign-multi-year-agreement-to-scale-open-source-ai-inference-with-nvidia-ai-infrastructure-on-ibm-cloud-302847781.html

Silicon Saxony schärft sein Profil als europäischer Technologiestandort – und setzt dabei zunehmend auf hochspezialisierte Anwendungen. Mit dem Zukunftscluster SEMECO (Secure Medical Microsystems and Communications) startet in Dresden die zweite Förderphase für medizinische Halbleiter, während die sächsische Halbleiter- und Softwarebranche trotz schwacher Konjunktur weiter Beschäftigung aufbaut. Branchenangaben zufolge ist die Zahl der Jobs in diesem Ökosystem binnen eines Jahres um 1.500 auf rund 82.500 zum Stichtag 30. September 2025 gestiegen, ein Plus von knapp zwei Prozent gegenüber dem Vorjahr.

SEMECO entwickelt medizinische Halbleiter als Schlüsseltechnologie für sichere, vernetzte und intelligente Medizintechnik. Für die kommenden drei Jahre erhält der Cluster im Rahmen der Clusters4Future-Initiative des Bundesministeriums für Bildung und Forschung (BMBF) bis zu 15 Millionen Euro Fördermittel. Der Freistaat Sachsen begleitet das Bündnis seit Beginn und unterstützt zusätzliche regionale Forschungs- und Entwicklungsprojekte über die EFRE-Technologieförderung 2021 bis 2027. Seine aktuellen Entwicklungen präsentiert SEMECO auf den Silicon Saxony Days, die vom 15. bis 17. Juni 2026 in Dresden stattfinden sollen.

In der zweiten Förderphase richtet SEMECO den Fokus stärker auf standardisierbare medizinische Halbleiterplattformen und deren Transfer in industrielle und klinische Anwendungen. Die spezialisierten Mikrosysteme bündeln Sensorik, Datenverarbeitung, sichere Kommunikation und KI-gestützte Funktionen, zugeschnitten auf Anforderungen der Medizintechnik. Auf Basis eines modularen Plattformansatzes entstehen kombinierbare Halbleiter-, Elektronik- und Softwarekomponenten, die sich sicher integrieren und schrittweise weiterentwickeln lassen. KI-gestützte Methoden sollen zudem Zertifizierung und Zulassung unterstützen und damit den Technologietransfer in die medizinische Praxis beschleunigen – von tragbaren Ultraschallgeräten und intelligenten Vitaldatensensoren bis zu Kommunikationsimplantaten für Menschen mit eingeschränktem Hör- und Sprachvermögen.

Parallel dazu sieht der Branchenverband Silicon Saxony den gesamten Standort vor einer neuen Wachstumsphase. Das jüngste Beschäftigungsplus verteilt sich nach Verbandsangaben nahezu gleichmäßig auf Halbleiterindustrie und Softwarebranche. Die Investitionen der vergangenen Jahre entfalteten zunehmend Wirkung, sagte Frank Schönefeld, Vorsitzender des Präsidiums von Silicon Saxony. Vor dem Hintergrund der gesamtwirtschaftlich schwachen Lage unterstreiche die Entwicklung die langfristige Attraktivität des Standorts. Entlang der gesamten Wertschöpfungskette – von großen Fabrikprojekten bis zu mittelständischen Zulieferern für Reinraum- und Fabrikinfrastruktur, Spezialgase, Chemikalienversorgung und Messtechnik – rechnet der Cluster mit zusätzlichen Impulsen durch Künstliche Intelligenz, Digitalisierung und technologische Souveränität. Die Prognose von mehr als 100.000 Beschäftigten bis zum Ende des Jahrzehnts bleibt aus Sicht des Verbands unverändert bestehen.