IBM-CEO: Open weight-modellen zijn nu onweerstaanbaar goed en goedkoop voor on-premise gebruik

IBM-CEO Arvind Krishna heeft aan investeerders meegedeeld dat open weight-modellen nu zeer zinvol zijn voor on-premise gebruik binnen ondernemingen.

Tijdens de earnings call over het derde kwartaal legde Krishna uit dat gesloten frontier-modellen in 2024 duidelijk superieur waren aan de open alternatieven. "Als u een brede benchmark zou uitvoeren, scoorde het beste model misschien een 70, terwijl het open model een 20 of 30 scoorde."

Hij vervolgde dat dit gat eind 2025 begon te krimpen: "De kloof was dan niet meer 70 tegenover 20 of 30, maar 70 tegenover 50."

Kosten en efficiëntie

Volgens de CEO leveren open weight-modellen momenteel kosten per token op die variëren van 10 tot 25 procent van de kosten van de frontier-modellen. Dit is zeer aantrekkelijk, aangezien ze inmiddels voor 90 procent even effectief zijn.

"Voor elk bedrijf is het een eenvoudige vraag: wilt u iets dat 10 procent van de kosten kost als het 90 procent zo goed is als het beste model, of wilt u die tien keer hogere kosten betalen?"

Krishna gelooft dat bedrijven in de meeste gevallen zullen kiezen voor de lagere kosten. Hij stelt dat slechts een klein aantal taken de duurste modellen vereist. De overgrote meerderheid van de taken — zoals het samenvatten van een e-mail, het analyseren van een contract, het beantwoorden van een klantoproep of het opstellen van een bericht — kan net zo goed worden uitgevoerd met het veel goedkopere alternatief.

Implementatie en infrastructuur

Deze ontwikkeling zorgt volgens de CEO voor een booming interesse in on-premise AI-infrastructuur. Hoewel hij denkt dat de meeste bedrijven bruikbare AI-infrastructuur kunnen bouwen in slechts twee of drie racks, voorzien hij dat velen zullen worstelen met de technische uitvoering.

"De vraag wordt: hoe doe je dat?" ald hij. "Bedrijven worstelen met vragen als: 'Waar zijn mijn kernel-engineers? Wie houdt zich bezig met het onderliggende netwerk? Wie kan ervoor zorgen dat het model geclusterd is op GPU's die netwerktechnisch dicht bij elkaar staan? Wie kan zorgen voor de juiste caching van resultaten zodat de responstijd uitstekend is?'"

Krishna gaf aan dat IBM software zal produceren die AI-implementaties vereenvoudigt. Daarnaast voorspelde hij dat de vraag naar on-premise AI de verkoop van de Spyre mainframe-acceleratorkaarten van IBM zal stimuleren.

Financiële resultaten

De CEO meldde dat de huidige generatie z17-mainframes 1 miljard dollar meer omzet heeft gegenereerd dan enig vorig model. De nieuwe rackable modellen zorgden voor de sterkste midrange-lancering binnen IBM Z in bijna twee decennia. De omzet uit mainframes daalde echter met 20 procent, wat IBM had verwacht aangezien de z17 inmiddels 18 maanden geleden is gelanceerd.

Andere financiële kernpunten:

  • Infrastructuuromzet: Groeide met vijf procent op jaarbasis naar 3,7 miljard dollar.
  • Softwareomzet: Groeide met negen procent naar 7,8 miljard dollar voor het kwartaal.
  • Red Hat: Was de ster van het kwartaal met een groei van elf procent en een stijging van de jaarlijkse terugkerende omzet met 30 procent.
  • Een deel van deze toekomstige omzet is afkomstig van virtualisatieproducten van Red Hat, die inmiddels deals ter waarde van 800 miljoen dollar hebben binnengehaald, met een pijplijn van nog eens 750 miljoen dollar. IBM ziet hier kansen bij gebruikers die overstappen van VMware.
  • Totale kwartaalomzet: Bedroeg 17,1 miljard dollar, een stijging van vijf procent.

Incident bij IBM Cloud

Naast de financiële resultaten is er een incident van ernstniveau 1 (severity one) gemeld in de cloud van IBM. Door "noodonderhoud" konden gebruikers gedurende 90 minuten geen nieuwe resources of virtual private clouds aanmaken.

Gebruikers van IBM’s Classic Cloud (de dienst die in 2013 is overgenomen van SoftLayer) zijn geïnformeerd dat het herstel van de voorzieningen en het resourcebeheer in de Classic-omgeving uiterlijk donderdag om 08:00 UTC zal zijn voltooid. Dit betekent dat het incident in totaal minstens 16 uur duurt.

Het onderhoud begon enkele uren nadat er kritieke bugs in PHP werden aangekondigd. Er is gevraagd of het oplossen van deze fouten de reden is voor het incident, maar hierop is nog geen reactie gekomen.