Mistral heeft Timestral gelanceerd, een familie van time-series foundation models (TSFM) die ontworpen zijn voor probabilistische, multivariate voorspellingen. De modellen variëren in grootte van 5 miljoen tot 209 miljoen parameters en presteren superieur op belangrijke benchmarks zoals GIFT-Eval, TIME en fev-bench.
Belangrijkste kenmerken:
- Efficiëntie: De modellen zijn geoptimaliseerd voor CPU-inference, waardoor GPU's niet noodzakelijk zijn voor voorspellingen.
- Flexibiliteit: Ondersteuning voor zowel 'past-only' als 'known-future' covarianten en directe verwerking van categorische inputs.
- Technische Innovaties: Gebruik van Decoupled Horizon Forecasting (DHF), covariate-aware attention en een trainingsproces dat start met grootschalige synthetische data.
- Toepasbaarheid: Geschikt voor industriële monitoring en financiële analyses, en kan worden geïntegreerd in multi-modale agentische workflows voor geavanceerde root cause-analyses.
Timestral is beschikbaar via GitHub en kan via Mistral Forge worden gefine-tuned voor specifieke domeinen en propriëtaire data.
Timestral: De time-series foundation-modellen van Mistral
Samenvatting
Timestral, de eerste familie van time-series foundation-modellen van Mistral, levert state-of-the-art probabilistische, multivariate voorspellingen met slechts 209 miljoen parameters. Hiermee presteert het model beter dan grotere modellen op belangrijke benchmarks, terwijl het ondersteuning biedt voor covarianten uit het verleden en de toekomst. Timestral is beschikbaar in vier maten (van 5M tot 209M parameters) en balanceert nauwkeurigheid met efficiëntie; het draait efficiënt op CPU's en blinkt uit in zero-shot voorspellingen voor diverse domeinen. Het model combineert synthetische pre-training, covariate-aware attention en long-context learning, met opties voor fine-tuning via Mistral Forge voor domeinspecifieke aanpassingen.
---
Vandaag brengen we Timestral uit, onze eerste familie van time-series foundation-modellen. Ons grootste model, met slechts 209 miljoen parameters, staat bovenaan alle drie de belangrijkste openbare benchmarks in dit vakgebied: GIFT-Eval, TIME en fev-bench. Het presteert beter dan de vorige state-of-the-art, terwijl het slechts twee derde van de modelparameters gebruikt.
Timestral levert probabilistische, multivariate voorspellingen en ondersteunt covarianten die alleen uit het verleden komen ('past-only') en bekende covarianten uit de toekomst ('known-future'). Onze modelfamilie bevindt zich op het Pareto-front van voorspellingsnauwkeurigheid versus modelgrootte, waarbij elk formaat leidende prestaties levert. De resultaten zijn ingediend bij de GIFT-Eval en TIME leaderboards.
Time Series Foundation Models (TSFM)
Tijdreeksen (time series) zijn een van de meest voorkomende datatypen in bedrijven, van sensortelemetrie tot observability-metrics. Voorspellingen op basis hiervan sturen beslissingen aan in capaciteitsplanning, energie, supply chains, risicobeheer en onderhoud.
- Industriële installaties voorspellen proces-sensoren tegenover het productieschema, detecteren apparatuurdrift voordat er storingen optreden, en plannen capaciteit en reserveonderdelen voor duizenden activa.
- Financiële teams voorspellen stromen, volumes en volatiliteit om posities, hedging en treasury voor duizenden rekeningen te informeren.
Klassieke modellen zoals ARIMA en lineaire regressie blijven gevestigde instrumenten voor het voorspellen van tijdreeksen. Deze modellen worden meestal gefit op één enkele reeks en leren alleen van de geschiedenis van die specifieke reeks.
Deep learning-modellen zoals PatchTST voegen het vermogen toe om niet-lineaire patronen over veel gerelateerde reeksen te leren, maar ze worden meestal nog steeds vanaf nul getraind op elke dataset. Wat ze leren, is dus niet overdraagbaar naar nieuwe domeinen.
Time series foundation-modellen brengen de pre-training aanpak naar tijdreeksen. Ons model is getraind op een groot en divers corpus en leert patronen die overdraagbaar zijn tussen reeksen. Hierdoor kan het zero-shot voorspellingen doen op data die het nog nooit heeft gezien, zelfs in domeinen waar data schaars is.
Benchmarkresultaten
We hebben Timestral geëvalueerd op de drie belangrijkste openbare forecasting-benchmarks: GIFT-Eval, TIME en fev-bench. Onder de pre-trained, zero-shot modellen belegt Timestral de eerste plaats over alle vijf de metrics. Deze resultaten zijn behaald met een enkel checkpoint, zonder ensembling.
- GIFT-Eval: Top tien van 83 vergelijkbare pre-trained en zero-shot inzendingen (GMean MASE en GMean WQL). Lagere waarden zijn beter.
- TIME: Top tien van 35 leaderboard-inzendingen (GMean MASE en GMean CRPS). Lagere waarden zijn beter.
- fev-bench: Top tien van 37 leaderboard-inzendingen, gebaseerd op SQL skill score. Hogere waarden zijn beter.
Een modelfamilie geoptimaliseerd voor elke specificatie
Timestral is geoptimaliseerd als een familie van vier modellen: 5M, 28M, 123M en 209M parameters. De grotere modellen verbeteren de voorspellingsprestaties, terwijl de kleinere modellen sneller en goedkoper zijn. Alle vier delen dezelfde architectuur en trainingsmethode. Elk formaat bevindt zich op het Pareto-front van nauwkeurigheid versus modelgrootte: voor elk modelformaat is er geen openbaar model dat beter voorspelt.
Onze 28M-model verslaat Chronos-2 (dat ongeveer vier keer groter is) op GIFT-Eval en TIME. Ons 209M-model verslaat TimesFM-3 en Falcon-2.0 met minder parameters.
Timestral heeft bij inference geen GPU nodig. Op een standaard server-CPU met 8 threads duurt het voorspellen van één dag vooruit op basis van drie weken aan 15-minuten geschiedenis:
- 10 ms met het 5M-model.
- 140 ms met het 209M-model.
Kleinere modellen ruilen wat nauwkeurigheid in voor snelheid: het 28M-model is vijf keer sneller dan het 209M-model, en het 123M-model komt binnen 0,2% van de score van het 209M-model bij driekwart van de latentie.
Een industrieel voorbeeld
Neem een industriële fabriek met duizenden sensoren over al haar apparatuur. Timestral kan de voorspellingen op die data op verschillende manieren verbeteren:
- Multivariate voorspelling: De trillingen, temperatuur en druk van een pomp bewegen niet onafhankelijk van elkaar. Een stijging in de één verklaart of veroorzaakt vaak een verandering in de ander. Timestral modelleert gerelateerde reeksen gezamenlijk, waardoor het deze afhankelijkheden kan gebruiken in plaats van elke sensor geïsoleerd te voorspellen.
- Probabilistische voorspelling: Een enkele voorspelde waarde geeft mogelijk niet het volledige beeld. Timestral voorspelt een volledige set kwantielen, zodat teams kunnen zien hoe groot de onzekerheid is, drempelwaarden voor meldingen kunnen instellen die dit weerspiegelen, en onderhoud kunnen plannen op basis van risico in plaats van op basis van één getal.
- Categorische covarianten: Sommige covarianten nemen waarden aan uit een set categorieën in plaats van continue getallen, zoals de dag van de week of de status van een machine (draaiend, in rust, in onderhoud). Deze als getallen coderen zou een volgorde of schaal opleggen die er niet is. Timestral neemt ze direct als categorische inputs om de voorspellingen te verbeteren.
- Bekende covarianten uit de toekomst: Sommige drijvers van sensorgedrag zijn vooraf bekend, zoals productieschema's, geplande stops of weersvoorspellingen. Timestral kan hierop conditioneren om de kwaliteit van de voorspelling te verbeteren, zodat een geplande lastverhoging wordt verwacht in plaats van als verrassing wordt gemarkeerd.
Van model naar systeem
Timestral is een numeriek model dat kan draaien binnen bestaande monitoring-pipelines, of kan worden gekoppeld aan onze taalmodellen in multi-modale agentische workflows.
In een fabriek zou dat er zo uit kunnen zien:
- Timestral draait continu op de sensorstromen van de fabriek en detecteert anomalieën zodra ze optreden.
- Wanneer het een anomalie op een pomp signaleert, maakt een agent de signalen in kaart (embeddings) en vergelijkt deze met embeddings van oude sensordata om soortgelijke historische storingen te vinden.
- De agent start vervolgens sub-agents om een root cause-analyse uit te voeren, waarbij gebruik wordt gemaakt van context uit die fabriek, zoals onderhoudsverslagen, shiftlogs, operator-notities, apparatuurhandleidingen, oude werkorders en metingen van gerelateerde apparatuur.
- De agent stelt een voorgestelde diagnose op basis van de bevindingen op, inclusief ondersteunend bewijs en mogelijke volgende stappen.
- De plantmanager ontvangt een diagnose en een plan dat gestaafd is door de sensordata, in plaats van alleen een melding.
Belangrijkste technische bijdragen
Verschillende ideeën zijn gecombineerd om deze resultaten te behalen. Elk hiervan wordt gedetailleerd beschreven in het technische rapport.
- Decoupled Horizon Forecasting (DHF): Causale decoders die getraind zijn met aaneengesloten patch-masking (zoals in Toto 2.0 en TimesFM-3) maskeren de waarden die voorspeld moeten worden. Hierdoor lijken ze op ontbrekende waarden en gaan ze verloren als context voor latere voorspellingen. Onze DHF-aanpak scheidt deze twee: de volledige geschiedenis blijft in de sequentie, en geleerde voorspelling-tokens lezen de geschiedenis vóór hen. Elke geobserveerde waarde dient zo zowel als target als context.
- Covariate-aware attention: Aan elke inputreeks wordt een rol toegewezen: target variate, past-only covariant of known-future covariant. Bekende covarianten uit de toekomst zijn zichtbaar over het hele venster, terwijl targets causaal blijven; informatie stroomt alleen van covarianten naar targets. Timestral kan dus een vakantiekalender of weersvoorspelling gebruiken zonder de eigen toekomst van een target in de voorspelling te lekken.
- Synthetic-first data: Het grootste deel van de trainingsdata was synthetisch. We genereerden eerst univariaate processen met coherente temporele dynamiek, inclusief trends, seasonaliteit en diverse ruispatronen. Daarna gebruikten we een multivariate synthesizer om multivariate reeksen te construeren door niet-lineaire afhankelijkheden tussen deze processen te introduceren.
- Trainen in twee fasen: Timestral is eerst op grote schaal gepre-trained op puur synthetische data met een contextgrootte van 8192. Daarna is het post-trained op een mix van echte en synthetische data met een 4x langere context. Het doel is een pinball-loss over 21 kwantielen, een discrete benadering van CRPS.
Een model dat kan worden aangepast
Openbare benchmarks meten algemene prestaties, maar productiedata kan significant verschillen in gedrag en structuur. Dit kan ook in de loop van de tijd verschuiven naarmate markten van regime veranderen, apparatuur degradeert en vraagpatronen verschuiven. De blijvende waarde ligt in het kunnen aanpassen van een model aan domeinspecifieke data en het continu hertrainen ervan.
Voor organisaties die verder willen gaan, is Timestral beschikbaar via Mistral Forge. Dit ondersteunt:
- Zero-shot inference direct uit de doos.
- Architecturale uitbreidingen, zoals domeinspecifieke covarianten.
- Fine-tuning op propriëtaire data, om te specialiseren in een domein terwijl de algemene prestaties behouden blijven.
- Controle over de trainingsdata, inclusief het aanpassen van de trainingsmix, het herhalen van pre-training data en het genereren van synthetische datasamples. Volledige controle over de data garandeert dat niets wat we backtesten is gezien tijdens de pre-training.
De volledige pipeline kan worden uitgerold op de hardware van klanten, inclusief air-gapped omgevingen.
Wat volgt er nu?
We hebben een GitHub-repository gepubliceerd zodat u Timestral op uw eigen data kunt draaien. Een technisch rapport met de volledige resultaten volgt. Voor meer gespecialiseerde voorspellingsproblemen of om samen te werken aan onderzoek, kunt u contact met ons opnemen.
Technische Specificaties: Timestral
| Kenmerk | Specificatie |
|---|
| Type | Time-series foundation model (TSFM) |
| Parameters | 5M, 28M, 123M en 209M |
| Contextlengte | 32.768 tijdstappen |
| Output | Probabilistische voorspellingen, 21 kwantielen |
| Inputs | Multivariate targets, past-only en known-future covarianten |
| Deployment | On-prem, VPC of air-gapped |
| Licentie | Modified MIT |
Timestral: De time-series foundation-modellen van Mistral
Samenvatting
Timestral, de eerste familie van time-series foundation-modellen van Mistral, levert state-of-the-art probabilistische, multivariate voorspellingen met slechts 209 miljoen parameters. Hiermee presteert het model beter dan grotere modellen op belangrijke benchmarks, terwijl het ondersteuning biedt voor covarianten uit het verleden en de toekomst. Timestral is beschikbaar in vier maten (van 5M tot 209M parameters) en balanceert nauwkeurigheid met efficiëntie; het draait efficiënt op CPU's en blinkt uit in zero-shot voorspellingen voor diverse domeinen. Het model combineert synthetische pre-training, covariate-aware attention en long-context learning, met opties voor fine-tuning via Mistral Forge voor domeinspecifieke aanpassingen.
---
Vandaag brengen we Timestral uit, onze eerste familie van time-series foundation-modellen. Ons grootste model, met slechts 209 miljoen parameters, staat bovenaan alle drie de belangrijkste openbare benchmarks in dit vakgebied: GIFT-Eval, TIME en fev-bench. Het presteert beter dan de vorige state-of-the-art, terwijl het slechts twee derde van de modelparameters gebruikt.
Timestral levert probabilistische, multivariate voorspellingen en ondersteunt covarianten die alleen uit het verleden komen ('past-only') en bekende covarianten uit de toekomst ('known-future'). Onze modelfamilie bevindt zich op het Pareto-front van voorspellingsnauwkeurigheid versus modelgrootte, waarbij elk formaat leidende prestaties levert. De resultaten zijn ingediend bij de GIFT-Eval en TIME leaderboards.
Time Series Foundation Models (TSFM)
Tijdreeksen (time series) zijn een van de meest voorkomende datatypen in bedrijven, van sensortelemetrie tot observability-metrics. Voorspellingen op basis hiervan sturen beslissingen aan in capaciteitsplanning, energie, supply chains, risicobeheer en onderhoud.
- Industriële installaties voorspellen proces-sensoren tegenover het productieschema, detecteren apparatuurdrift voordat er storingen optreden, en plannen capaciteit en reserveonderdelen voor duizenden activa.
- Financiële teams voorspellen stromen, volumes en volatiliteit om posities, hedging en treasury voor duizenden rekeningen te informeren.
Klassieke modellen zoals ARIMA en lineaire regressie blijven gevestigde instrumenten voor het voorspellen van tijdreeksen. Deze modellen worden meestal gefit op één enkele reeks en leren alleen van de geschiedenis van die specifieke reeks.
Deep learning-modellen zoals PatchTST voegen het vermogen toe om niet-lineaire patronen over veel gerelateerde reeksen te leren, maar ze worden meestal nog steeds vanaf nul getraind op elke dataset. Wat ze leren, is dus niet overdraagbaar naar nieuwe domeinen.
Time series foundation-modellen brengen de pre-training aanpak naar tijdreeksen. Ons model is getraind op een groot en divers corpus en leert patronen die overdraagbaar zijn tussen reeksen. Hierdoor kan het zero-shot voorspellingen doen op data die het nog nooit heeft gezien, zelfs in domeinen waar data schaars is.
Benchmarkresultaten
We hebben Timestral geëvalueerd op de drie belangrijkste openbare forecasting-benchmarks: GIFT-Eval, TIME en fev-bench. Onder de pre-trained, zero-shot modellen belegt Timestral de eerste plaats over alle vijf de metrics. Deze resultaten zijn behaald met een enkel checkpoint, zonder ensembling.
- GIFT-Eval: Top tien van 83 vergelijkbare pre-trained en zero-shot inzendingen (GMean MASE en GMean WQL). Lagere waarden zijn beter.
- TIME: Top tien van 35 leaderboard-inzendingen (GMean MASE en GMean CRPS). Lagere waarden zijn beter.
- fev-bench: Top tien van 37 leaderboard-inzendingen, gebaseerd op SQL skill score. Hogere waarden zijn beter.
Een modelfamilie geoptimaliseerd voor elke specificatie
Timestral is geoptimaliseerd als een familie van vier modellen: 5M, 28M, 123M en 209M parameters. De grotere modellen verbeteren de voorspellingsprestaties, terwijl de kleinere modellen sneller en goedkoper zijn. Alle vier delen dezelfde architectuur en trainingsmethode. Elk formaat bevindt zich op het Pareto-front van nauwkeurigheid versus modelgrootte: voor elk modelformaat is er geen openbaar model dat beter voorspelt.
Onze 28M-model verslaat Chronos-2 (dat ongeveer vier keer groter is) op GIFT-Eval en TIME. Ons 209M-model verslaat TimesFM-3 en Falcon-2.0 met minder parameters.
Timestral heeft bij inference geen GPU nodig. Op een standaard server-CPU met 8 threads duurt het voorspellen van één dag vooruit op basis van drie weken aan 15-minuten geschiedenis:
- 10 ms met het 5M-model.
- 140 ms met het 209M-model.
Kleinere modellen ruilen wat nauwkeurigheid in voor snelheid: het 28M-model is vijf keer sneller dan het 209M-model, en het 123M-model komt binnen 0,2% van de score van het 209M-model bij driekwart van de latentie.
Een industrieel voorbeeld
Neem een industriële fabriek met duizenden sensoren over al haar apparatuur. Timestral kan de voorspellingen op die data op verschillende manieren verbeteren:
- Multivariate voorspelling: De trillingen, temperatuur en druk van een pomp bewegen niet onafhankelijk van elkaar. Een stijging in de één verklaart of veroorzaakt vaak een verandering in de ander. Timestral modelleert gerelateerde reeksen gezamenlijk, waardoor het deze afhankelijkheden kan gebruiken in plaats van elke sensor geïsoleerd te voorspellen.
- Probabilistische voorspelling: Een enkele voorspelde waarde geeft mogelijk niet het volledige beeld. Timestral voorspelt een volledige set kwantielen, zodat teams kunnen zien hoe groot de onzekerheid is, drempelwaarden voor meldingen kunnen instellen die dit weerspiegelen, en onderhoud kunnen plannen op basis van risico in plaats van op basis van één getal.
- Categorische covarianten: Sommige covarianten nemen waarden aan uit een set categorieën in plaats van continue getallen, zoals de dag van de week of de status van een machine (draaiend, in rust, in onderhoud). Deze als getallen coderen zou een volgorde of schaal opleggen die er niet is. Timestral neemt ze direct als categorische inputs om de voorspellingen te verbeteren.
- Bekende covarianten uit de toekomst: Sommige drijvers van sensorgedrag zijn vooraf bekend, zoals productieschema's, geplande stops of weersvoorspellingen. Timestral kan hierop conditioneren om de kwaliteit van de voorspelling te verbeteren, zodat een geplande lastverhoging wordt verwacht in plaats van als verrassing wordt gemarkeerd.
Van model naar systeem
Timestral is een numeriek model dat kan draaien binnen bestaande monitoring-pipelines, of kan worden gekoppeld aan onze taalmodellen in multi-modale agentische workflows.
In een fabriek zou dat er zo uit kunnen zien:
- Timestral draait continu op de sensorstromen van de fabriek en detecteert anomalieën zodra ze optreden.
- Wanneer het een anomalie op een pomp signaleert, maakt een agent de signalen in kaart (embeddings) en vergelijkt deze met embeddings van oude sensordata om soortgelijke historische storingen te vinden.
- De agent start vervolgens sub-agents om een root cause-analyse uit te voeren, waarbij gebruik wordt gemaakt van context uit die fabriek, zoals onderhoudsverslagen, shiftlogs, operator-notities, apparatuurhandleidingen, oude werkorders en metingen van gerelateerde apparatuur.
- De agent stelt een voorgestelde diagnose op basis van de bevindingen op, inclusief ondersteunend bewijs en mogelijke volgende stappen.
- De plantmanager ontvangt een diagnose en een plan dat gestaafd is door de sensordata, in plaats van alleen een melding.
Belangrijkste technische bijdragen
Verschillende ideeën zijn gecombineerd om deze resultaten te behalen. Elk hiervan wordt gedetailleerd beschreven in het technische rapport.
- Decoupled Horizon Forecasting (DHF): Causale decoders die getraind zijn met aaneengesloten patch-masking (zoals in Toto 2.0 en TimesFM-3) maskeren de waarden die voorspeld moeten worden. Hierdoor lijken ze op ontbrekende waarden en gaan ze verloren als context voor latere voorspellingen. Onze DHF-aanpak scheidt deze twee: de volledige geschiedenis blijft in de sequentie, en geleerde voorspelling-tokens lezen de geschiedenis vóór hen. Elke geobserveerde waarde dient zo zowel als target als context.
- Covariate-aware attention: Aan elke inputreeks wordt een rol toegewezen: target variate, past-only covariant of known-future covariant. Bekende covarianten uit de toekomst zijn zichtbaar over het hele venster, terwijl targets causaal blijven; informatie stroomt alleen van covarianten naar targets. Timestral kan dus een vakantiekalender of weersvoorspelling gebruiken zonder de eigen toekomst van een target in de voorspelling te lekken.
- Synthetic-first data: Het grootste deel van de trainingsdata was synthetisch. We genereerden eerst univariaate processen met coherente temporele dynamiek, inclusief trends, seasonaliteit en diverse ruispatronen. Daarna gebruikten we een multivariate synthesizer om multivariate reeksen te construeren door niet-lineaire afhankelijkheden tussen deze processen te introduceren.
- Trainen in twee fasen: Timestral is eerst op grote schaal gepre-trained op puur synthetische data met een contextgrootte van 8192. Daarna is het post-trained op een mix van echte en synthetische data met een 4x langere context. Het doel is een pinball-loss over 21 kwantielen, een discrete benadering van CRPS.
Een model dat kan worden aangepast
Openbare benchmarks meten algemene prestaties, maar productiedata kan significant verschillen in gedrag en structuur. Dit kan ook in de loop van de tijd verschuiven naarmate markten van regime veranderen, apparatuur degradeert en vraagpatronen verschuiven. De blijvende waarde ligt in het kunnen aanpassen van een model aan domeinspecifieke data en het continu hertrainen ervan.
Voor organisaties die verder willen gaan, is Timestral beschikbaar via Mistral Forge. Dit ondersteunt:
- Zero-shot inference direct uit de doos.
- Architecturale uitbreidingen, zoals domeinspecifieke covarianten.
- Fine-tuning op propriëtaire data, om te specialiseren in een domein terwijl de algemene prestaties behouden blijven.
- Controle over de trainingsdata, inclusief het aanpassen van de trainingsmix, het herhalen van pre-training data en het genereren van synthetische datasamples. Volledige controle over de data garandeert dat niets wat we backtesten is gezien tijdens de pre-training.
De volledige pipeline kan worden uitgerold op de hardware van klanten, inclusief air-gapped omgevingen.
Wat volgt er nu?
We hebben een GitHub-repository gepubliceerd zodat u Timestral op uw eigen data kunt draaien. Een technisch rapport met de volledige resultaten volgt. Voor meer gespecialiseerde voorspellingsproblemen of om samen te werken aan onderzoek, kunt u contact met ons opnemen.
Technische Specificaties: Timestral
| Kenmerk | Specificatie |
|---|
| Type | Time-series foundation model (TSFM) |
| Parameters | 5M, 28M, 123M en 209M |
| Contextlengte | 32.768 tijdstappen |
| Output | Probabilistische voorspellingen, 21 kwantielen |
| Inputs | Multivariate targets, past-only en known-future covarianten |
| Deployment | On-prem, VPC of air-gapped |
| Licentie | Modified MIT |
Groetjes,