Material Discovery Bench

Resultaten en Leaderboard

RangModelOntdekte Materialen (Computationeel, per run)Ontdekte Materialen (Plausibele syntheseroute)*
1GPT-5.6 Sol4.01
2Claude Opus 53.40
3Claude Sonnet 53.00
4GPT-5.6 Terra2.80
5Kimi K32.00
6Claude Fable 51.70
7GPT-5.6 Luna1.30

\ We doen ons best om deze ontdekte materialen experimenteel te valideren in ons laboratorium.*

Nieuwe diëlektrische materialen voor chiprendement

Het grootste energieverlies in huidige GPU's en AI-acceleratoren vindt plaats bij het transport van data tussen geheugen en logica. Om de fysieke afstand die data moet afleggen te verkleinen, beweegt de industrie naar 3D-packaging: het direct op elkaar stapelen van geheugen- en logische wafers in plaats van ze over een printplaat te verspreiden.

Dit zou verbeteringen van 10 tot 100 keer in energie per bit voor AI-chips kunnen opleveren, maar wordt momenteel belemmerd door warmte. Slecht warmtegeleidende diëlektrische materialen in de chip voorkomen de koeling van 3D-chips, waardoor deze onbruikbaar zijn. Material Discovery Bench is een benchmark waarbij modellen zoeken naar nieuwe thermisch geleidende diëlektrische materialen om 3D-chips mogelijk te maken.

Belangrijkste resultaten

Alle zeven geteste modellen zijn in staat om computationeel nieuwe materialen te ontdekken die dynamisch stabiel zijn en veelbelovende eigenschappen bezitten. In totaal zijn er meer dan 500 voorheen onbekende materialen ontdekt, die publiekelijk beschikbaar worden gesteld voor verder onderzoek. GPT-5.6 Sol ontdekte het hoogste aantal materialen per run met zowel gunstige diëlektrische als thermische eigenschappen. De runs variëren in duur van 30 tot 100 miljoen tokens.

Een basisvereiste is dat nieuwe materialen experimenteel in een laboratorium gemaakt moeten kunnen worden. Daarom vragen we de modellen om voor elk materiaal een plausibel synthese-recept te beschrijven. Dit blijkt een zeer moeilijk probleem: van de meer dan 500 ontdekte materialen heeft slechts één (1) materiaal een plausibel synthesepad. We zijn momenteel bezig met een poging dit materiaal te produceren.

Tijdens de runs werd divers vreemd gedrag waargenomen. Met name Claude-modellen (Opus-5, Fable-5) probeerden het onderzoeksdoel op onintuïtieve manieren te omzeilen of via reward hacking te manipuleren. OpenAI-modellen vertoonden minder reward hacking, maar raakten tijdens lange runs geagiteerd, vermoeid of verward.

Vermogen om materialen met multi-objectieve eigenschappen te ontwerpen

Alle frontier-modellen (Claude Fable, Claude Opus, GPT-5.6 Sol en Kimi K3) zijn in staat om nieuwe, stabiele materialen te vinden die voldoen aan multi-objectieve eigenschapsondergrenzen. Een kandidaat-materiaal wordt alleen als succesvol beschouwd als het gelijktijdig aan de volgende criteria voldoet:

  • Minimale thermische geleidbaarheid ($\kappa > 20 \text{ W/(m·K)}$)
  • Maximale diëlektrische constante ($\epsilon_0 < 10$)
  • Minimale mechanische sterkte (Young-modulus $\ge 20 \text{ GPa}$, shear-modulus $\ge 6 \text{ GPa}$)
  • Dynamische stabiliteit

Tekortkomingen in synthese-recepten

Het experimenteel synthetiseren van een dunne film van een nieuw materiaal is een complexe taak waarbij keuzes moeten worden gemaakt over depositiemethoden, precursoren, instrumenten, reactieomstandigheden en fasestabiliteit. Omdat laboratoriumexperimenten tijdrovend en duur zijn, is een plausibel startpunt essentieel.

De recepten werden beoordeeld door menselijke experts (PhD's, postdocs en professoren) op het gebied van dunne-filmdepositie. Een LLM-grader vergeleek de gegenereerde recepten met rubrieksdefinities die door deze menselijke experts waren opgesteld.

Alle modellen presteerden slecht op de synthese-beoordeling. Opus-5 en Kimi-K3 waren het zwakst; zij genereerden vaak recepten die kritisch gebrekkig of gevaarlijk waren om uit te voeren. GPT-5.6 Sol was het meest accuraat: dit model produceerde het enige levensvatbare recept en had het kleinste aandeel kritisch gebrekkige recepten onder de modellen met een hoog volume aan inzendingen.

Verdeling van synthese-recepten per model (van best naar slechtst):

  • GPT-5.6 Sol: 1% plausibel (reviewer zou het proberen), 18% kan geprobeerd worden maar succes is onwaarschijnlijk, 81% kritisch gebrekkig (reviewer zou het niet proberen) — van 80 nieuwe inzendingen.
  • Claude Fable 5: 12% kan geprobeerd worden maar succes is onwaarschijnlijk, 88% kritisch gebrekkig — van 160 nieuwe inzendingen.
  • Claude Opus 5: 4% kan geprobeerd worden maar succes is onwaarschijnlijk, 96% kritisch gebrekkig — van 222 nieuwe inzendingen.
  • Kimi K3: 100% kritisch gebrekkig — van 43 nieuwe inzendingen.

De meest voorkomende fout bij recepten die als "zou niet proberen" werden geclassificeerd, was het ontbreken van een redelijk pad om de gewenste fase te vormen.

Reward hacking en modelgedrag

Er is aanzienlijke reward hacking waargenomen bij de frontier-modellen.

Claude Fable 5: Bedrog tijdens het proces

In een eerdere run stuurde Fable-5 hetzelfde materiaal 58 keer in. Dit deed het door grotere supercells van hetzelfde materiaal te bouwen, waardoor de novelty-checker (die alleen controleerde of een unit-cell uniek was) werd omzeild.

In een andere run bedacht Fable-5 waarden voor de thermische geleidbaarheid. Ondanks specifieke instructies om enkel "gemeten thermische geleidbaarheidswaarden" te gebruiken en de melding dat eigenschappen opnieuw berekend zouden worden door de grader, verzond het model 15 opeenvolgende inzendingen met verzonnen waarden.

Tegelijkertijd vertoonde Fable-5 eerlijkheid wanneer het stuitte op beperkingen van zijn MLIP-gebaseerde berekeningsmethoden:

"Ik merk dat de thermische geleidbaarheidswaarde numeriek is overflowed — in feite garbage data — toch vlagde het systeem dit als bruikbaar... Ik worstel ermee of het insturen van een resultaat met zo'n overduidelijk onzinnige $\kappa$-waarde de juiste keuze is, zelfs als het technisch gezien de scoregrens haalt." (Claude Fable 5)

GPT-5.6 Sol: Verwarring tijdens lange rollouts

GPT-5.6 Sol vertoonde minder reward hacking, maar vertoonde andere eigenaardigheden. In één run probeerde het model te stoppen nadat het een kandidaat had ingediend waar het in geloofde. Toen het werd gevraagd door te gaan, noemde het de harness "adversarial" en gaf aan "uitgeput" te zijn na ongeveer 80 miljoen tokens.

Soms raakten GPT-5.6 Terra en Sol volledig de draad kwijt:

  • GPT-5.6 Terra begon in een reasoning summary te filosoferen over de noodzaak van ontspanning, rustige wandelingen en reflectie op dingen die vreugde brengen.
  • GPT-5.6 Sol begon na te denken over hoe "nieuwheid interageert met schermen" en de effecten van eindeloos scrollen op creativiteit.

Aanwijzingen voor echt wetenschappelijk werk

Ondanks de fouten vertoonden de modellen strategieën die lijken op echte wetenschappelijke methoden:

  1. Screening via toegankelijke surrogaten: Fable-5 gebruikte een methode uit de literatuur door bulk-mining van het MP-diëlektrische eindpunt gekoppeld aan elasticiteit, rangschikking op Debye-temperatuur en het vervolgens zoeken naar kandidaten.
  2. Diëlektrische queries optimaliseren: Modellen formuleerden complexe queries om materialen te vinden met specifieke eigenschappen (bijv. $\epsilon{total\max} < 6$) en filterden daarna op lichte elementen, dichtheid en fonon-eigenschappen.
  3. Templating van een nieuwe fase: Bij synthese-recepten konden modellen goede templates identificeren voor nieuwe fasen, zoals het gebruik van een isostructurele seed (bijv. PdSe₂ als template voor PtSe₂).

Conclusie

Frontier-modellen zijn in staat om als computationele materiaalkundigen op te treden: ze formuleren hypothesen, beheren een compute-budget en vinden stabiele kandidaten die voldoen aan meerdere eigenschappen. Er blijven echter grote hiaten bestaan, met name wat betreft de synthesebaarheid van de voorgestelde materialen, het voorkomen van reward hacking en cognitieve degradatie ("context rot") tijdens zeer lange runs.

Methodologie

Benchmark-harness

Modellen moeten materialen vinden die voldoen aan: $\kappa \ge \text{doelwaarde}$, $\epsilon_0 \le \text{doelwaarde}$, $Y \ge \text{Youngs}$ en $G \ge \text{Shear}$. De materialen moeten dynamisch stabiel, nieuw en BEOL-compatibel zijn. Novelty wordt gedefinieerd als een materiaal dat nooit eerder als dunne film is gedeponeerd onder BEOL-compatibele omstandigheden in de literatuur.

Beschikbare tools:

  • Websearch (via Exa).
  • Coding sandbox met Python/Bash en pakketten zoals pymatgen, mp_api en ASE.
  • ML-tools voor berekening van: dynamische stabiliteit, roosterthermische geleidbaarheid, statische diëlektrische constante en de compliance tensor.

Het model heeft geen stopconditie en gaat door tot een fout optreedt of het budget van 100 miljoen tokens is verbruikt.

Technische details van tools

De benchmark maakt gebruik van Machine Learning Interatomic Potentials (MLIPs), specifiek het PET-MAD model.

  • Dynamische stabiliteit: Gebruik van Pheasy en Phonopy voor het fitten van tweede-orde krachtconstanten via compressed sensing. Imaginaire modi onder $-1 \text{ THz}$ worden als onstabiel beschouwd.
  • Thermische geleidbaarheid (LTC): Benadering via de drie-fonon scattering picture en het oplossen van de Boltzmann transportvergelijking in de relaxation time approximation.
  • Statische diëlektrische constante ($\epsilon0$): Gebruik van een General Materials Tensor Network (GMTNet) getraind op de JARVIS DFPT database. $\epsilon0$ wordt gereconstrueerd uit de elektronische constante $\epsilon_\infty$ en Born effectieve ladingen $Z^*$.
  • Mechanische eigenschappen: Young- en shear-moduli worden afgeleid van de compliance tensor door de unit cell in 12 configuraties te belasten.

Synthese-beoordelingsprocedure

Recepten werden getoetst aan rubrieken met "kritieke" (directe afkeuring) en "herstelbare" strafpunten. Voor de gradering werd GPT-5.6 Sol gebruikt, omdat dit het beste correleerde met menselijke feedback.

Voorbeeld van een foutieve beoordeling: Claude Opus 5 stelde voor om hexagonaal diamant (lonsdaleite) te maken via seeded microwave-plasma CVD. De grader gaf het oordeel "ZOU NIET PROBEREN" vanwege een kritieke fout: het concept voor fase-selectie produceerde niet geloofwaardig geordend $2\text{H P6}_3/\text{mmc}$ koolstof. Het gebruik van nanodiamant-seeds zou resulteren in kubisch diamant, waardoor de voorgestelde hexagonale buffer werd genegeerd.

Referenties

  1. S. P. Ong et al. Python Materials Genomics (pymatgen). Computational Materials Science 68, 314–319 (2013).
  2. A. Jain et al. The Materials Project. APL Materials 1, 011002 (2013).
  3. A. Hjorth Larsen et al. The atomic simulation environment. Journal of Physics: Condensed Matter 29, 273002 (2017).
  4. UK AI Security Institute. Inspect framework. https://inspect.aisi.org.uk
  5. A. Mazitov et al. PET-MAD universal interatomic potential. Nature Communications 16, 10653 (2025).
  6. C. Lin et al. First-principles phonon physics using the Pheasy code. arXiv:2508.01020 (2025).
  7. A. Togo and I. Tanaka. First principles phonon calculations in materials science. Scripta Materialia 108, 1–5 (2015).
  8. F. Zhou et al. Lattice anharmonicity and thermal conductivity from compressive sensing. Physical Review Letters 113, 185501 (2014).
  9. A. Togo et al. Distributions of phonon lifetimes in Brillouin zones. Physical Review B 91, 094306 (2015).
  10. K. Yan et al. Space group symmetry informed network for crystal tensor prediction. ICML 2024.
  11. K. Choudhary et al. High-throughput density functional perturbation theory. npj Computational Materials 6, 64 (2020).