Kan AI al printplaten ontwerpen?

We waren gisteren behoorlijk enthousiast toen OpenAI een demo van GPT-6 Astra, die een printplaat ontwierp in KiCad, op de voorpagina van hun aankondigingspost plaatste. Het is geweldig om te zien dat elektronica verschijnt in een belangrijke modelrelease.

We zijn overduidelijk nog ver verwijderd van het moment dat we een AI in één prompt kunnen vragen om een volledige telefoon te bouwen. De demo roept echter wel een vraag op waar we al een tijdje over nadenken: hoe meten we of de elektronica die een AI produceert ook echt bruikbaar is?

Modellen beschikken over verrassend veel kennis over elektronica

Onze ervaring is dat huidige modellen veel meer weten over elektronica dan hun output in conventionele ontwerptools doet vermoeden. Ze hebben tekstboeken, datasheets, applicatienoten en grote hoeveelheden code gelezen.

Je kunt een agent een grafische CAD-tool laten bedienen, maar die besteedt veel tijd aan het klikken en het bijhouden van wat er op het scherm gebeurt. Een groot deel van de context bestaat dan uit coördinaten, menu's en de status van de applicatie.

EEBench maakt in plaats daarvan gebruik van atopile. Het circuit wordt beschreven in declaratieve code, waardoor de agent direct kan werken aan componenten, verbindingen en elektrische beperkingen. De agent kan het ontwerp wijzigen, bouwen, een simulatie draaien en inspecteren wat er is misgegaan zonder het project te verlaten.

Dit heeft voor ons veel beter gewerkt dan een model te vragen lijnen te tekenen in een GUI. Bovendien betekent dit dat de benchmark minder tijd besteedt aan het testen van computervoorzieningen en meer tijd aan het testen van de elektronica zelf.

Een klein deel van het startontwerp voor een publieke EEBench-taak, in ato v2:

.ELEC: @STD::Import {
.project &= "electronics"
.org     &= "atopile"
}
.Submission: @type {
.vin:   ELEC::ElectricPower
.vhold: ELEC::ElectricPower
.vhold.lv ~ .vin.lv
.c_bank: ELEC::Capacitor {
.capacitance             &= 22uF +/- 20%
.max_voltage             &= 10V..25V
.temperature_coefficient &= "X5R"
.package                 &= "0805"
}
.vhold.hv ~> .c_bank ~> .vhold.lv
}

De echte wereld is complex

Een van de publieke taken is gebaseerd op een residentiële energiemeter. Wanneer de 5V-voeding wegvalt, moet het circuit de processor nog 20 ms in de lucht houden, zodat de opgetelde meting kan worden opgeslagen. De beschermde rail moet tijdens dat tijdsbestek boven de brownout-drempel van 3,0 V van de processor blijven.

De meeste modellen springen intuïtief naar de juiste basisconclusie: voeg een condensator toe.

Een echte condensator maakt de taak echter interessanter. Een keramisch onderdeel kan veel minder capaciteit leveren dan geadverteerd zodra er spanning over staat. Onderdelen hebben toleranties. Het toevoegen van meer capaciteit kost meer, neemt ruimte in beslag en zorgt ervoor dat de rail langzamer herstelt wanneer de stroom terugkeert. Een ontwerp dat werkt met nominale waarden, kan falen met de onderdelen die daadwerkelijk geleverd worden.

EEBench onderbreekt de ingangsstroom in de simulatie en meet wat er gebeurt. Er wordt gecontroleerd op de spanning gedurende de uitval, de effectieve capaciteit op het werkpunt, het herstel na het terugkeren van de stroom en de limieten voor behuizing, diëlektricum, voltage-rating en kosten.

Een praktijkvoorbeeld van een fout: Een ingediend ontwerp gebruikte nominaal 22 µF. Bij een bias van 4,7 V vond de grader കണ്ടെ alleen 11,4 µF aan effectieve capaciteit, wat ver onder de vereiste 545 µF ligt. De bron werd succesvol gebouwd, maar het circuit faalde voor de taak.

Bijschrift bij de opgeslagen ngspice-output: De beschermde rail zakt na 0,85 ms onder de vereiste 3 V. De simulatie van het stroomverlies is mislukt; de rail start nabij 4,55 volt en zakt na 0,85 milliseconden onder de drempel van 3 volt, lang voordat de vereiste 20 milliseconden zijn bereikt.

De energiemeter is een van de makkelijkere taken. Bij een moeilijkere analoge taak moet de agent bijvoorbeeld een multiple-feedback laagdoorlaatfilter rond een op-amp synthetiseren, de weerstands- en condensatorverhoudingen berekenen voor de vereiste polen, en zorgen dat de versterking, afsnijfrequentie en Q-factor binnen hun limieten blijven, zelfs wanneer elk component wordt gepusht naar een worst-case tolerantie-uiterste. De harness herbouwt het SPICE-deck voor deze uitersten, draait de AC- en transient-captures, koppelt metingen aan benoemde probes en registreert elk resultaat tegen de onder- en bovengrenzen van de specificaties.

Maar het correct krijgen van de vergelijkingen is slechts een deel van het elektronica-engineering. EEBench gebruikt echte onderdelen van fabrikanten, met specificaties die uit hun datasheets zijn geëxtraheerd en in het SPICE-model zijn verwerkt. De agent moet een combinatie vinden die werkt over al die toleranties, terwijl hij tegelijkertijd onderdelen kiest die daadwerkelijk bestaan, besteld kunnen worden en redelijk geprijsd zijn voor het product. Die afweging tussen elektrische prestaties, kosten en leverbaarheid ligt veel dichter bij het ontwerpen van echte hardware dan het kiezen van ideale waarden uit een tekstboek.

Dit is het deel dat we het meest interessant vinden, omdat dit is waar electrical engineering uiteindelijk om draait, net als elke andere engineeringdiscipline: trade-offs.

Hoe de beoordeling werkt

De controles van EEBench zijn volledig deterministisch. Het bouwt het ingediende ontwerp, construeert de circuitgrafiek en de bill of materials (BOM), en draait een reeks SPICE-simulaties en ontwerpcontroles. Elke vereiste produceert een meting met een limiet.

Voor de energiemeter-taak meet de harness de beschermde rail terwijl de input wegvalt en terugkeert. Andere taken meten versterking, drempelwaarden, rimpel, transiënte respons en gedrag bij component-toleranties.

De technische score wordt gecombineerd met de kostenefficiëntie ten opzichte van een referentie-BOM. Kosten tellen pas mee zodra het circuit werkt. Dit is vergelijkbaar met het geven van een compiler en tests aan een coding-agent, behalve dat de tests hier spanningen en componentgedrag meten.

EEBench V1 bestrijkt analoog en digitaal ontwerp via simulatie. Het vertelt ons nog niet of een model een compleet product kan lay-outen, produceren en in gebruik kan nemen. We willen die onderdelen later toevoegen. De huidige benchmark concentreert zich op de cyclus van vereisten, ontwerp en verificatie, omdat we daar nuttig engineeringwerk al objectief kunnen beoordelen. De volledige methodologie en de sample result explorer zijn openbaar.

Wat we zien op het klassement

De resultaten van 1 september zijn bemoedigend. Claude Opus 5 scoorde 61,6% over de 13 taken in EEBench V1. Grok 4.6 kwam op de tweede plaats met 57,1%, vlak voor Claude Fable 5.1 met 56,4%. Een paar maanden geleden hadden we niet verwacht dat modellen zo goed zouden scoren.

  1. Claude Opus 5: 61,6%
  2. Grok 4.6: 57,1%
  3. Claude Fable 5.1: 56,4%
  4. Claude Fable 5: 54,3%
  5. Claude Opus 4.8 Max: 51,4%

Er was een ander resultaat waar we bijzonder blij mee waren: xAI heeft EEBench opgenomen in de modelcard van Grok 4.6. Het verschijnt in de sectie "engineering acceleration", naast evaluaties voor 3D-modellering en parametrische CAD. Hun gepubliceerde run plaatste Grok 4.6 op 60,0% met xhigh reasoning effort. Dat een frontier-lab EEBench gebruikt om de engineering-capaciteiten van een nieuw model te beschrijven, doet ons vermoeden dat dit een categorie wordt waar mensen om geven.

De modellen van Anthropic hebben consistent goed gepresteerd in deze omgeving. De opmars van Grok is ook interessant. In de launchpost van Grok 4.6 zegt xAI dat het model hoogwaardige engineering-data en RL-training heeft gekregen in domeinspecifieke omgevingen, waaronder computer-aided design. Het EEBench-resultaat past in dat verhaal.

De OpenAI-modellen die we tot nu toe hebben getest, staan lager in de tabel. GPT-5.5 scoorde 42,3%, terwijl GPT-5.6 Sol 39,4% scoorde. We hebben nog geen resultaat voor GPT-6 Astra. Na te hebben gezien hoe het werkt op een printplaat in KiCad, zijn we erg benieuwd hoe het deze circuit-ontwerptaken aanpakt.

Trainingsomgeving

Zodra we een simulatie-harness hadden die een circuit kon beoordelen, hadden we ook de basis voor een RL-omgeving voor elektronica. Dezelfde controles kunnen worden gebruikt als beloningssignalen (reward signals) tijdens post-training.

Een mislukte run bevat nuttige informatie. We kunnen zien welke spanning de limiet miste, welke operating corner faalde, of of het model het probleem oploste met een onnodig duur ontwerp. Dat geeft een trainingsloop veel meer om mee te werken dan een model dat simpelweg zegt dat een schema plausibel oogt.

EEBench is de kleine, publieke weergave van dit werk. We beginnen ook direct samen te werken met frontier-labs die hun modellen beter willen maken in elektronica.

Dus, kan AI een printplaat ontwerpen?

Voor een nuttige en groeiende set circuitproblemen denken we dat het antwoord al "ja" is. De scores maken echter ook duidelijk dat er nog veel te doen is. Dat OpenAI een PCB koos voor een van de eerste demo's van Astra en dat xAI EEBench publiceerde in een modelcard, voelen als vroege tekenen van hetzelfde: AI-labs beginnen elektronica serieus te nemen.

Er komt mogelijk zeer snel een nieuw datapunt. Elon Musk heeft gezegd dat Grok 4.7 binnen enkele weken komt na aanvullende training op een grote collectie SpaceX-data, met als doel het model bijzonder goed te maken in engineering. Het model is er nog niet en de planning kan wijzigen, maar als het arriveert zoals beschreven, zullen we het graag op EEBench testen.

Het lijkt erop dat we een interessante periode tegemoet gaan. We zullen steeds moeilijkere taken toevoegen naarmate de modellen verbeteren, en we kijken ernaar uit om te zien hoe Astra en de volgende generatie presteren.

Je kunt vandaag dezelfde aanpak proberen in atopile. Geef de agent een printplaat die je al een tijdje wilt bouwen en kijk hoe ver het komt.

Dus, kan AI al printplaten ontwerpen? Sommige van hen, ja. We zouden het nog niet vragen om een pacemaker te ontwerpen om het resultaat vervolgens blindelings te installeren. Maar we zijn op weg.