Linken is een cruciale, maar vaak tijdrovende stap in het software-buildproces, vooral bij grote C++ programma's waar traditionele linkers de beschikbare CPU-cores onvoldoende benutten.
mold is een nieuwe Unix/Linux-linker die dit probleem aanpakt door systematisch dataparallellisme toe te passen over de gehele link-pipeline. Dankzij een 'clean-slate' ontwerp zijn symboolresolutie en archiefverwerking ontkoppeld, waardoor de architecturale beperkingen van bestaande linkers worden omzeild.
De resultaten zijn significant:
- Debug-binaries van meerdere gigabytes worden in enkele seconden gelinkt.
- mold is 2,4 tot 16,1 keer sneller dan de lld-linker.
- mold is tot 112 keer sneller dan de traditionele GNU ld.
De snelheidswinst is het cumulatieve resultaat van het paralleliseren van alle verschillende passes in het proces.
mold: Een massaal parallelle linker
Samenvatting
Linken is een cruciale stap in het software-buildproces die gecompileerde objectbestanden combineert tot één uitvoerbaar bestand of gedeelde bibliotheek. Ondanks decennia aan engineering-inspanningen blijven link-tijden een aanzienlijke flessenhals in de edit-compileer-debugcyclus, vooral voor grote C++ programma's. Bestaande linkers maken gebruik van beperkt parallellisme, waardoor de meeste CPU-cores onbenut blijven tijdens het linken.
Wij presenteren mold, een Unix/Linux-linker die dataparallellisme systematisch toepast over de gehele link-pipeline. We analyseren eerst de architecturale beperkingen die bestaande linkers belemmeren in schaalbaarheid, waaronder verstrengelde symboolresolutie en archiefverwerking, en laten vervolgens zien hoe een 'clean-slate' ontwerp dat deze ontkoppelt deze beperkingen overwint.
Bij grote praktijkprogramma's linkt mold debug-binaries van meerdere gigabytes in maximaal een paar seconden, en vaak in minder dan een seconde. Het is 2,4 tot 16,1 keer sneller dan de state-of-the-art lld-linker, en tot 112 keer sneller dan de traditionele GNU ld. Een ablatiestudie laat zien dat geen enkele optimalisatie domineert; de versnelling is het cumulatieve effect van het paralleliseren van alle passes.
mold: Een massaal parallelle linker
Samenvatting
Linken is een cruciale stap in het software-buildproces die gecompileerde objectbestanden combineert tot één uitvoerbaar bestand of gedeelde bibliotheek. Ondanks decennia aan engineering-inspanningen blijven link-tijden een aanzienlijke flessenhals in de edit-compileer-debugcyclus, vooral voor grote C++ programma's. Bestaande linkers maken gebruik van beperkt parallellisme, waardoor de meeste CPU-cores onbenut blijven tijdens het linken.
Wij presenteren mold, een Unix/Linux-linker die dataparallellisme systematisch toepast over de gehele link-pipeline. We analyseren eerst de architecturale beperkingen die bestaande linkers belemmeren in schaalbaarheid, waaronder verstrengelde symboolresolutie en archiefverwerking, en laten vervolgens zien hoe een 'clean-slate' ontwerp dat deze ontkoppelt deze beperkingen overwint.
Bij grote praktijkprogramma's linkt mold debug-binaries van meerdere gigabytes in maximaal een paar seconden, en vaak in minder dan een seconde. Het is 2,4 tot 16,1 keer sneller dan de state-of-the-art lld-linker, en tot 112 keer sneller dan de traditionele GNU ld. Een ablatiestudie laat zien dat geen enkele optimalisatie domineert; de versnelling is het cumulatieve effect van het paralleliseren van alle passes.
Groetjes,