Optimalisatie in de Sovjet-Unie

Als data scientist besteed ik een groot deel van mijn werk aan het kiezen van metrieken om te optimaliseren en aan het nadenken over hoe zaken zo efficiënt mogelijk kunnen worden ingericht. Met deze vragen in mijn hoofd ontdekte ik onlangs een fascinerend boek over economische problemen in de Sovjet-Unie en het team van datagestuurde economen en informatici die deze probeerden op te lossen. Het boek heet Red Plenty. Hoewel het vreemd genoeg als een roman is geschreven, presenteert het een accurate economische geschiedenis van de USSR. Het put zwaar uit een eerder boek uit 1973, Planning Problems in the USSR, dat ik ook heb aangeschaft.

Tijdens het lezen van deze boeken kon ik niet anders dan parallellen trekken met de planning in moderne organisaties. In een observatie die elke hedendaagse data scientist bekend zal voorkomen, bevat het tweede boek zelfs een citaat van een onderzoeker die klaagt dat 90% van zijn tijd opging aan het opschonen van data, en slechts 10% aan het daadwerkelijke modelleren.

Naast de parallellen met moderne data science en operations research, hielpen deze boeken mij om zaken te begrijpen waar ik voorheen weinig van wist, zoals lineaire programmering, prijsevenwichten en de Sovjetgeschiedenis. Dit artikel gaat over wat ik heb geleerd.

Balansbladen en handmatige berekeningen: een chaos

De hoofdtak in de centraal geplande Sovjeteconomie was het toewijzen van middelen, zodat een gewenst assortiment aan goederen en diensten werd geproduceerd. Jaarlijks werden er doelstellingen vastgesteld voor elk product. Gewapend met schattingen van de beschikbare inputmiddelen gebruikten centrale beheerders balansbladen om plannen op te stellen voor elke fabriek. Hierin stond precies hoeveel inputgoederen een fabriek zou ontvangen en hoeveel output deze moest produceren.

Tot in de jaren zestig gebeurde dit volledig via handmatige berekeningen. Omdat er honderdduizenden goederen waren en de toeleveringsketens vele afhankelijkheden hadden, was het onmogelijk om de volledige balansbladen voor de gehele economie te berekenen. De beheerders besloten daarom enkele vereenvoudigende aannames te doen. Deze aannames zorgden ervoor dat de toewijzing van middelen in een chaos veranderde. Hieronder volgen enkele van deze vereenvoudigingen en de gevolgen daarvan:

• Dimensionaliteitsreductie door het verwijderen van variabelen: Omdat er te veel goederen waren om bij te houden, beperkten beheerders hun analyse vaak tot de 10.000 belangrijkste goederen in de economie. Wanneer de productie van deze goederen werd gepland, ontstond er vaak een verborgen tekort aan goederen die niet centraal werden gepland, maar die wel als input dienden voor een van de 10.000 geplande producten. Fabrieken die afhankelijk waren van die goederen stonden vaak maandenlang stil in afwachting van het einde van de tekorten.
• Dimensionaliteitsreductie door aggregatie: Staalbuizen kunnen in duizenden verschillende types voorkomen (verschillende lengtes, vormen en samenstellingen). Om de complexiteit te verminderen, hielden beheerders in hun modellen vaak alleen de totale tonnage van een paar brede klassen staalbuizen bij, in plaats van een gedetailleerd classificatieschema. Hoewel hun modellen de tonnage voor de brede categorieën succesvol in balans brachten (de output van buizenfabrieken matchte de inputvereisten van de consumerende fabrieken), waren er constante overschotten van sommige specifieke types buizen en tekorten van andere. Omdat tonnage als metriek werd gebruikt, werden buizenfabrieken overmatig gestimuleerd om makkelijk te produceren dikke buizen te maken. Hierdoor waren dunne buizen altijd schaars.
• Aanpassingen slechts enkele stappen terug propageren: Stel dat beheerders tijdens de berekeningen merkten dat de doeloutput van een bepaald goed omhoog moest. Dan was het ook nodig om de outputdoelen van de goederen die als input dienden voor dat product te verhogen. En vervolgens moesten de inputgoederen voor die goederen ook worden verhoogd, enzovoort. Dit vereiste een enorme hoeveelheid extra handmatige berekeningen. Om dit te vereenvoudigen, pasten beheerders de doelen meestal alleen aan voor de directe leveranciers (eerste orde), zonder de nodige aanpassingen te doen bij de leveranciers van de leveranciers. Dit leidde onvermijdelijk tot kritieke tekorten aan inputgoederen, wat opnieuw leidde tot stilstaande fabrieken.

(Bronverwijzing: Figuur 1 in de oorspronkelijke tekst toont voorbeelden van inputs en outputs in de Sovjeteconomie van 1951 in gewichtseenheden, gebaseerd op CIA-gegevens. Dit diagram illustreert een extreme vorm van dimensionaliteitsreductie waarbij veel goederen zijn weggelaten of samengevoegd.)

Zelfs als de beheerders de boekhouding correct hadden kunnen krijgen, zou de toewijzing van middelen nog steeds verre van optimaal zijn geweest. In de staalindustrie waren sommige fabrieken bijvoorbeeld beter in het produceren van bepaalde types buizen dan andere. Gezien de duizenden fabrieken en buizentypes was het complex om te bepalen hoe de middelen en outputvereisten optimaal verdeeld moesten worden, en het was niet direct duidelijk welke fabrieken uitgebreid of gesloten moesten worden.

Optimalisaties in de toeleveringsketen

Eind jaren zestig begon een groep economen en informatici, bekend als de "optimale planners", te pleiten voor een betere aanpak. Zij stelden dat een techniek genaamd lineaire programmering, uitgevonden door Leonid Kantorovich, de problemen in de toeleveringsketen optimaal kon oplossen.

Ten eerste zou het proces, omdat het gecomputeriseerd kon worden, nauwkeurigere berekeningen mogelijk maken dan handmatig, met minder dimensionaliteitsreductie. Belangrijker was echter dat lineaire programmering het mogelijk maakte om willekeurige doelfuncties te optimaliseren binnen bepaalde randvoorwaarden. Voor de toeleveringsketen betekende dit dat men efficiënt middelen kon toewijzen, waarbij efficiënte fabrieken meer input kregen en inefficiënte fabrieken konden worden gesloten.

De optimale planners boekten hiermee enig succes. In de staalindustrie vroegen ongeveer 60.000 consumenten 10.000 verschillende producttypes aan bij 500 producenten. De producenten waren niet gelijkwaardig in efficiëntie. Gegeven de totale vraag en de productiecapaciteit van elke fabriek, was het doel om te bepalen hoeveel elke fabriek van elk product moest maken.

Wanneer men dit probleem vereenvoudigt door alleen te kijken naar wat elke fabriek moet produceren (zonder de distributie mee te wegen), wordt dit een toepassing van het Optimale Toewijzingsprobleem (Optimal Assignment Problem). Wanneer men daarnaast de distributie wil optimaliseren, rekening houdend met de afstandsafhankelijke transportkosten, wordt het probleem complexer maar blijft het oplosbaar. Dit lijkt op het Transportprobleem (Transportation Problem), maar dan gegeneraliseerd voor meerdere goederen in plaats van slechts één.

Hoewel de optimale planners de efficiëntie in sommige industrieën bescheiden verbeterden, was hun effect beperkt door drie factoren:

1. Politieke overwegingen: Aanbevelingen van het model werden vaak genegeerd. Cementfabrieken die te inefficiënt waren of te ver van de consumenten lagen, mochten open blijven, ook al adviseerde het model sluiting.
2. Beperkte reikwijdte: Planners mochten vaak alleen werken in specifieke, smalle delen van de economie, waardoor ze hun aanbevelingen nooit konden terugvoeren in de gehele toeleveringsketen.
3. Arbitraire waardebepaling: De waarde van elk goed werd op een onwetenschappelijke manier vastgesteld door traditionele beheerders, waardoor de optimale planners gedwongen werden doelfuncties te optimaliseren die feitelijk geen zin hadden.

Ideeën over het optimaliseren van de gehele economie

De optimale planners hadden ambitieuzere plannen dan alleen het verbeteren van enkele industrieën; zij geloofden dat ze de gehele economie konden optimaliseren met lineaire programmering om zo kapitalistische samenlevingen te overtreffen. Dit vereiste meer dan alleen het opschalen van toeleveringsketen-optimalisaties; het omvatte schaduwprijzen en rentetarieven.

Het bredere doel van de planners was als volgt: in een volledig vrije markt zouden prijzen (onder bepaalde aannames) moeten convergeren naar een Algemeen Evenwicht (General Equilibrium). Evenwichtsprijzen hebben gunstige eigenschappen: ze balanceren het totale aanbod en de vraag (geen tekorten of overschotten) en ze zijn Pareto-efficiënt (niemand kan beter af worden gemaakt zonder iemand anders slechter te maken).

De optimale planners dachten dat zij dit beter konden doen. Zij wezen op twee problemen van het kapitalisme:

1. Inefficiënte prijsvorming: In een kapitalistische samenleving worden prijzen bepaald door individuele actoren die via trial-and-error gissen naar de beste prijs. Een centrale planner met gecomputeriseerde methoden zou prijzen kunnen kiezen die het evenwicht preciezer raken.
2. Sociale suboptimaliteit: Hoewel kapitalisme Pareto-efficiënt is, is het niet noodzakelijkerwijs sociaal optimaal. Door enorme verschillen in rijkdom kunnen sommige mensen veel meer goederen verkrijgen dan anderen.

De planners stelden voor om lineaire programmering te gebruiken voor een doelfunctie die sociaal optimaler zou zijn. Denk aan:

• Een gelijkwaardigere distributie van goederen.
• Het prioriteren van sociaal waardevolle goederen (bijv. boeken) boven destructieve goederen (bijv. alcohol).
• Het prioriteren van sectoren met voordelen op de lange termijn (bijv. zware industrie).
• Het toevoegen van randvoorwaarden om volledige werkgelegenheid te garanderen.

Wat er gebeurde

Deze ambitieuze ideeën zijn nooit volledig gerealiseerd. Tegen de jaren zeventig was duidelijk dat de levensstandaard in de USSR verder achterbleef bij die van het Westen. De consensus is dat hun plannen zelfs bij implementatie zouden zijn gefaald, vanwege de volgende problemen:

• Computationele complexiteit: Het aantal berekeningen dat nodig is om een lineair programmeringsprobleem op te lossen is $(m+n)^{3/2} n^2 \log(1/h)$, waarbij $n$ het aantal producten is, $m$ het aantal randvoorwaarden en $h$ de toegestane foutmarge. Met miljoenen producten ($n$) zou het praktisch onmogelijk zijn om een oplossing met voldoende detail te berekenen. Elke poging tot dimensionaliteitsreductie zou leiden tot dezelfde perverse prikkels en tekorten als bij de handmatige systemen.
• Datakwaliteit: In een markteconomie begrijpen individuele actoren hun lokale behoeften en beperkingen goed. Centrale planners hebben daar geen zicht op. Bovendien logen fabrieksmangers in de USSR routinematig over hun productiecapaciteit om meer middelen te verkrijgen. De situatie was zo ernstig dat centrale planners soms liever de analyses van de CIA over Russische goederen gebruikten dan de rapporten van lokale partijbonzen—terwijl de CIA hun eigen data omschreef als "belemmerend" slecht.
• Niet-lineariteiten: De planners gingen uit van lineariteit (de kosten voor het 1000ste product zijn gelijk aan die van het eerste). In de werkelijkheid bestaan er echter schaalvoordelen (increasing returns to scale), wat het computationeel veel moeilijker maakt om op te lossen.
• Keuze van de doelfunctie: Bepalen wat een samenleving waardevol vindt is een politiek probleem, waarover overeenstemming bereiken extreem moeilijk is.
• Prikkels voor innovatie: Centrale planners konden geen middelen toewijzen aan producten die nog niet bestonden, en er was weinig prikkel om nieuwe producten uit te vinden. Dit verklaart waarom de Sovjet-Unie gefocust bleef op staal, kolen en cement, terwijl het Westen verschoof naar plastics en micro-elektronica.
• Politieke weerstand: Zoals eerder vermeld, werden aanbevelingen om inefficiënte fabrieken te sluiten genegeerd om politieke redenen. Het is aannemelijk dat bredere economische aanbevelingen (zoals het verdubbelen van de prijs van stookolie in de winter) eveneens zouden zijn geblokkeerd.

Zou dit in de toekomst kunnen werken?

Zouden de ideeën van de optimale planners nu, met moderne technologie, kunnen slagen? Misschien. Twee van de grootste problemen zouden theoretisch een technologische oplossing kunnen hebben:

Computationele complexiteit: Als de wet van Moore standhoudt, zou het over honderd jaar mogelijk zijn om deze enorme optimalisatieproblemen snel op te lossen. Bovendien is de input-output matrix van een economie "ijjl" (sparse), omdat niet elk product afhankelijk is van elk ander product. Er zouden algoritmen kunnen komen die deze sparsity benutten om de rekentijd te verkorten.

Datakwaliteit: In de USSR was de informatievoorziening gebrekkig. Met het Internet of Things (IoT), sensoren en tracking op elk product (zoals Amazon in zekere zin al doet), zou de vraag en het aanbod in realtime gemeten kunnen worden. Technisch gezien zouden de dataproblemen die de USSR fataal werden, in de toekomst minder ernstig kunnen zijn.

Desondanks blijft het onduidelijk hoe een doelfunctie democratisch gekozen zou kunnen worden, hoe innovatie gestimuleerd kan worden, of hoe politieke vrijheden bewaard kunnen blijven. Het socialisme heeft historisch gezien een slecht trackrecord met veel gefaalde beloftes dat "het deze keer anders zou zijn".