Het stelen van redeneringssporen uit propriëtaire LLM-API's

Samenvatting

Vooraanstaande aanbieders van grote taalmodellen (LLM's) verbergen momenteel de stapsgewijze redenering, of chain-of-thought, van hun modellen om intellectueel eigendom te beschermen en informatielekken te beperken. In plaats van deze sporen aan de serverzijde op te slaan, sturen aanbieders ze terug naar de cliënt als blokken versleutelde tekst, die de cliënt vervolgens bij elk volgend verzoek weer meestuurt.

Voortbouwend op eerder onderzoek identificeren wij een architecturale kwetsbaarheid: deze versleutelde blokken zijn volledig compatibel en uitwisselbaar tussen verschillende sessies, gebruikers en modellen binnen het ecosysteem van een aanbieder. We maken gebruik van deze compatibiliteit om een schaalbare decryptie-jailbreak te ontwikkelen. Door een versleuteld redeneringsspoor van een specifiek model te injecteren in een zwakker en minder beveiligd model van dezelfde aanbieder, dwingen we dit laatste om het spoor letterlijk in platte tekst (plaintext) te decoderen en uit te voeren, zonder dat het krachtigere model direct hoeft te worden gejailbreakt.

Aanvalsvectoren

Deze kwetsbaarheid maakt vier verschillende aanvalsvectoren mogelijk:

• Omzeiling van anti-distillatiemechanismen: Dit stelt aanvallers in staat om de redenering van een propriëtair model te extraheren, zoals we hebben aangetoond bij Anthropic, OpenAI en Google.
• Grootschalige extractie van privégegevens: Ontwikkelaars delen vaak openbaar sessielogs zonder op de hoogte te zijn van de inhoud van de versleutelde blokken. Door 315.320 redeneringsblokken uit openbare repositories te decoderen, hebben we 367 artefacten met persoonlijk identificeerbare informatie (PII) en 182 inloggegevens hersteld.
• Onthulling van gevaarlijke informatie: Het proces kan onbedoeld gevaarlijke informatie onthullen die verborgen zit in het redeneerproces, zelfs in gevallen waarin de uiteindelijke zichtbare output van het model een kwaadaardig verzoek correct afwijst.
• Onzichtbare prompt-injecties: Aanvallers kunnen deze fout gebruiken om onzichtbare prompt-injecties uit te voeren door kwaadaardige payloads volledig in versleutelde blokken in te bedden, om zo openbare agentische implementaties te vergiftigen (poisoning).

Na melding bij de betrokken partijen (responsible disclosure) stellen wij concrete cryptografische en systeemtechnische mitigaties voor om client-side redenering te beveiligen.