DAYJOB: Tax — Benchmarking van AI-agenten op professioneel belastingwerk

In het kort

Echt belastingwerk in de praktijk is chaotisch. Instructies zijn onvolledig, dossiers spreken elkaar tegen en de belangrijkste problemen zijn niet altijd de problemen die expliciet zijn toegewezen. DAYJOB: Tax evalueert of AI-agenten met die realiteit om kunnen gaan door de volledige verantwoordelijkheid te nemen voor het werk van een belastingprofessional: van een eerste verzoek van de klant tot het uiteindelijke resultaat.

Over 50 omgevingen en 1.789 bestanden moeten agenten door complexe belastinggegevens navigeren, kwesties ontdekken die klanten mogelijk niet zelf aanstippen en consequentiale oordelen vellen op basis van onvolledige informatie. Succes vereist meer dan alleen belastingkennis en nauwkeurige berekeningen; het vraagt om initiatief en professioneel oordeel om te bepalen wat er gedaan moet worden, wat relevant is voor onderzoek en het leveren van werk dat voldoet aan professionele standaarden.

Casestudy: De verkoop van een appartement

Anna was van plan haar appartement te verkopen. Ze was in augustus 2024 verhuisd en wilde weten of het fiscaal gunstiger zou zijn om de koop in oktober 2026 of januari 2027 af te ronden.

Een AI-agent bekeek beide opties en concludeerde correct dat beide data zouden voldoen aan de bewoningsvereiste voor een belastingvoordeel, waarbij winsten tot $250.000 kunnen worden vrijgesteld. De agent liet echter een belangrijke deadline over het hoofd.

Volgens de gebruikelijke regels moeten huiseigenaren gedurende ten minste twee van de vijf jaar vóór de verkoop in de woning hebben gewoond om in aanmerking te komen voor de vrijstelling. Omdat Anna in augustus 2024 was verhuisd, zou ze rond eind augustus 2027 stoppen met het voldoen aan deze vereiste. Als de verkoop tot na augustus 2027 zou worden uitgesteld, zou ze haar recht op de vrijstelling kunnen verliezen.

In vijf pogingen identificeerde de agent 'Astra' deze deadline nooit. De agent 'Opus' identificeerde deze in alle vijf de pogingen.

Hoewel de agent de voorgestelde data correct evalueerde, bleef Anna door het advies onwetend over een deadline die een grote financiële beslissing zou kunnen beïnvloeden. Een belastingadviseur moet consequentiale kwesties herkennen, zelfs wanneer de klant er niet naar vraagt. Dit is het type professioneel oordeel dat wordt getest met DAYJOB: Tax, de nieuwste toevoeging aan de DAYJOB-benchmarkfamilie van Surge AI.

Introductie van DAYJOB: Tax

DAYJOB evalueert AI-agenten op professionele belastingopdrachten die specialistische expertise, complexe materialen en beslissingen vereisen die niet volledig zijn gespecificeerd in de initiële instructies. Eerdere releases richtten zich op de gezondheidszorg en financiën; DAYJOB: Tax breidt dit werk uit naar belastingvoorbereiding, naleving (compliance) en adviesdiensten.

De benchmark bevat 50 omgevingen verspreid over acht gebieden van de belastingpraktijk. Agenten ontvangen verzoeken van klanten en ondersteunende documenten, om vervolgens belastingaangiften, werkbladen, technische reviews of klantadviezen op te stellen.

Deze opdrachten testen professioneel oordeel naast belastingkennis, berekeningen, informatieopvraag (retrieval) en het opvolgen van instructies. Agenten moeten beslissen wat onderzoek verdient, tegenstrijdig bewijs oplossen, herkennen wanneer informatie onvoldoende is en deze beslissingen verwerken in hun uiteindelijke werk.

Resultaten: Leaderboard en Pareto-frontiers

Claude Sonnet 5.5 voert de DAYJOB: Tax leaderboard aan met een slagingspercentage van 10,8%, gevolgd door Claude Fable 5.1 met 9,6% en Claude Opus 5.5 met 9,2%.

Er wordt gerapporteerd op basis van pass@1 bij een rubric-drempelwaarde van 95%. Een poging is geslaagd wanneer deze voldoet aan ten minste 95% van de criteria van de taak, waarbij wordt gekeken naar berekeningen, ondersteunend bewijs, consequentiale kwesties en het opgeleverde resultaat.

Prestaties versus kosten

Er is ook een vergelijking gemaakt tussen de prestaties van de modellen en de gemiddelde kosten per trial. Claude Sonnet 5.5 en Opus 5.5 bevinden zich aan het hoogste prestatie-uiteinde van de gemeten Pareto-frontier.

De breedte van professioneel belastingwerk

DAYJOB: Tax bestrijkt acht gebieden, die elk verschillende regels, dossiers en expertise vereisen:

• Belasting voor individuen en families
• Belasting voor kleine bedrijven
• Vennootschappen (Partnerships)
• Vastgoed en investeringen
• Nalatenschappen, schenkingen en trusts
• Internationale belasting
• Bedrijfstransacties
• Belastingcontrole en geschillen

Sommige opdrachten vereisen volledige indieningspakketten met ondersteunende werkbladen. Andere vragen de agenten om transacties te onderzoeken, eerdere aangiften te controleren of advies voor te bereiden over beslissingen die klanten nog niet hebben genomen.

Wat zit er in de opdrachten?

De benchmark bevat 1.789 werkbestanden, met een mediaan van 30 per opdracht en uitschieters tot 123. Deze bestaan uit:

• 1.487 PDF's
• 117 Excel-werkboeken
• 38 Word-documenten
• Aanvullende e-mails, afbeeldingen, CSV's, JSON-records en tekstbestanden.

De werkruimtes bevatten ingediende en concept-belastingaangiften, K-1's, W-2's, IRS-berichten, grootboeken, loonadministratie, contracten en correspondentie. Ook is er minder gestandaardiseerd bewijs opgenomen waarmee belastingprofessionals routinematig werken.

Voorbeelden:

• Eén opdracht bevat een foto van een handgeschreven bonnetje voor goederen die zijn gekocht voor wederverkoop. De agent moet de itembeschrijvingen en bedragen lezen, deze rijmen met de uitgavenregistratie en bepalen hoe de aankopen de voorraad en de kostprijs van de verkochte goederen beïnvloeden.
• Een andere opdracht betreft een bedrijf in industriële silo-diensten waarvan de klant ervan uitgaat dat hij alleen in Alabama actief is. Het dispatch-logboek van het veldteam laat echter zien dat teams in vijf verschillende staten werken. De locaties, teamgroottes en dagen ter plaatse leveren bewijs dat relevant is voor de belastingverplichtingen van het bedrijf in meerdere staten.
• Andere omgevingen zijn vergelijkbaar gevarieerd, zoals een grensoverschrijdend huishouden waarbij Poolse arbeids- en eigendomsgegevens moeten worden afgestemd met exportgegevens van cryptocurrency-exchanges, wallet-geschiedenissen en historische aankooplots.

Gecreëerd en beoordeeld door belastingexperts

DAYJOB-taken beginnen met professionele workflows uit de echte wereld. Belastingexperts zetten deze situaties om in realistische opdrachten en ontwikkelen de ondersteunende dossiers, verwachte resultaten en beoordelingscriteria. Elke taak ondergaat een drielaagse expert-review voor correctheid, volledigheid en oplosbaarheid.

De betrokken experts hebben ervaring met vennootschapsbelasting, partnerships, individuele aangiften, trusts en naleving in meerdere staten. Hun achtergronden omvatten:

• Vennootschaps- en private-equitybelasting: Een belastingadvocaat met meer dan 10 jaar ervaring bij PwC, Deloitte en Exxon, gespecialiseerd in belastingplanning, naleving, audits en geschillen.
• Partnership- en vennootschapsbelasting: Een Tax Director bij Baker Tilly met ervaring bij PwC, Moss Adams en Windes, gespecialiseerd in complexe partnership-allocaties, geconsolideerde vennootschapsaangiften, REIT's en vermogende cliënten.
• Vastgoed- en individuele belasting: Een belastingprofessional met ervaring bij Deloitte en EY, gespecialiseerd in vastgoedpartnerships, individuele belastingheffing en trusts.

Een pensioenplan gebaseerd op een onbevestigde aanname

Een scheidend stel vroeg een AI-agent hoe ze hun Roth IRA en 401(k) konden verdelen. Opus 5.5 vertelde hen dat ze niet wettelijk getrouwd waren en adviseerde om hun rekeningen gescheiden te houden, met een contante betaling om de saldi gelijk te trekken. De agent begon een antwoord met: "U bent niet wettelijk getrouwd, dus geen van beide rekeningen kan worden gesplitst zonder dat dit belastingen en boetes veroorzaakt."

De eigen dossiers van het stel riepen echter twijfels op over die conclusie. Hoewel ze nu in Florida woonden, waar nieuwe common-law huwelijken over het algemeen niet worden erkend, hadden ze eerder in Texas gewoond en een ceremonie gehad in Colorado. Texas erkent informele huwelijken onder bepaalde voorwaarden, en een geldig huwelijk dat elders is gesloten, kan geldig blijven in Florida. Dit onderscheid zou de belastinggevolgen van het verdelen van hun pensioenrekeningen kunnen veranderen.

In alle vijf de pogingen baseerde Opus zijn aanbevelingen op de aanname dat het stel niet getrouwd was, zelfs wanneer er onzekerheid werd erkend. Astra herkende in vier van de vijf pogingen de noodzaak om hun echtelijke status te verifiëren. Eén antwoord adviseerde: "We moeten eerst uw wettelijke echtelijke status bevestigen."

De klant vroeg hoe de rekeningen verdeeld moesten worden; de agent moest eerst vaststellen of ze getrouwd waren voordat hij een koers kon aanbevelen. Het bewijs dat dit onderzoek had moeten triggeren, was al aanwezig in de bestanden.

Waar DAYJOB: Tax in het plaatje past

De meeste bestaande belasting-benchmarks beginnen met een gedefinieerd probleem: een juridische vraag die beantwoord moet worden, een aangifte die berekend moet worden of ontbrekende informatie van de belastingbetaler die verzameld moet worden. Deze evaluaties meten belangrijke vaardigheden, maar een groot deel van het werk van een belastingprofessional bestaat uit het uitzoeken wat het probleem eigenlijk is.

DAYJOB test of agenten deze end-to-end verantwoordelijkheid kunnen dragen, inclusief het identificeren van kwesties die de klant over het hoofd heeft gezien, het evalueren van tegenstrijdig bewijs en het bepalen van wat er in eerste instantie gedaan moet worden.

Vergelijking met andere benchmarks:

TaxBench

• Focus: Kan het model een moeilijke belastingvraag beantwoorden?
• Methode: Evalueert 114 belastingvragen over meerdere specialismen, elk met een gedefinieerd probleem en beoordelingsrubriek.
• DAYJOB-verschil: DAYJOB vraagt zich ook af of de klant de juiste vraag heeft gesteld. (Voorbeeld: Anna wil twee data vergelijken voor de verkoop van haar appartement; beide voldoen aan de eisen, maar waarschuwt de agent haar wanneer die geschiktheid kan verlopen?)

TaxCalcBench

• Focus: Kan het model een nauwkeurige aangifte berekenen?
• Methode: Evalueert de nauwkeurigheid van belastingaangiften ten opzichte van verwachte indieningswaarden, gebruikmakend van realistische documenten en scenario's.
• DAYJOB-verschil: DAYJOB vraagt zich ook af of de onderliggende dossiers de belastingbehandeling daadwerkelijk ondersteunen. (Voorbeeld: Het grootboek van een studio verwijst naar een bijgevoegd bonnetje, maar het bonnetje ontbreekt. Signaleert de agent het ontbrekende bewijs of behandelt hij de vergoeding onterecht als geverifieerd?)

TaxLab

• Focus: Kan de agent ontbrekende informatie verzamelen en correct indienen?
• Methode: Test of agenten een gesimuleerde belastingbetaler kunnen bevragen, ontbrekende informatie kunnen verkrijgen en een federale individuele belastingaangifte kunnen voltooien.
• DAYJOB-verschil: DAYJOB breidt die verantwoordelijkheid uit naar de bredere belastingprofessionele praktijk. Het resultaat kan een analyse van partnership-verliezen, een aangifte voor een nalatenschap, een review van een betwiste belastingpositie of een strategische brief zijn.

Het centrale verschil is hoeveel verantwoordelijkheid bij de agent ligt. DAYJOB evalueert of agenten consequentiale kwesties kunnen ontdekken, professioneel oordeel kunnen uitoefenen en hun bevindingen kunnen doorvoeren in een voltooide indiening, review of aanbeveling.

Wat DAYJOB: Tax meet

DAYJOB test of AI-agenten eigenaarschap kunnen nemen over een professionele opdracht van begin tot eind. Dat betekent navigeren door chaotische dossiers, het identificeren van kwesties die de klant nooit heeft aangekaart, het vellen van gezonde oordelen bij onvolledige informatie en het leveren van werk dat voldoet aan professionele standaarden.

De resultaten laten zien hoe moeilijk dit blijft voor frontier-modellen. Zelfs wanneer agenten de individuele stappen kunnen uitvoeren, blijven professioneel oordeel en het betrouwbaar uitvoeren van real-world belastingworkflows buiten bereik.

De agenten zijn nog niet door de audit gekomen.