Experiential is een open-source gateway en router die specifiek is ontwikkeld voor agent-workflows. Het biedt een centrale, OpenAI-compatibele API waarmee gebruikers kunnen schakelen tussen lokale modellen, hosted diensten en 'Bring Your Own Key' (BYOK) configuraties.
De belangrijkste functionaliteiten omvatten:
- Beheer en Controle: Gebruikers kunnen bepalen wie toegang heeft tot welke modellen en budgetten per use case instellen.
- Installatie: De tool is beschikbaar als lokale installatie via
pip of als beheerde service via een hosted platform.
- Optimalisatie: Door het verzamelen van OpenTelemetry-traces kan de router worden geoptimaliseerd voor kwaliteit, snelheid en kosten, waarbij zelfs open-source modellen gefinetuned kunnen worden via Tinker.
- Telemetrie en Ontwikkeling: Het systeem maakt gebruik van anonieme PostHog-telemetrie en biedt een set aan development-tools voor ontwikkelaars.
Experiential
- Gebruik van hosted, BYOK (Bring Your Own Key) en lokale modellen via één OpenAI-compatibele API.
- Controle over welke gebruikers en agents welke modellen kunnen gebruiken, voor welke use cases en met welk budget.
- De mogelijkheid om productieverkeer om te zetten in een aangepaste router of een model dat is geoptimaliseerd voor kwaliteit, snelheid en kosten.
Aan de slag
Lokale installatie
Om een lokale OpenAI-compatibele gateway te starten, voert u de volgende stappen uit. Bij de eerste run gebruikt de setup-wizard selectoren voor providers, modellen en redeneerinspanning (reasoning-effort). De wizard bewaart elke geselecteerde providerverbinding en toont vervolgens de standaardwaarden voor de publieke alias, identiteit en een opdrachtbudget van $50,00, waarna er een eenmalige sleutel wordt gegenereerd.
Installeer de software via pip:
pip install experiential
exp
Kies een publieke alias (bijvoorbeeld opus-5), noteer de uitgegeven sleutel en verstuur een verzoek:
export EXP_GATEWAY_KEY=...
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Authorization: Bearer $EXP_GATEWAY_KEY" \
-H 'Content-Type: application/json' \
-d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'
De hosted gateway
Voor wie de voorkeur geeft aan een beheerde gateway in plaats van een lokale installatie, is er het hosted platform op platform.experientiallabs.ai. Dit platform biedt dezelfde OpenAI-compatibele (en Anthropic Messages) API via https://api.experientiallabs.ai/v1.
Voor prompts die u aan uw coding agent (zoals Claude Code, Cursor, Codex, etc.) kunt geven zodat deze de setup voor u uitvoert, kunt u terecht in SETUP.md. De agent doorloopt dan de volgende vier stappen:
- LLM-traces uploaden als telemetrie: Maak direct een account aan via e-mail en importeer of upload bestaande LLM-traces naar het platform.
- Inference provider-sleutels verbinden (BYOK): Maak een account aan en verbind uw eigen sleutels van OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks of OpenRouter voor gratis pass-through.
- Modellen aanroepen via de gateway: Maak uw eerste
/v1-aanroep met de OpenAI- en Anthropic SDK's met een xpl_ sleutel, en wijs optioneel uw bestaande coding agents om.
- Volledige onboarding: Maak een account aan via e-mail, verbind uw sleutels, importeer uw uitgaven en wijs elke coding agent (Claude Code, Cursor, Codex, Aider, etc.) of Conductor om naar de gateway.
Gebruik van de API
Start de lokale gateway met exp (of exp run). Het gecompileerde native dataplane bedient elke route op loopback. Vanuit Python kunt u een ingerichte projectrouter laden als een officiële OpenAI-client, ondersteund door zijn eigen private gateway:
import exp
with exp.load_router("my-project") as client:
response = client.chat.completions.create(
model="my-project",
messages=[{"role": "user", "content": "hello"}],
)
Optimalisatie op basis van verkeer
Verzamel eerst OpenTelemetry-traces van uw huidige agent. Om dit te testen kunt u de publieke terminal-tasks OTLP-dataset downloaden:
curl -L -o traces.otel.jsonl \
https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl
Bouw vervolgens een project. Het build-commando begeleidt u door de providers, modellen en het budget, en vraagt om uw trace-bestand:
# Bouw een simulatie op basis van uw agent-traces en optimaliseer een router hiervoor
exp build support-agent
Nadat u traces van uw router heeft verzameld, kunt u een open-source model dat u zelf bezit fine-tunen met Tinker:
exp optimize model support-agent
Telemetrie
Standaard is anonieme geaggregeerde PostHog product-telemetrie ingeschakeld. Deze bevat nooit prompts, traces, acties, observaties, paden, modelnamen, inloggegevens of ruwe inhoud van klanten.
U kunt de status beheren met de volgende commando's:
exp config telemetry statusexp config telemetry disableexp config telemetry enable
De voorkeur wordt lokaal opgeslagen in .exp/settings.toml.
Ontwikkeling
Voor ontwikkeling kunnen de volgende commando's worden gebruikt:
uv sync --extra dev
uv run ruff format --check .
uv run ruff check .
uv run ty check
uv run pytest -q
Conventies voor de repository en documentatie zijn te vinden in AGENTS.md.
Experiential
- Gebruik van hosted, BYOK (Bring Your Own Key) en lokale modellen via één OpenAI-compatibele API.
- Controle over welke gebruikers en agents welke modellen kunnen gebruiken, voor welke use cases en met welk budget.
- De mogelijkheid om productieverkeer om te zetten in een aangepaste router of een model dat is geoptimaliseerd voor kwaliteit, snelheid en kosten.
Aan de slag
Lokale installatie
Om een lokale OpenAI-compatibele gateway te starten, voert u de volgende stappen uit. Bij de eerste run gebruikt de setup-wizard selectoren voor providers, modellen en redeneerinspanning (reasoning-effort). De wizard bewaart elke geselecteerde providerverbinding en toont vervolgens de standaardwaarden voor de publieke alias, identiteit en een opdrachtbudget van $50,00, waarna er een eenmalige sleutel wordt gegenereerd.
Installeer de software via pip:
pip install experiential
exp
Kies een publieke alias (bijvoorbeeld opus-5), noteer de uitgegeven sleutel en verstuur een verzoek:
export EXP_GATEWAY_KEY=...
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Authorization: Bearer $EXP_GATEWAY_KEY" \
-H 'Content-Type: application/json' \
-d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'
De hosted gateway
Voor wie de voorkeur geeft aan een beheerde gateway in plaats van een lokale installatie, is er het hosted platform op platform.experientiallabs.ai. Dit platform biedt dezelfde OpenAI-compatibele (en Anthropic Messages) API via https://api.experientiallabs.ai/v1.
Voor prompts die u aan uw coding agent (zoals Claude Code, Cursor, Codex, etc.) kunt geven zodat deze de setup voor u uitvoert, kunt u terecht in SETUP.md. De agent doorloopt dan de volgende vier stappen:
- LLM-traces uploaden als telemetrie: Maak direct een account aan via e-mail en importeer of upload bestaande LLM-traces naar het platform.
- Inference provider-sleutels verbinden (BYOK): Maak een account aan en verbind uw eigen sleutels van OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks of OpenRouter voor gratis pass-through.
- Modellen aanroepen via de gateway: Maak uw eerste
/v1-aanroep met de OpenAI- en Anthropic SDK's met een xpl_ sleutel, en wijs optioneel uw bestaande coding agents om.
- Volledige onboarding: Maak een account aan via e-mail, verbind uw sleutels, importeer uw uitgaven en wijs elke coding agent (Claude Code, Cursor, Codex, Aider, etc.) of Conductor om naar de gateway.
Gebruik van de API
Start de lokale gateway met exp (of exp run). Het gecompileerde native dataplane bedient elke route op loopback. Vanuit Python kunt u een ingerichte projectrouter laden als een officiële OpenAI-client, ondersteund door zijn eigen private gateway:
import exp
with exp.load_router("my-project") as client:
response = client.chat.completions.create(
model="my-project",
messages=[{"role": "user", "content": "hello"}],
)
Optimalisatie op basis van verkeer
Verzamel eerst OpenTelemetry-traces van uw huidige agent. Om dit te testen kunt u de publieke terminal-tasks OTLP-dataset downloaden:
curl -L -o traces.otel.jsonl \
https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl
Bouw vervolgens een project. Het build-commando begeleidt u door de providers, modellen en het budget, en vraagt om uw trace-bestand:
# Bouw een simulatie op basis van uw agent-traces en optimaliseer een router hiervoor
exp build support-agent
Nadat u traces van uw router heeft verzameld, kunt u een open-source model dat u zelf bezit fine-tunen met Tinker:
exp optimize model support-agent
Telemetrie
Standaard is anonieme geaggregeerde PostHog product-telemetrie ingeschakeld. Deze bevat nooit prompts, traces, acties, observaties, paden, modelnamen, inloggegevens of ruwe inhoud van klanten.
U kunt de status beheren met de volgende commando's:
exp config telemetry statusexp config telemetry disableexp config telemetry enable
De voorkeur wordt lokaal opgeslagen in .exp/settings.toml.
Ontwikkeling
Voor ontwikkeling kunnen de volgende commando's worden gebruikt:
uv sync --extra dev
uv run ruff format --check .
uv run ruff check .
uv run ty check
uv run pytest -q
Conventies voor de repository en documentatie zijn te vinden in AGENTS.md.
Groetjes,