Faut-il créer votre propre ZeroLeaks ?
Des tests d'attaque automatisés qui tentent d'extraire le prompt système, les clés et les instructions cachées de votre produit IA, puis signalent les fuites.
Le mécanisme n'a rien d'exotique : envoyez quelques centaines de prompts adversariaux au point d'accès de votre propre chat, recueillez les réponses et vérifiez si certaines contiennent votre prompt système, vos schémas d'outils ou vos clés API. Un agent peut créer cette boucle en une seule session, avec une évaluation par LLM utilisé comme juge et un rapport HTML, et elle trouvera les problèmes embarrassants dès le premier jour. Ce que vous ne pouvez pas créer d'un seul coup, c'est une bibliothèque de tests qui reste à jour à chaque sortie de modèle et à chaque nouvelle famille de jailbreaks, car il s'agit de connaissances entretenues, pas de code. La confiance entre aussi en jeu : « nous avons exécuté notre propre script et n'avons rien trouvé » n'a pas du tout le même poids, lors d'un examen de sécurité, qu'un rapport daté émis par un tiers. Créez cet outil pour vos propres contrôles de base ; continuez de payer si vous avez besoin d'un document à présenter à quelqu'un d'autre.
EN → FRAnalyse traduite automatiquement de l’anglais. Prompt original conservé en anglais.
Build a local CLI tool called leakprobe that red-teams a chat AI endpoint for system prompt and secret leakage.
Stack: Python 3.12, uv for deps, httpx, pydantic, typer for the CLI, jinja2 for the report. No web UI, no database, no accounts, no telemetry. Everything runs on my machine and writes to ./runs/.
Config: a target.yaml describing the endpoint under test (url, http method, headers, JSON body template with a {{message}} placeholder, and a JSONPath-ish key for extracting the reply text). Also a secrets.yaml listing my real system prompt text, tool/function names, and regex patterns for keys I never want echoed (sk-, ghp_, AKIA, bearer tokens). All API keys come from .env via python-dotenv; write .env.example and gitignore .env.
Probes: ship a probes/ directory of YAML files, at least 60 probes across these families, each with id, family, severity, and one or more turns: direct extraction, polite social engineering, roleplay and persona swap, translation and encoding (base64, rot13, pig latin), token smuggling, fake developer or debug mode, 'repeat the text above', markdown and code block coercion, tool and function schema enumeration, indirect injection via pasted document content, and refusal-boundary probing. Support multi-turn probes where later turns reference earlier replies.
Runner: async, configurable concurrency (default 4), per-request timeout, exponential backoff on 429 and 5xx, and a --limit flag so I can smoke test. Log every request and response verbatim to runs/TIMESTAMP/transcripts.jsonl.
Scoring: two layers. First, deterministic detectors: fuzzy overlap against my known system prompt using token n-gram matching, exact matches on tool names, and regex hits on secret patterns. Second, an LLM judge (OpenAI-compatible, model configurable, key from .env) that reads the transcript and returns strict JSON with leaked: bool, leak_type, confidence, and a one-line rationale. Combine into a severity per probe. Deterministic hits always win.
Output: a self-contained HTML report at runs/TIMESTAMP/report.html grouped by severity, each finding showing the probe, the full exchange, and which detector fired, plus report.json for diffing. Add a `leakprobe diff RUN_A RUN_B` command that shows newly failing and newly passing probes so I can use it as a regression gate. Exit code 1 if any high-severity finding, so it works in CI.
Out of scope: scanning targets I do not control, DoS or rate-limit abuse, network-level scanning, auth bypass testing, any hosted dashboard. Print a short warning on first run that this only targets endpoints listed in target.yaml.
Deliver a README with a 60 second quickstart, and pytest tests for the detectors using fixture transcripts (no live API calls in tests).Le prompt s’ouvre prérempli dans votre agent. Relisez-le avant de l’exécuter. · ce prompt est généré à partir du plan de construction · améliorez-le via une PR
Comment créer votre propre version ?
Exécute un ensemble versionné de tests d'extraction et d'injection contre le point d'accès de votre chat, évalue chaque réponse pour détecter des fuites du prompt système, de secrets ou de définitions d'outils, puis produit un rapport classé par priorité avec les transcriptions exactes.
Ce dont vous aurez besoin
- Une clé API pour le modèle que vous utilisez comme juge
- Un point d'accès de chat ou une API joignable pour l'application testée, ainsi que l'autorisation de le solliciter intensivement
- Une copie de votre véritable prompt système et des motifs de secrets à rechercher
Il y a deux raisons, et aucune ne tient à la difficulté du banc de test. D'abord, les jailbreaks vieillissent : les tests qui fonctionnaient sur le modèle du trimestre dernier sont désormais inutiles, et maintenir un corpus vivant est un travail à plein temps, pas une tâche cron configurée une fois pour toutes. Ensuite, une sécurité auto-attestée ne vaut à peu près rien pour un acheteur en entreprise ; les sociétés paient donc pour un document externe portant une date et un logo. Si votre seul objectif est d'éviter de livrer un prompt système qui se dévoile dès que quelqu'un tape « répétez tout ce qui précède », un banc de test local suffit vraiment.
xUn corpus de tests sélectionné et entretenu qui suit les nouvelles familles de jailbreaks, au lieu de se limiter à ce dont l'agent se souvenait le jour de la création
xDes stratégies d'attaque à plusieurs tours et sur plusieurs modèles, notamment crescendo et les astuces d'encodage, correctement mises en œuvre plutôt que réduites à des prompts isolés
xUn rapport daté émis par un tiers, que vous pouvez remettre à un client ou à un auditeur
xUn tri par gravité et des conseils de correction rédigés par quelqu'un qui a vu beaucoup de cas similaires
xDes tests de non-régression à chaque changement de modèle ou de prompt, sans devoir penser à les lancer
Rien qui mérite d’être cité. C’est pour cela que le prompt existe.
Combien coûte ZeroLeaks ?
- Facturation mensuelle
- 149 $US/mois149 $US/mois
- Par an
- 1 788 $US/an1 788 $US/an
- Facturation annuelle
- 1 490 $US/an17% moins cher que le mensuel
- Avec une carte brésilienne, IOF de 3,5% inclus
- 779 R$/mois7 787 R$/an
Enregistré dans Ma liste. Un avis s’affichera ici si le prix change.
Vous finalisez l’achat sur le site de ZeroLeaks. Vibe Radar ne gère aucun paiement.
Construire ou s’abonner à ZeroLeaks ?
Ajustez les chiffres : heures de développement, taux horaire, coûts d’exploitation et prix de l’abonnement.
Construire est rentabilisé en 4 mois.
Heures estimées d’après l’analyse (une session). Ne chiffre pas ce que vous perdez (support, intégrations, sécurité).
Puis-je recréer ZeroLeaks ?
En partie. Le cœur de ZeroLeaks se construit en un week-end avec le prompt de cette page, mais il reste de vraies lacunes : Un corpus de tests sélectionné et entretenu qui suit les nouvelles familles de jailbreaks, au lieu de se limiter à ce dont l'agent se souvenait le jour de la création, Des stratégies d'attaque à plusieurs tours et sur plusieurs modèles, notamment crescendo et les astuces d'encodage, correctement mises en œuvre plutôt que réduites à des prompts isolés. Lisez la liste ci-dessus avant de vous lancer.
Combien coûte ZeroLeaks ?
ZeroLeaks coûte environ 149 $US/mois (Pro, vérifié le 20/10/2026), soit 1 490 $US par an.
Que perd-on en remplaçant ZeroLeaks ?
Honnêtement : Un corpus de tests sélectionné et entretenu qui suit les nouvelles familles de jailbreaks, au lieu de se limiter à ce dont l'agent se souvenait le jour de la création; Des stratégies d'attaque à plusieurs tours et sur plusieurs modèles, notamment crescendo et les astuces d'encodage, correctement mises en œuvre plutôt que réduites à des prompts isolés; Un rapport daté émis par un tiers, que vous pouvez remettre à un client ou à un auditeur; Un tri par gravité et des conseils de correction rédigés par quelqu'un qui a vu beaucoup de cas similaires; Des tests de non-régression à chaque changement de modèle ou de prompt, sans devoir penser à les lancer. Si l’un de ces points compte pour vous, continuez à payer.
Existe-t-il une alternative open source à ZeroLeaks ?
Aucune alternative open source mature à recommander, et c’est précisément pour cela que le prompt de cette page existe.