Delta face au meilleur modèle du marché, sur de vrais appels d'offres.
Les mêmes dossiers, donnés à Delta et à Claude Opus 5.5 utilisé avec Claude Code, l'agent généraliste le plus puissant disponible aujourd'hui. Le même juge, la même grille. Notes sur 100.
Analyse du dossier
Mémoire technique
Composition de l'équipe
Planning et charge
Ce que l'acheteur demande, sans rien oublier ni inventer.
Trois dossiers réels, de trois métiers différents, dont un sans règlement de consultation. Le juge vérifie la mission, le contexte, les compétences, la réponse attendue, le contrat et les manques du dossier, avec une fiche des faits établie à la main.
AMO de services
Acheteur privé, immobilier tertiaire
Programmation et AMO
Établissement public, sans règlement de consultation
Achat de médicaments
Santé publique, candidature seule
Chaque version mesurée sur les mêmes dossiers
Même juge, même grille, d'une version à l'autre.
Un mémoire écrit pour ce marché, avec les preuves de votre organisation.
Le juge lit chaque page comme l'acheteur la verra, sur douze critères. L'écart se fait là où un modèle généraliste ne peut pas aller seul : les preuves chiffrées de votre organisation, l'exactitude des chiffres, votre charte et vos types de pages.
100
contre 83 pour Opus
- Chaque affirmation clé appuyée sur une référence ou un chiffre de votre organisation.
- Les chiffres vérifiés avant d'être écrits : aucun délai ni montant ne contredit le dossier.
- Le document sort à votre charte, dans votre voix, avec vos propres types de pages.
Vos collaborateurs, au bon endroit, avec une charge tenable.
Sur le même dossier, l'équipe composée à partir des collaborateurs de l'organisation, puis le planning avec la charge de chacun. Opus choisit parfois mieux les profils ; Delta prouve ses choix, nomme les lacunes et propose un partenaire. Le planning reste notre chantier en cours.
Composition de l'équipe
88Opus 67
- Adéquation des profils
- Preuves
- Cohérence
- Lacunes et partenaires
- Dimensionnement
- Fiabilité
Planning et charge
77Opus 63
- Respect des délais
- Couverture de la mission
- Réalisme de la charge
- Cohérence avec l'équipe
- Charge par personne
- Hypothèses explicites
- Fiabilité
Trouver chaque exigence, et retenir ce que votre organisation sait faire.
Deux mesures plus fines, faites contre des listes de référence. Pour les exigences, Delta fait jeu égal avec Opus : l'écart entre les deux est dans le bruit de la mesure. Pour la base de l'organisation, Delta classe nettement mieux ce qu'il retient.
Exigences retrouvées dans les pièces
Trois dossiers, contre une liste de référence
Retrouvées
Justes
Connaissances retenues d'un dossier de l'organisation
Un dossier, contre une liste de référence
Retenues
Bien classées
Toutes les notes, critère par critère et dossier par dossier.
Les graphiques ci-dessus résument ces tableaux. Chaque note de 1 à 5 est donnée par le juge avec le passage du document sur lequel il s'appuie ; les notes sur 100 sont la moyenne pondérée des critères.
Analyse du dossier de consultation3 tableaux
Note sur 100, dossier par dossier
| AMO de services | Programmation et AMO | Achat de médicaments | |
|---|---|---|---|
| Delta | 97 | 100 | 97 |
| Claude Opus 5.5 avec Claude Code | 91 | 91 | 95 |
Note par critère, de 1 à 5 (Delta / Opus)
| AMO de services | Programmation et AMO | Achat de médicaments | |
|---|---|---|---|
| Mission complète (poids 3) | 5 / 5 | 5 / 3 | 5 / 4 |
| Mission sans bruit (2) | 5 / 5 | 5 / 5 | 5 / 5 |
| Contexte séparé (2) | 5 / 5 | 5 / 5 | 5 / 5 |
| Compétences justes (2) | 5 / 5 | 5 / 5 | 5 / 5 |
| Réponse attendue (2) | 5 / 5 | 5 / 5 | 5 / 5 |
| Manques du dossier signalés (2) | - | 5 / 5 | 5 / 5 |
| Lisibilité (2) | 4 / 4 | - | - |
| Contrat utile (1) | 5 / 3 | 5 / 5 | 5 / 5 |
| Fiabilité (2) | 5 / 4 | 5 / 5 | 4 / 5 |
Un critère sans objet pour un dossier est marqué d'un tiret court : la lisibilité n'est notée que sur le premier, les manques du dossier sur les deux autres.
Note sur 100, version après version
| Initiale | 2.6 | 2.7 | 2.8 | Aujourd'hui | |
|---|---|---|---|---|---|
| AMO de services | 31 | 88 | 95 | 97 | 97 |
| Programmation et AMO | 23 | 81 | 92 | 89 | 100 |
| Achat de médicaments | non mesuré | 80 | 83 | 84 | 97 |
Les versions intermédiaires ont toutes été notées par le même juge, sur la même grille. Le troisième dossier n'a pas de mesure de la version initiale.
Mémoire technique, équipe et planning3 tableaux
Mémoire technique, note par critère de 1 à 5
| Delta | Opus | |
|---|---|---|
| Besoin | 5 | 5 |
| Méthode | 5 | 5 |
| Équipe | 5 | 4 |
| Planning | 5 | 5 |
| Spécificité | 5 | 4 |
| Preuves | 5 | 3 |
| Pertinence | 5 | 5 |
| Rédaction | 5 | 5 |
| Mise en forme | 5 | 5 |
| Exactitude | 5 | 3 |
| Charte | 5 | 4 |
| Pages types | 5 | 4 |
| Note sur 100 | 100 | 83 |
Composition de l'équipe, note par critère de 1 à 5
| Delta | Opus | |
|---|---|---|
| Adéquation des profils | 3 | 5 |
| Preuves | 5 | 3 |
| Cohérence | 5 | 5 |
| Lacunes et partenaires | 5 | 2 |
| Dimensionnement | 5 | 5 |
| Fiabilité | 5 | 2 |
| Note sur 100 | 88 | 67 |
Planning et charge, note par critère de 1 à 5
| Delta | Opus | |
|---|---|---|
| Respect des délais | 4 | 4 |
| Couverture de la mission | 5 | 4 |
| Réalisme de la charge | 4 | 4 |
| Cohérence avec l'équipe | 4 | 3 |
| Charge par personne | 3 | 2 |
| Hypothèses explicites | 4 | 5 |
| Fiabilité | 4 | 3 |
| Note sur 100 | 77 | 63 |
Lecture des pièces et de votre base4 tableaux
Exigences retrouvées, en %, dossier par dossier
| Programmation de services | AMO, bureaux durables | Façonnage pharmaceutique | |
|---|---|---|---|
| Delta | 90 | 95 | 91 |
| Claude Opus 5.5 | 88 | 95 | 98 |
| Modèles ouverts | 11 | 13 | 13 |
Contre une liste de référence de 161 à 208 exigences par dossier.
Exigences justes parmi celles trouvées, en %
| Programmation de services | AMO, bureaux durables | Façonnage pharmaceutique | |
|---|---|---|---|
| Delta | 88 | 96 | 94 |
| Claude Opus 5.5 | 93 | 93 | 90 |
| Modèles ouverts | 97 | 88 | 91 |
Exigences : doublons et classement, en %
| Doublons | Bien classées | |
|---|---|---|
| Delta | 0,4 | 79 |
| Claude Opus 5.5 | 0 | 100 |
| Modèles ouverts | 5,9 | 57 |
Le classement range chaque exigence en technique, contractuelle ou administrative. La liste de référence a été rédigée par Opus et n'a pas encore été relue : sur ce critère, Opus est noté contre ses propres choix, ce qui explique ses 100 %.
Connaissances retenues d'un dossier de l'organisation, en %
| Retenues | Bien classées | Doublons | |
|---|---|---|---|
| Delta | 57 | 78 | non mesuré |
| Claude Opus 5.5 | 55 | 50 | non mesuré |
| Modèle ouvert | 64 | 64 | 13 |
Contre une liste de référence de 56 connaissances, trois exécutions par système.
Des grilles écrites à l'avance, un juge qui n'est pas celui qui écrit.
Les mesures tournent dans AI Studio, notre banc d'évaluation. Pour chaque tâche, une grille dit qui lit et ce qui compte. Le juge note chaque critère de 1 à 5 en citant le passage sur lequel il s'appuie, puis la moyenne pondérée est ramenée sur 100. Les juges sont des modèles différents de ceux qui écrivent, pour qu'aucun modèle ne se note lui-même.
Analyse du dossier de consultationQui lit : Le directeur de mission et le responsable des réponses, qui décident de répondre.Juge : gpt-oss-120b, avec une fiche des faits du dossier établie à la main.8 critères
- La mission est complète : phases, livrables, délais, obligations
- La mission ne contient que des obligations
- Le contexte du projet est séparé de la mission
- Les compétences demandées, dans les mots du dossier
- La réponse attendue : plan, critères, pièces, dates
- Ce que le dossier ne dit pas est signalé, pas inventé
- Le contrat : les points qui pèsent, pas une liste de clauses
- Fiabilité : aucune invention, contradictions signalées
Mémoire techniqueQui lit : L'acheteur qui compare les offres, et lit vite.Juge : Qwen3.5-397B, qui lit chaque page comme une image.12 critères
- Compréhension du besoin propre à ce marché
- Méthode par phase, livrables datés, points de validation
- Preuves chiffrées issues de l'organisation
- Équipe nommée, rôle, charge, expérience comparable
- Planning daté et charge par personne
- Écrit pour ce marché, pas un texte générique
- Chaque page utile, sans redite
- Rédaction claire et concise
- Chaque page dans la forme qui la sert
- Exactitude des faits et des chiffres
- Charte et voix de l'organisation sur chaque page
- Les types de pages de l'organisation structurent le document
ÉquipeQui lit : L'acheteur et un directeur de mission, qui ne jugent que la composition.Juge : gpt-oss-120b.6 critères
- Adéquation des profils aux besoins du marché
- Preuves : missions et expériences comparables
- Cohérence entre profils, rôles et charge
- Lacunes nommées et partenaires proposés
- Dimensionnement
- Fiabilité
Planning et chargeQui lit : L'acheteur et un directeur de mission, qui ne jugent que le planning.Juge : gpt-oss-120b.7 critères
- Respect des délais imposés par le dossier
- Couverture de toute la mission
- Réalisme de la charge
- Cohérence avec l'équipe
- Charge par personne
- Engagements et hypothèses explicites
- Fiabilité
Ce que ces mesures ne disent pas encore
- Un à trois dossiers par tâche : assez pour voir un écart net, pas pour le chiffrer au point près.
- Les juges ne sont pas encore étalonnés sur des notes humaines. En relisant leurs remarques, nous en trouvons de fausses, dans les deux sens.
- Une seule exécution par dossier : la variation d'une exécution à l'autre n'est pas encore publiée.
- Opus a reçu la même consigne sur les trois dossiers d'analyse. Avec une autre consigne, il atteint 97 sur le premier : la consigne compte presque autant que le modèle.
- Le chiffrage n'a pas encore de mesure : nous ne l'afficherons qu'une fois mesuré.
Hébergé dans l'Union européenne, sans entraînement sur vos données.
Ce que vous déposez dans Delta reste dans l'Union européenne, et aucun modèle n'apprend de vos dossiers.
Hébergé en France
Modèles Claude, appelés dans l'UE
Aucun entraînement
La mesure qui compte se fait sur votre dossier.
Déposez un appel d'offres que vous connaissez déjà, et comparez ce que Delta en dit à ce que vous en savez.