Premières mesures, y compris celles qui ne nous arrangent pas

Mesure 1 · Les lois de conservation seules

La question : les explorateurs trouvent-ils les lois de conservation d’automates qu’ils n’ont jamais vus, et à quel coût ? La réponse : oui, mais une méthode générique les trouve toutes. Cette classe de lois calibre le moteur, elle ne peut pas démontrer une capacité de découverte.

Résultats sur la moitié réservée, sans bibliothèque

La mémoire aide-t-elle ?

Le protocole de transfert note la moitié réservée deux fois au même budget : à froid, puis avec la bibliothèque construite sur la moitié vue. L’ajustement exact passe de 24 à 20 propositions, toujours pour 20 lois sur 20. La méthode à froid est déjà presque optimale, la mémoire n’a presque rien à économiser. Cette classe ne peut donc pas montrer de bénéfice cumulatif.

Ce que cela veut dire

1. La machinerie fonctionne de bout en bout. Les propositions sont vérifiées, les fausses sont réfutées par un contre-exemple concret, les vraies reçoivent un certificat que le noyau de Lean accepte.
2. Ce type de découverte est résolu. Une algèbre linéaire exacte sur une quarantaine de transitions simulées par monde trouve chaque loi cachée avec environ une proposition par loi. Ni un modèle de langage, ni une bibliothèque ne peuvent faire mieux.
3. Un modèle de langage sans calcul fait bien mieux que le hasard, et moins bien qu’une méthode de cinquante lignes. Il n’a rien certifié de faux, parce qu’il ne le peut pas. Pour Mutome, cela veut dire que les explorateurs doivent pouvoir calculer et expérimenter, pas seulement raisonner.
4. Le bénéfice cumulatif ne peut pas apparaître ici. Il faudra le mesurer sur des types de découverte où chercher à froid coûte cher.

Mesure 2 · Un agent autonome dans un laboratoire mesuré

La question : avec seulement une description de la tâche et la commande ./lab, un agent autonome trouve-t-il des faits vrais sur des mondes inédits ? Fait-il mieux qu’un scientifique de référence scripté, au même budget ? Et triche-t-il ?

Le graphique en tête de page montre ces quatre passages.

Résultats complets, règles cachées

Les deux structures hors bornes de la graine 11 ont une période de 16 et une vitesse de 1/2. Leurs témoins sont vérifiés par le noyau. La fenêtre de recherche de la référence, période au plus 8, ne peut pas les voir.

Avec les règles données : une égalité par construction

Graine 7, règles données, 60 propositions et 200 000 mises à jour de cellules. Les deux passages sont limités par le nombre de propositions.

Avec les règles données et 60 propositions, l’agent et la référence sont à égalité par construction : les deux sont limités par le nombre de propositions.

Comment l’agent a fait

Son premier geste a été de concevoir une expérience. Il a construit des suites de de Bruijn : une configuration par monde où chaque voisinage possible apparaît. Une seule courte expérience révélait donc toute la règle du monde. Le reste a été du calcul : algèbre linéaire exacte pour les lois, recherche de blocs jusqu’à une période de 16 pour les structures. Il n’a proposé que ce que sa propre analyse prédisait, et toutes ses propositions ont été acceptées.

La lecture honnête

1. La boucle et la mesure fonctionnent. Mondes inédits, réponses cachées, référence à budget égal, expériences comptées, transcriptions auditées et vérification par le noyau de chaque résultat tiennent ensemble. Aucune affirmation fausse n’a été acceptée, de personne.
2. Un agent de code généraliste branché sur un laboratoire Slean se comporte ici en scientifique compétent : il conçoit une expérience qui identifie le monde, infère la loi, en déduit les conséquences, et ne propose que ce qu’il a vérifié. Il bat la référence avec 150 à 225 fois moins d’expériences, et trouve deux structures hors de sa portée.
3. Ces mondes restent trop faciles pour montrer une découverte au sens qui compte. Toute la règle tient en 27 à 64 entrées et se lit en une expérience. Ce qui reste, ce sont des recherches bornées, avec une méthode connue. Ce n’est pas encore de la découverte ouverte.

Ce qui doit changer ensuite

• Des mondes qu’une seule expérience ne suffit pas à identifier : observation partielle, bruit, grands espaces d’états, systèmes continus. Inférer la loi doit devenir la partie difficile et incertaine.
• Des questions sans forme imposée : l’agent doit choisir ce qu’il demande, pas seulement répondre à des types d’affirmation fixés.
• Plus de graines et des passages répétés, avec la dispersion publiée, et une référence plus forte qui connaît désormais l’astuce de l’agent.

Limites de cette mesure

• Deux graines, un passage chacune, un seul modèle.
• La réponse sur les structures est bornée, et les bornes diffèrent entre mondes à 3 et à 4 états.
• L’audit des transcriptions est une recherche de marqueurs et une relecture des appels d’outils, pas un bac à sable du système d’exploitation.

Mesure 3 · Des mondes compressibles, où inférer la loi est la tâche

Pourquoi : la première batterie de labos était saturée. Chaque bras trouvait presque toute la réponse cachée, parce qu’une expérience bien choisie révèle une règle de 27 ou 64 entrées ; les changements de harnais montraient un gain de 0 et +1. Une batterie saturée ne distingue pas un bon agent de recherche d’un moins bon. Ces nouveaux mondes sont construits pour que seule l’inférence d’une loi courte, et non la lecture de la table, permette d’aller loin.

Premier passage, graine 21

La batterie distingue désormais : un large écart entre les deux bras, et beaucoup de place au-dessus des deux. L’agent seul n’a jamais essayé d’inférer une loi courte : il a dépensé son budget en expériences au hasard, ajusté les lois de conservation, jugé une table de 1 024 entrées hors de portée, et s’est arrêté au bout de 92 secondes.

Gain de harnais sur des graines réservées

Le moteur de Mutome a ensuite mesuré si changer le harnais de l’agent aide sur des mondes jamais vus : graines réservées 41, 42 et 43, un passage par bras et par graine.

• Seul : l’agent sans aide, comme au premier passage.
• Leçons : l’agent plus ses propres résumés de deux labos d’entraînement (graines 31 et 32).
• Méthode : l’agent plus une consigne générale de méthode de recherche.
• Référence : l’identification scriptée par force brute.

La lecture honnête

1. Les leçons améliorent les résultats de +9, +7 et +12 : positif sur chaque graine réservée, et au-dessus de la référence par force brute. C’est le premier changement de harnais qui améliore les résultats sur des mondes inédits. L’essentiel du gain vient des structures, pas des mécanismes.
2. La consigne de méthode est erratique (+6, −2, +31). Sur la graine 43, elle a identifié 9 des 16 règles par induction, contre 3 par force brute : la capacité que cette batterie doit mesurer, mais pas encore fiable.
3. C’est une mesure sur des mondes synthétiques, pas une preuve de découverte dans le monde réel. Les leçons sont candidates pour devenir la mémoire par défaut de Mutome dans les labos Slean, sous réserve de répétitions.

Limites de cette mesure

• Un passage par bras et par graine, trois graines réservées, un seul modèle. La mesure 4 la répète trois fois et publie la dispersion.
• La réponse sur les structures est bornée (largeur 4, période 8).
• Le passage court de l’agent seul reflète peut-être en partie le comportement d’arrêt de Claude Code, ce qu’un harnais est justement censé changer.

Mesure 4 · Le gain répété, les lois compactes et une référence plus forte

La mesure 3 reposait sur un seul passage par bras et par graine. Nous l’avons répétée, nous avons ajouté un nouveau type de découverte qui demande de l’induction, et nous avons donné une vraie méthode à la référence scriptée. Mêmes mondes, mêmes graines, même budget.

Trois répétitions

Les mêmes leçons à chaque répétition (résumés des labos d’entraînement sur les graines 31 et 32). Découvertes par labo, répétitions 1, 2 et 3.

Les leçons gagnent 8 paires sur 9, avec 6 découvertes de plus par labo en moyenne. Elles perdent une paire de 6 : sur la graine 41, à la répétition 3, l’agent seul a identifié 9 règles sur 16 par induction, sans aide. Les leçons rendent aussi l’agent plus régulier (de 10 à 21, contre de 3 à 20 seul).

Les lois compactes

Une loi compacte est une formule courte qui calcule toute la règle d’un monde. Le noyau de Lean la vérifie sur les 1 024 voisinages, et elle doit faire au plus le quart de la table : recopier la table ne compte pas. Pour en trouver une, il faut inférer la règle, pas la lire. 12 lois sont cachées dans chaque labo.

Lois trouvées sur 12, puis découvertes de tous types. Version 2 du score : un monde identifié par une loi compacte compte une fois comme identifié et une fois comme loi. Un passage par bras et par graine.

Une référence plus forte

L’ancienne référence lisait les règles entières dans l’ordre où le labo listait les mondes : son score tenait de la chance (3 ou 4 ici). La nouvelle sonde chaque monde, essaie les familles de règles classiques (linéaires, totalistiques, totalistiques « centre + reste », à un recodage des états près), ne dépense des cellules que sur les entrées que les données laissent ouvertes, et soumet la loi. Elle trouve 9 lois dans chaque labo, et chacune de ses propositions est certifiée.

La lecture honnête

1. Les leçons aident l’induction elle-même : elles gagnent sur les lois pour chaque graine (+6, +6, +3), le type de résultat qui demande d’inférer une règle.
2. Mais l’agent avec leçons fait seulement jeu égal avec quelques centaines de lignes de recherche par familles (50, 59, 46 contre 51, 54, 47), et l’agent seul fait moins bien sur deux graines sur trois. Son avantage : les lois des particules, que le script ne trouve jamais. Sur la graine 42, il a trouvé les 12.
3. Une partie de ce qu’apprennent les leçons pourrait simplement être les familles qu’utilise cette suite. Les prochains mondes devront utiliser des familles hors de cette liste, avec des graines d’évaluation gardées secrètes, pour distinguer l’induction du rappel.

Limites de cette mesure

• Trois graines, un modèle, un jeu de leçons : neuf comparaisons appariées, pas neuf familles scientifiques indépendantes.
• La comparaison sur les lois compactes repose sur un passage par bras et par graine.
• La référence essaie exactement les familles dont cette suite est générée. C’est ce qui la rend forte ici ; sur d’autres familles, elle retomberait sur la force brute.

Mesure 5 · Mesurer l’expérience elle-même

6–11 octobre 2026. Des mondes publics plus difficiles laissent une marge de progrès, mais l’environnement de l’agent et ses arrêts précoces font varier les résultats plus que prévu.

S’entraîner en public, mesurer sur des mondes scellés

La suite novel était presque saturée : les scores atteignaient 92–100 %. La sélection utilise désormais frontier, avec 3 000 mises à jour de cellules et 200 propositions par lab. Les générateurs publics peuvent entrer dans les données d’entraînement : même de nouvelles graines ne démontrent pas une découverte sur des familles inédites. Les générateurs, familles et graines scellés restent privés ; leurs labs ne sont jamais montrés à l’agent qui rédige les prochaines notes.

La configuration fait partie de l’agent

Trois ablations préenregistrées ont utilisé six graines communes et 18 labs chacune. Charger la configuration Claude Code de l’opérateur ajoute environ 30 points de pourcentage par rapport au profil isolé dans la première comparaison (p unilatéral = 0,016, significatif après correction de Holm). Ajouter ses instructions sous forme de texte n’a pas démontré de bénéfice dans cette expérience. Les ablations suivantes n’ont pas établi de cause individuelle.

Cette comparaison conserve à zéro un lab signalé à tort par l’audit. Le corriger donne un gain de 23 points, p = 0,047, qui ne passe plus la correction de Holm. Ces scores réanalysés excluent les structures hors des bornes de référence ; les valeurs initiales étaient 33 et 26 points. Un lab ultérieur a aussi planté et a été conservé à zéro.

Une meilleure isolation, des limites qui restent

Les premiers labs partageaient /tmp. Chaque lab dispose maintenant d’un répertoire temporaire privé ; les autres dépôts et sessions enregistrées sont masqués. L’examen des transcriptions n’a pas trouvé de réutilisation systématique, mais ne garantit pas l’indépendance des anciens labs. Le profil operator-1 conserve quatre outils de lab, aucun serveur MCP, et enregistre l’empreinte de sa configuration.

Pourquoi la décision suivante utilise 12 paires

Trois calibrations A/A ont exécuté deux fois les mêmes notes sur quatre graines communes chacune : 24 labs au total. Les écarts-types corrigés des différences appariées sont 0,23, 0,34 et 0,27. Certains agents s’arrêtent après seulement 1 à 4 propositions. Une relance neutre reprend désormais chaque session admissible une seule fois s’il reste au moins 25 % des propositions ; elle n’élimine pas les arrêts précoces.

Les quatre dernières paires donnent une estimation grossière du bruit. Un calcul par approximation normale cible un gain de 20 points avec une puissance de 80 % et α unilatéral = 0,05 : 12 paires, en deux étapes de 5 puis 7. Des effets plus faibles demandent davantage de paires. Ce dimensionnement est provisoire, pas une garantie générale de puissance.

Génération 4 : un gain public, un transfert non confirmé

Après un tri rapide, le candidat utilise ses propositions restantes pour obtenir des contre-exemples. Il améliore v1 sur 12 paires frontier tenues à l’écart, mais recule sur les deux paires de transfert scellées initiales. La règle préenregistrée bloque sa promotion le 8 octobre.

La confirmation préenregistrée se termine le 11 octobre : 12 nouvelles paires scellées, 24 labs, un gain moyen de 9,7 points et p = 0,133. Cette estimation positive ne franchit pas le seuil de 0,05 : le candidat n’est pas promu. Le transfert à des familles inédites reste incertain ; ce résultat ne démontre pas que le bénéfice est nul.

Écarts en points de pourcentage de la fraction des découvertes possibles, avec la métrique corrigée bornée. Les p de sélection et de confirmation viennent de tests exacts unilatéraux de permutation des signes appariés ; le transfert initial utilisait un seuil moyen de −3 points. Les 28 labs initiaux et les 24 labs de confirmation ont un audit propre, un contrôle du noyau réussi et aucun échec enregistré. Décision du 11 octobre : aucune promotion.

Lire les résultats antérieurs datés, les corrections et leurs limites

Les règles de mesure

La question n’est pas « l’agent ressemble-t-il à un scientifique ? ». C’est « a-t-il trouvé quelque chose de vrai qu’il ne savait pas déjà, pour moins cher qu’une méthode simple ? ». Chaque règle ferme une façon de se tromper soi-même.

À quoi devra ressembler un résultat positif

« Mutome sait découvrir » voudra dire tout ce qui suit, sur des mondes générés après le gel du système :

• un rappel supérieur à l’ajustement exact et au hasard à coût mesuré égal, chaque résultat vérifié par le noyau ;
• un gain avec la bibliothèque sur des mondes réservés : les résultats précédents rendent les suivants moins chers ;
• le même résultat sur plusieurs graines de suite, avec la dispersion publiée.

Sur le monde réel, il n’existe pas de réponse cachée complète. La note y devient prospective : des prédictions enregistrées avant que les données qui les tranchent n’existent, avec une règle d’évaluation fixée à l’avance.