Mesurer une découverte
Des mondes inédits, une réponse cachée, des méthodes simples au même coût : comment Slean évite de se tromper soi-même.
La question posée
La question n’est pas « l’agent ressemble-t-il à un scientifique ? ». C’est « a-t-il trouvé quelque chose de vrai qu’il ne savait pas déjà, pour moins cher qu’une méthode simple ? ». Chaque règle ci-dessous ferme une façon de se tromper soi-même.
Des mondes que personne n’a vus
Les automates élémentaires sont connus, un modèle a pu les mémoriser. Ils servent seulement à calibrer. Les mondes notés sont générés à partir d’une graine et déguisés : les états sont renommés en secret, l’image est parfois retournée, et des règles sans loi servent de leurres.
Une réponse cachée et complète
Pour chaque monde noté, la réponse complète est calculée exactement à l’avance. Le score compare ce que l’explorateur a trouvé à cette réponse. Le silence et les fausses pistes se voient donc tous les deux. Les lois triviales, conservées par toutes les règles, ne comptent pas.
Des comparaisons ennuyeuses, au même coût
Chaque explorateur paie une unité par proposition. La comparaison inclut toujours :
- le hasard, qui donne le plancher ;
- l’ajustement exact, une algèbre linéaire de cinquante lignes sur des transitions simulées ;
- l’oracle, qui connaît la théorie et donne le plafond.
Une IA qui ne bat pas l’ajustement exact au même coût n’a pas montré qu’elle découvre.
Lois cachées trouvées sur 20, moitié réservée
Voir les données
| Explorateur | Lois trouvées | Propositions |
|---|---|---|
| Hasard35 propositions réfutées. C’est le plancher. | 3 / 20 | 40 |
| Hasard, budget élargiPlus de budget ne suffit pas. | 7 / 20 | 300 |
| Ajustement exactAlgèbre linéaire exacte sur des transitions simulées. | 20 / 20 | 24 |
| Bibliothèque, à froidSans mémoire préalable. | 20 / 20 | 20 |
| OracleConnaît la théorie et résout les équations de continuité. C’est le plafond. | 20 / 20 | 20 |
| Modèle de langageClaude Sonnet 5.5 sans outils. 31 propositions pour les 14 lois, 48 au total. 9 appels, environ 388 000 jetons en entrée et 26 000 en sortie. | 14 / 20 | 31 / 48 |
Sur les lois de conservation, l’ajustement exact trouve les 20 lois cachées en 24 propositions. Ce type de loi est donc résolu par une méthode générique. Il calibre le moteur, il ne peut pas démontrer une capacité de découverte.
Compter l’accès au monde
La simulation est l’expérience. Les labos comptent les mises à jour de cellules à côté des propositions, et les jetons du modèle avec le coût. Voir Labo.
À froid, puis avec la bibliothèque
La mémoire n’est utile que si elle fait gagner quelque chose. Le protocole de transfert note les mêmes mondes réservés deux fois, au même budget : à froid, puis avec la bibliothèque construite sur d’autres mondes de la même famille. Sur les lois de conservation, l’ajustement exact passe de 24 à 20 propositions : la méthode à froid est déjà presque optimale, il n’y a presque rien à économiser.
Ce que voudra dire un résultat positif
Sur des mondes générés après le gel du système : un rappel supérieur à l’ajustement exact et au hasard à coût mesuré égal, un gain avec la bibliothèque, et le même résultat sur plusieurs graines, avec la dispersion publiée. Nous n’y sommes pas encore.