01Η απόδειξη που μετράει εδώ
Δώσαμε την ίδια ερευνητική μέτρηση και το ίδιο αίτημα σε απλά αγγλικά στο δικό μας εργαλείο και στα εργαλεία AI που ήδη πληρώνουν οι άνθρωποι, πολλές φορές, και μετρήσαμε πόσες διαφορετικές απαντήσεις ήρθαν. Η διασπορά για να συγκρίνουμε: η ίδια η προσαρμογή κουβαλά μια αβεβαιότητα περίπου ±0,03 σε αυτόν τον εκθέτη.
| Επαναλήψεις | Διαφορετικές απαντήσεις | Διασπορά του εκθέτη | |
|---|---|---|---|
| Το εργαλείο προσαρμογής μαςκαλούμενο απευθείας (χωρίς γλωσσικό μοντέλο στον κύκλο) | 100 | 1 | Το ίδιο αποτέλεσμα, 100 στις 100. Σε αρχείο δεύτερου ερευνητή: 100 στις 100 μετά από διόρθωση στις 18 Οκτωβρίου· πριν, 98 στις 100 (ένα δεύτερο αίτημα που έφτασε ανάμεσα σε δύο βήματα έκανε την υπηρεσία να πετάξει το καθαριστικό βήμα του πρώτου αιτήματος). |
| Το Omicron με το εργαλείο μαςμέσα από τη συνομιλία (το προϊόν όπως χρησιμοποιείται) | 100 | Η μία τιμή του εργαλείου σε 93 από 94 ολοκληρωμένες επαναλήψεις (το μοντέλο την έγραψε σε τέσσερα δεκαδικά σε 72 και τη στρογγύλεψε σε 21); μία επανάληψη έδωσε άλλη τιμή ενώ το δικό μας τεστ σφάλματος χτυπούσε την ίδια υπηρεσία | 6 επαναλήψεις σταμάτησαν πριν την προσαρμογή και δεν έδωσαν αριθμό |
| Claude Opus 5.5ως agent με shell, πληρωμένο πρόγραμμα | 10 | 4 | 0,988–1,003 |
| Claude Sonnet 5.5ως agent με shell, πληρωμένο πρόγραμμα | 30 | 19 | 0,97–1,03 |
| GPT-6 Lunaυψηλή συλλογιστική, μέσω του εργαλείου γραμμής εντολών του κατασκευαστή | 30 | 20 | 0,69–0,93 |
| GPT-6 Lunaπροεπιλογή κατασκευαστή (χωρίς συλλογιστική), μέσω του εργαλείου γραμμής εντολών του κατασκευαστή | 30 | 20 (σε 29 χρήσιμες επαναλήψεις; μία δεν έδωσε αποτέλεσμα) | 0,73–1,21 |
Όσο καλύτερο το μοντέλο, τόσο πιο σφιχτό το διάστημα; κανένα από αυτά δεν δίνει την ίδια απάντηση κάθε φορά, και αυτό είναι το σημείο: στο δικό μας σύστημα η μέθοδος μένει στο εργαλείο, όχι στο μοντέλο. Δύο ειλικρινείς σημειώσεις. Ο εκθέτης του δικού μας εργαλείου σε αυτό το αρχείο απέχει περίπου 0,03 από την τιμή στο δικό μας preprint, που χρησιμοποίησε άλλο παράθυρο προσαρμογής; η επιλογή του παραθύρου κινεί την απάντηση οποιουδήποτε αναλυτή με τόσα, και το δικό μας εργαλείο κλειδώνει μία επιλογή και τη κρατά. Για τον ίδιο λόγο οι δύο μας γραμμές τυπώνουν διαφορετικούς εκθέτες (1,066 καλούμενο απευθείας, με το παράθυρο της δημοσιευμένης μεθόδου; 1,005 μέσα από τη συνομιλία, με το παράθυρο που προτείνει το εργαλείο από τα δεδομένα): καθεμία είναι επαναληπτή, και το παράθυρο τυπώνεται με το αποτέλεσμα. Και η σύγκριση είναι ανάμεσα σε agents με shell στα πληρωμένα προγράμματα των κατασκευαστών και τη δική μας συνομιλία; οι ακριβείς ρυθμίσεις και η πρόσθετη οδηγία για τη γραμμή αποτελέσματος τυπώνονται με κάθε επανάληψη στη σελίδα με τις δοκιμές μας. Στα εξωτερικά εργαλεία δώσαμε τα δεδομένα ως πίνακα με ετικέτες; το δικό μας διάβασε το ίδιο το αρχείο του οργάνου.
Πιο δύσκολες ερωτήσεις σε αρχείο εργαστηρίου.
Συγγράψαμε επίσης δέκα πιο δύσκολες ερωτήσεις σε ένα επινοημένο αρχείο ερευνητικής εκστρατείας (ένα μέσο που χρειάζεται συντελεστή διόρθωσης από έναν πίνακα και εφαρμόζεται σε μετρήσεις από έναν άλλο, ένα χρόνο καμίνου που αθροίζεται στα δείγματα που περνάνε ένα φίλτρο, μία ημερομηνία που μετράται ανάμεσες ημερολογίων), και ρωτήσαμε κάθε εργαλείο δέκα φορές με όλο το αρχείο. Omicron 100 στις 100; Claude Sonnet 5.5 100; Claude Opus 5.5 100; GPT-6 Sol στην υψηλή του ρύθμιση 100; GPT-6 Luna 96 στην υψηλή του ρύθμιση και 37 στην προεπιλογή (όλα χωρίς αναζήτηση στο διαδίκτυο). Σε τρίτο αρχείο, μια σύμβαση εφοδιασμού με κλιμακωτές τιμές, το Omicron σκόραρε 98 στις 100 (ένα βήμα στρογγυλοποίησης ΦΠΑ, δύο φορές), ίδιο με το Sonnet; Opus και Sol 100. Το σημείο δεν είναι η κατάταξη: σε σκληρές ερωτήσεις ανάγνωσης και αρίθμησης, το ιδιωτικό μοντέλο στον δικό μας εξοπλισμό ταυτίζεται με τα πληρωμένα εργαλεία στο cloud, άρα η επιλογή ανάμεσά τους είναι για το πού πηγαίνει το αρχείο, όχι για τις απαντήσεις.
Σε χρήση σε ένα ερευνητικό κέντρο στη Κρήτη.
Σε Μάιο του 2026, ένα παρτί φασμάτων που έπαιρνε περίπου δύο εβδομάδες για ανάλυση στο χέρι έγινε σε λεπτά, και το αποτέλεσμα ταιρούσε στενά με το δίκιο του ερευνητή (το preprint μας, ένα εργαστήριο). Μεταξύ 20 Απριλίου και 18 Οκτωβρίου 2026, 16 άτομα εκτός της βασικής μας ομάδας πληκτρολόγησαν 8.716 μηνύματα στην πλατφόρμα; σε κάθε μία εβδομάδα, 4 έως 9 από αυτά την χρησιμοποιούσαν (μετρημένα 19 Οκτωβρίου 2026).
02Μία διαδικασία
Η μέθοδος του οργάνου σας, γραμμένη μαζί με όσους τη χρησιμοποιούν, χτισμένη σε ένα εργαλείο που δουλεύει τον ίδιο τρόπο κάθε φορά που καλείται, εγκατεστημένη δίπλα στον υπολογιστή του ίδιου του οργάνου, και βαθμολογημένη σε μετρήσεις που έχετε ήδη αναλύσει στο χέρι πριν πληρώσετε το δεύτερο μισό.