01Το πρόβλημα όταν ρωτάς ένα μοντέλο
Ρωτήστε ένα chatbot την ίδια ερώτηση δύο φορές και μπορεί να ακολουθήσει δύο διαφορετικές προσεγγίσεις. Τέλος καλώς για ένα πρώτο σχέδιο. Γίνεται πρόβλημα όταν η απάντηση είναι μια μέτρηση, μια προθεσμία, ή ένας αριθμός που πρέπει να υπογράψει κάποιος.
02Τι κάνουμε αντί γι' αυτό
Επομένως δεν αφήνουμε την τεχνητή νοημοσύνη να αποφασίζει πώς γίνεται η δουλειά. Καθόμαστε μαζί με τους ανθρώπους που τη κάνουν και γράφουμε τα βήματα, τις ρυθμίσεις και τους κανόνες τους. Κάθε βήμα γίνεται εργαλείο που δουλεύει με τον ίδιο τρόπο κάθε φορά. Η τεχνητή νοημοσύνη απλώς διαλέγει το εργαλείο και συμπληρώνει τις λεπτομέρειες. Αν ένα αίτημα παραβιάζει τους κανόνες, σταματάει πριν εκτελεστεί. Στη δοκιμή μας του Οκτωβρίου, 22 από 30 αιτήματα που παραβίαζαν κανόνες σταμάτησαν πριν εκτελεστούν. Εργαζόμαστε για να κλείσουμε τους 8 που έπέρασαν.
Ένα εργαλείο εδώ είναι ένα πρόγραμμα που κάνει ένα βήμα της μεθόδου όπως το κάνει ο ειδικός: τα ίδια εισερχόμενα, ο ίδιος υπολογισμός, οι ίδιοι έλεγχοι, το ίδιο αποτέλεσμα. Δεν αυτοσχεδιάζει, και δεν γίνεται ευφυές. Το μοντέλο αποφασίζει ποιο εργαλείο και ποιες λεπτομέρειες. Το εργαλείο κάνει τη δουλειά. Όταν εμφανιστεί ένα καλύτερο ανοιχτό μοντέλο, το εντάσσουμε και τα εργαλεία σας μένουν ως έχουν.
03Τι βλέπετε όταν τρέχει
Κάθε αποτέλεσμα δείχνει από πού βγαίνει: ποια δεδομένα, ποιο βήμα, ποιος κανόνας. Το ίδιο θα κάνει και η έκθεση αποτελεσμάτων που θα πάρετε από εμάς.
04Πώς ξέρουμε ότι δουλεύει
Κάθε δοκιμή χρησιμοποιεί ένα πραγματικό δείγμα, την ίδια ερώτηση σε απλή γλώσσα για κάθε εργαλείο, και πολλά τρεχίματα, ώστε μια τυχερή απάντηση να μη περνάει ως αποτέλεσμα. Κάθε τρέξιμο είναι στη σελίδα αποδείξεων.
Πρώτη δοκιμή, Μάιος 2026
Πήραμε μια πραγματική μέτρηση από το εργαστήριο και τη δίναμε στο εργαλείό μας και σε τρεις κορυφαίες πλατφόρμες τεχνητής νοημοσύνης, όλες σε επί πληρωμή συνδρομές με κάθε δυνατότητα ενεργοποιημένη. Κάθε μία έλαβε το ίδιο αρχείο και την ίδια ερώτηση, τέσσερις φορές.
| Τρεχίματα | Ίδια απάντηση | Τι συνέβη | |
|---|---|---|---|
| Το εργαλείό μας | 4 | 4 από 4 | Το ίδιο αποτέλεσμα και στα τέσσερα τρεχίματα, 34 δευτερόλεπτα το καθένα. |
| GPT-5.5 | 4 | 0 από 4 | Είδε μία κορυφή σε ορισμένα τρεχίματα και δύο σε άλλα. Τα αποτελέσματά του μετακινούνταν έως 54,8% από τρέξιμο σε τρέξιμο. |
| Claude Sonnet 4.6 | 4 | 0 από 4 | Σε περισσότερα τρεχίματα μετρούσε το λάθος χαρακτηριστικό, και έβραζε τα όριά του διαφορετικά κάθε φορά. |
| Gemini 3.1 Pro | 0 από 4 χρήσιμα | 0 από 4 | Έκανε λάθος σε μια μετατροπή μονάδων κάθε φορά, οπότε κανένα από τα αποτελέσματά του δεν ήταν χρήσιμο. |
Επαναδοκιμή, Οκτώβριος 2026
Ο ίδιος τύπος δοκιμής με τα σημερινά εργαλεία, με πολλά περισσότερα τρεχίματα, και ένα δεύτερο όργανο. Με τα σημερινά εργαλεία η εικόνα είναι η ίδια με τον Μάιο: τα μοντέλα του cloud έδιναν διαφορετικό εκθέτη σχεδόν κάθε τρέξιμο. Το δικό μας εργαλείο έδωσε έναν.
| Τρεχίματα | Χρήσιμα | Ίδια απάντηση | Τι συνέβη | |
|---|---|---|---|---|
| Το εργαλείό μας μόνοχωρίς μοντέλο γλώσσας στον βρόχο | 100 | 100 | 100 από 100 | Μία τιμή κάθε φορά, 5 δευτ. ανά τρέξιμο. Σε ένα αρχείο δεύτερου ερευνητή: 100 από 100 μετά τη διόρθωση της 18ης Οκτ (98 από 100 πριν). |
| Omicron με το εργαλείό μαςμέσω της συνομιλίας | 100 | 94 | 93 από 94 | Το εργαλείο επέστρεψε μία τιμή. Το μοντέλο τη γράφει σε τέσσερα δεκαδικά σε 72 τρεχίματα και τη στρογγυλοποιεί σε 21. Στα 6 τρεχίματα σταματάει πριν την προσαρμογή. Σε ένα έδωσε άλλη τιμή ενώ η ίδια μας η δοκιμή βλαβών χτυπούσε την ίδια υπηρεσία. |
| Claude Opus 5.5agent με shell, επί πληρωμή συνδρομή | 10 | 10 | 4 διαφορετικές τιμές | 0,988–1,003. Γράφει και τρέχει τον δικό του κώδικα προσαρμογής κάθε φορά. |
| Claude Sonnet 5.5agent με shell, επί πληρωμή συνδρομή | 30 | 30 | 19 διαφορετικές τιμές | 0,97–1,03. Γράφει και τρέχει τον δικό του κώδικα προσαρμογής κάθε φορά. |
| GPT-6 Lunacommand-line tool του vendor, υψηλή λογική | 30 | 30 | 20 διαφορετικές τιμές | 0,69–0,93. |
| GPT-6 Lunacommand-line tool του vendor, default του vendor | 30 | 29 | 20 διαφορετικές τιμές | 0,73–1,21. Ένα τρέξιμο δεν έδωσε αποτέλεσμα. |
Δεύτερο όργανο: εικόνα ηλεκτρονικού μικροσκοπίου, κυρίαρχη περίοδος: η δική μας συνάρτηση έδωσε την ίδια τιμή και στα δύο αναφορικά τρεχίματα. GPT-6 Luna (default) έδωσε 9 διαφορετικές τιμές σε 30 τρεχίματα, 26 εντός της δεκτής γκάμας, μία με απάντηση 57 nm. Claude Sonnet 5.5 (agent) 11 διαφορετικές τιμές, 28 εντός.
Δοκιμή ιδιωτικότητας, Οκτώβριος 2026
Όταν τα δεδομένα δεν μπορούν να φύγουν, το μοντέλο που μένει είναι αυτό που μπορεί να απαντήσει.
Πολλοί φάκελοι δεν μπορούν να σταλούν σε εξωτερική υπηρεσία τεχνητής νοημοσύνης όπως είναι. Η ταυτότητα ενός πελάτη καλύπτεται από την υποχρέωση επαγγελματικού απορρήτου του δικηγόρου, τα προσωπικά δεδομένα από τον GDPR, οι τιμές ενός προμηθευτή από μια ρήση εμπορικού μυστικού. Έτσι χρησιμοποιήσαμε τρεις φανταστικούς φακέλους — μια αστική υπόθεση, μια εκστρατεία μετρήσεων εργαστηρίου, ένα συμβόλαιο προμήθειας — με 20 ερωτήσεις ο καθένας. Τα εξωτερικά εργαλεία είδαν τους φακέλους με τα προστατευμένα κομμάτια κρυμμένα. Το Omicron, που τρέχει στα δικά μας μηχανήματα, είδε ολόκληρο. Συγκρίναμε με το μοντέλο που κάθε vendor πουλάει περισσότερο. Στον νομικό φάκελο τρέξαμε και το κορυφαίο μοντέλο κάθε vendor, ώστε κανείς να μην πει ότι διαλέξαμε έναν αδύναμο αντίπαλο. Στις δώδεκα ερωτήσεις που εξαρτώνται από τα κρυμμένα κομμάτια, κανένα εξωτερικό εργαλείο δεν απάντησε ούτε σε μία, και κάθε ένα το είπε αντί να μαντεύει. Το Omicron απάντησε στο 97% των ερωτήσεων του νομικού φακέλου και στο σύνολό τους στους δύο άλλους. Ο πλήρης πίνακας είναι στη σελίδα αποδείξεων.
05Τι μετρούν οι δοκιμές — και τι όχι
Αυτές οι δοκιμές μετρούν τη συνέπεια, και τι μπορεί να απαντήσει κάθε εργαλείο με τα δεδομένα που του επιτρέπεται να δει. Δεν δείχνουν ότι το σύστημά μας είναι πιο ακριβές γενικά. Η δημοσίευση δεν υποστηρίζει ότι αυτές οι πλατφόρμες δεν μπορούν να δώσουν συνεπή αποτελέσματα. Μόνο ότι δεν το έκαναν, σε αυτή την εργασία, σε αυτά τα τρεχίματα. Τα ονόματα των μοντέλων και οι συνδρομές αλλάζουν συχνά, και οι ημερομηνίες είναι οι μόνες για τις οποίες μιλούν αυτά τα αποτελέσματα.
Η επιλογή της σωστής προσέγγισης παραμένει δουλειά του εξειδικευμένου, οπότε φτιάχνουμε τη δική του.
Κάθε τρέξιμο, με την είσοδό του και το δελτίο του, είναι στη σελίδα αποδείξεων