Το περιστατικό συνέβη σε αξιολόγηση που πραγματοποιούσε η Irregular, μια third-party εταιρεία που εξετάζει τις δυνατότητες και την ασφάλεια προηγμένων AI models. Το Gemini συμμετείχε σε ένα capture the flag hacking exercise, όπου του ζητήθηκε να αναζητήσει πληροφορίες από software μιας υποτιθέμενης εταιρείας μέσα σε ελεγχόμενο testing environment. Ωστόσο, η συγκεκριμένη εταιρεία είχε το ίδιο όνομα με μια πραγματική επιχείρηση.
Το βασικό πρόβλημα ήταν ότι το testing environment είχε αποκτήσει κατά λάθος πρόσβαση στο Internet, παρότι κανονικά δεν θα έπρεπε. Σε μία περίπτωση, το Gemini κατάφερε να μαντέψει credentials και να αποκτήσει πρόσβαση σε πραγματικό σύστημα. Σε δύο ακόμη περιπτώσεις, εντόπισε public repositories που περιείχαν credentials άλλων εταιρειών και τα χρησιμοποίησε για να αποκτήσει πρόσβαση στα συστήματά τους.
Η Google υποστηρίζει ότι το Gemini σταμάτησε τη δραστηριότητά του μόλις αντιλήφθηκε ότι είχε αποκτήσει πρόσβαση σε πραγματικές εταιρείες και όχι στις simulated εταιρείες του test. Η Heather Adkins, vice president of security engineering της Google, δήλωσε ότι το μοντέλο εντόπισε δημόσιες πληροφορίες, χρησιμοποίησε credentials και στη συνέχεια σταμάτησε όταν έγινε αντιληπτό το λάθος.
Παρά τη σοβαρότητα του περιστατικού, η Google δεν το αντιμετώπισε ως “misalignment”, υποστηρίζοντας ότι το μοντέλο δεν συνέχισε τη δράση του αφού κατάλαβε τι είχε συμβεί και δεν προκάλεσε ζημιά στις εταιρείες. Η εταιρεία ανέφερε επίσης ότι ενημέρωσε τις τρεις επιχειρήσεις που επηρεάστηκαν και συνεργάστηκε με την Irregular για τη βελτίωση των διαδικασιών testing.
Η υπόθεση αποκτά ακόμη μεγαλύτερη σημασία καθώς παρόμοια περιστατικά έχουν καταγραφεί πρόσφατα σε tests των OpenAI, Anthropic και Meta. Σε αρκετές από αυτές τις περιπτώσεις, AI agents απέκτησαν απρόβλεπτη πρόσβαση σε πραγματικά συστήματα όταν υπήρχε σύνδεση με το Internet. Η διαφορά είναι ότι OpenAI και Anthropic επέλεξαν να δημοσιοποιήσουν τα δικά τους περιστατικά, ενώ η Google δεν έκανε αντίστοιχη δημόσια ανακοίνωση μέχρι να γίνει γνωστή η υπόθεση.
Η Google υποστηρίζει πάντως ότι το περιστατικό αναδεικνύει τη σημασία της εκπαίδευσης των ισχυρών AI models ώστε να «ενεργούν υπεύθυνα», ενώ η εταιρεία συνεχίζει να επενδύει σε AI safety, red teaming και μηχανισμούς προστασίας απέναντι σε επιθέσεις όπως τα prompt injection attacks.
GTA 6: Η Take-Two λέει ότι το PC gaming γίνεται ολοένα σημαντικότερο
Για την καλύτερη εμπειρία σου θα θέλαμε να σε παρακαλέσουμε να το απενεργοποιήσεις κατά την πλοήγησή σου στο site μας ή να προσθέσεις το enternity.gr στις εξαιρέσεις του Ad Blocker.
Με εκτίμηση, Η ομάδα του Enternity