Αντί να φορτώσουν ολόκληρο το μοντέλο στη μνήμη RAM, οι προγραμματιστές χρησιμοποίησαν μια προσέγγιση που ενεργοποιεί μόνο τμήματα του μοντέλου κάθε φορά, ενώ μεταφέρει δεδομένα από τον αποθηκευτικό χώρο της συσκευής στην GPU της. Αυτή η λύση επιτρέπει στο μοντέλο να λειτουργεί με την περιορισμένη μνήμη των 12 GB του τηλεφώνου, αν και η απόδοση είναι εξαιρετικά αργή, παράγοντας περίπου 0,6 tokens ανά δευτερόλεπτο.
Αν και δεν είναι πρακτικό για καθημερινή χρήση, η επίδειξη υπογραμμίζει την ταχεία πρόοδο της τεχνητής νοημοσύνης στις συσκευές. Υποδηλώνει ότι με περαιτέρω βελτιστοποίηση, ισχυρά μοντέλα τεχνητής νοημοσύνης θα μπορούσαν τελικά να λειτουργούν τοπικά σε smartphones, προσφέροντας οφέλη όπως βελτιωμένη προστασία της ιδιωτικότητας και λειτουργικότητα εκτός σύνδεσης.
Running 400B model on iPhone!
— Anemll (@anemll) March 23, 2026
0.6 t/s
Credit @danveloper @alexintosh @danpacary @anemll pic.twitter.com/LZCLqsvSUP
Το PS5 μπορεί να "τρέξει" τίτλους του PS3, όμως κάτι τέτοιο δεν είναι στα πλάνα της Sony
Για την καλύτερη εμπειρία σου θα θέλαμε να σε παρακαλέσουμε να το απενεργοποιήσεις κατά την πλοήγησή σου στο site μας ή να προσθέσεις το enternity.gr στις εξαιρέσεις του Ad Blocker.
Με εκτίμηση, Η ομάδα του Enternity