El iPhone 17 Pro desafía límites: ejecuta un modelo de IA de 400.000 millones de parámetros con solo 12 GB de RAM.
Un logro inesperado en móviles
El nuevo motor de inferencia Flash-MoE desarrollado por Daniel Woods permite ejecutar modelos gigantescos de IA, como Qwen 3.5 397B, en dispositivos con memoria limitada. Woods logró hacerlo en un MacBook Pro con 48 GB de RAM, y otros desarrolladores han empujado aún más los límites con modelos aún mayores.
“Lograr que un iPhone 17 Pro ejecute un modelo de casi 400.000 millones de parámetros, aunque lento, abre un futuro prometedor para la IA local.”
El iPhone 17 Pro y su sorprendente capacidad
Un desarrollador llamado Anemll ejecutó exitosamente un modelo IA de 400B en el iPhone 17 Pro, a pesar de que la velocidad es lenta (0,6 tokens por segundo), demostrando que la memoria unificada de 12 GB no es un límite infranqueable para la IA local.
- Modelo Qwen 3.5 397B corriendo en MacBook con 48 GB RAM.
- Modelo 400B ejecutado en iPhone 17 Pro con 12 GB, velocidad lenta pero funcional.
- Uso del disco SSD rápido como memoria sustituta para modelos grandes.
- Potencial para IA local sin depender de potentes servidores en la nube.
Importancia para el futuro de la IA y la privacidad
Este método permite usar modelos gigantes en dispositivos modestos, reduciendo costos y reforzando la privacidad, pues los datos nunca salen del dispositivo local. Apple ya había anticipado estas posibilidades en un estudio anterior.
La clave para que funcione bien está en el acceso rápido a unidades SSD; las mejoras tecnológicas en SSD PCIe 5.0 son un factor decisivo para la fluidez de estos modelos.
Este avance marca un paso clave hacia la democratización y privacidad en el uso de la IA local, abriendo un horizonte donde no se dependa exclusivamente de la nube.
Conclusión final.
Fuente: Xataka
