Hola linuxeros, vengo con una curiosidad e interés (para mí que soy autodidacta y curioso por lo menos), espero que los más experimentados y sabios no me tiren con la biblioteca 
, me tope con esto de la IA local y en particular con LM Studio, estuve indagando la posibilidad de instalarlo en Linux (uso aun ubuntu por comodidad e inexperiencia, pido perdón a los maestros por todo estas pequeñeces 
). No encontré entre los temas tratados acerca de mi curiosidad, así que me someto al supremo tribunal exponiéndolo 
. Pense en colocarlo en la categoría software y no me anime, @5ombr4 te dejo a ti la tarea de colocarlo donde corresponda. Mi consulta es: ya lo experimentaron, opiniones al respecto, sugerencias, criticas, ayudas…etcétera, etcétera. Gracias. 
He estado testeando y a día de hoy sale mucho más práctico usar la IA online. Es más inteligente y más rápida. Aunque ahora todas las empresas de IA van a pérdidas, habrá que ver en el futuro cuando empiecen a limitar todo sin conocimiento.
La IA local está muy capada por la gráfica que tengas. Puedes hacer offload a la CPU pero termina siendo demasiado lento. A mí me interesan los modelos abliterated o descensurados, por curiosidad básicamente. Tengo 8GB de VRAM en una AMD bastante vieja y corro Qwen 3.5 9B. También hay modelos muy decentes de Google, Meta, Deepseek… cada mes sale uno que adelanta al último. Pero por lo general funcionan mejor para consultas ligeras.
Te recomiendo también desinstalar LM Studio (no es open source) y probar con Jan.
Estuve intentando hacerlo pero las versiones que consigo son muy muy básicas. La cantidad de ram y la GPU que se necesita para tener algo que realmente sirva elevan los costos muchísimo. Con un procesador más o menos actual (Intel de 14ta gen en adelante y su equivalencia en la competencia) y 16Gb de ram solo se consiguen correr modelos que equivalen a consultarle a la IA por cosas que aparecen en la Wikipedia. El razonamiento que se consigue es similar a la IA de hace cuatro años atrás. Esto hace que sea mucho más conveniente automatizar tu mismo el trabajo antes que usar la IA (que por cierto, todo esto es para que el equipo corra el modelo y nada más. Al resto de tareas te tocaría hacerlas con otro equipo y consultarle a la IA de manera remota).
Mi conclusión es que la IA en local solo rinde con equipos con hardware más pesado, algo que invertirías en un servidor propiamente dicho y si a ese mismo servicio lo utilizas para ganar dinero. No es para tener en casa porque si (si es para aprender solamente, dale para adelante).
Con la IA la cantidad de RAM es igual de importante que la GPU dedicada, ya que todo el modelo debe cargarse en ram, ocupando más espacio que en el almacenamiento y si vas a utilizar un modelo que además “aprenda”, esto necesita ser “más grande” aún.
Por cierto: A la tarea de ubicar el post donde corresponda lo puede hacer cualquier usuario con el nivel de confianza 3 (y creo que con el 2 también), por lo que no debo ser necesariamente yo. De todas maneras, me parece que va bien acá o en Software. Cualquiera de ambos.
Si ya lo intente la IA en local ha mejorado muchísimo, eso si necesitas el hardware adecuado para correrlo los mejores modelos en local son los Gemma de Google son pequeños y dan rendimiento de modelos grandes usando Ollama, los Gemma incluso se pueden usar en teléfonos asi te recomiendo que empieces por ahí.
yo lo e intentado en copilar llama.cpp y me abian salido muchos errores, estaba utilizando duck.ai para que me lo explicara(ctr+c, ctr+b) y nada muchos errores, al final pues elimine la carpeta y ya.
Gracias por tus aportes
Gracias, tengo un par de máquinas, en particular soy fan de AMD, ASUS, NVidia, no tengo por el momento una placa de video, tengo ryzen de la serie 7000 y 8000, con 64 y 32 gb, uso tanto Linux como windows… me resulto curioso el hecho que se pudiera correr una IA local con pocos recursos por eso me puse a investigar…
Gracias a todos por sus respuestas, aportes y sugerencias
Yo he intentado en copilar llama.cpp y me habian salido muchos errores,
estaba utilizando duck.ai para que me lo explicara(ctr+c, ctr+b) y nada
muchos errores, al final pues elimine la carpeta y ya.
Hola, igual este vídeo te ayuda.
Un saludo
Si, con Ollama se pueden descargar agentes bien bien austeros de entre 4 y 8 GB en disco (tené en cuenta que para correr un modelo de 4Gb en disco, necesitas 5Gb en ram solo para correrl. Ojalá te sirva de referencia para modelos más pesados). Con respecto al procesador, el equipo va a destinar lo que no use en el resto de tareas para eso, por lo que el rendimiento puede variar según para que mas utilices el equipo.
Espero que te sirva la info.
Yo hice una prueba con ollama, y pues no va mal, pero creo que la memoria dura muy poco por que apenas hice tres o cuatro preguntas y parecia que se agota, entonces pues no esta tan mal en ejecucion pero si queda muy corta en memoria. Pero creo que por ahora no hay forma de que tengas mas memoria, mas que agregando mas vram pero para un usuario casero es dificil