La mejor manera de ejecutar LLMs de manera local

Se que los LLMs son en su gran mayoria privativos, pero dado que suelo usar el modelo Gemini me preguntaba cual es la mejor manera de usarlo

2 Me gusta

Yo personalmente no ejecutaría un llm en local, aparte de consumir mas recursos que minar bitcoin con procesador, la mayoría son privativos y no estoy dispuesto a instalarlos.

1 me gusta

No creo que la mayoria de modelos que pueden ejecutarse en local sean privativos.

pasate por Models – Hugging Face

3 Me gusta

LLM Bajo licencia AGPL 3.0? Acaso esto es un sueño? Gracias por la info, no sabia de ello, e incluso me quedan dudas.

2 Me gusta

Está hasta raro eso…

1 me gusta

Como es posible que pese mas el kernel linux que un llm ?

1 me gusta