LLM locali: come usare l’AI sul proprio computer

Un LLM locale è un modello di intelligenza artificiale che esegue le richieste sul tuo computer. Scarichi i pesi del modello, li apri con un programma compatibile e usi l’AI per lavorare sui tuoi documenti o sul codice. Quando l’intera elaborazione resta sul dispositivo, il prompt non deve passare da un servizio cloud.

Per un’attività, la domanda utile è concreta: quale lavoro puoi svolgere meglio tenendo il modello vicino ai tuoi dati? Un’app da sviluppare, un archivio da consultare e le recensioni di un ristorante hanno esigenze diverse. Questa guida spiega come scegliere gli strumenti, leggere i requisiti hardware e organizzare un primo test senza partire dall’acquisto di una workstation.

LLM locali: come funziona l’AI sul proprio computer

Il modello contiene i parametri appresi durante l’addestramento. Il runtime è il programma che usa quei parametri per calcolare una risposta. L’interfaccia è la finestra di chat o l’applicazione attraverso cui invii la richiesta. Puoi cambiare interfaccia mantenendo lo stesso modello, oppure provare modelli diversi nello stesso programma.

Usare un LLM locale significa fare inferenza: il modello riceve un input e genera un output. L’addestramento è un’operazione distinta. Per chiedere il riassunto di un file non devi addestrare un modello da zero. Il file può entrare nel contesto della conversazione oppure essere recuperato da un sistema di ricerca documentale.

Il contesto è l’insieme di informazioni che il modello può usare durante una richiesta. Comprende il prompt e può includere la conversazione precedente, i documenti recuperati o il risultato di un comando. I token sono le unità con cui il modello tratta il testo: un token può essere una parola, una parte di parola o un segno. Il numero di token influenza il lavoro da svolgere.

Per cominciare, separa ciò che il modello sa già da ciò che deve trovare nei tuoi file. Se vuoi conoscere l’orario aggiornato di un ristorante, il modello deve leggere una fonte aggiornata. Se vuoi riscrivere una descrizione del menu, puoi fornirgli direttamente il testo. Un modello locale conserva gli stessi limiti informativi di un modello cloud quando manca la fonte necessaria.

DwarfStar, Ollama, LM Studio e llama.cpp: quale strumento scegliere

LM Studio è un’applicazione con interfaccia grafica per caricare modelli ed eseguire conversazioni locali. È un punto di partenza pratico se vuoi lavorare in una finestra di chat. La documentazione spiega che, dopo aver scaricato i modelli, la chat e la consultazione dei documenti possono funzionare offline. Anche il server locale può esporre un’API compatibile con OpenAI. La ricerca e il download dei modelli richiedono invece una connessione.

Ollama è adatto a integrare modelli in script e applicazioni. Puoi usarlo come servizio a cui un programma invia richieste. Distingui sempre i modelli eseguiti localmente dalle funzioni cloud: la stessa applicazione può includere entrambe le modalità. Ollama documenta un’impostazione per disattivare le funzioni cloud, utile quando il progetto deve elaborare tutto sul dispositivo.

llama.cpp è un progetto di inferenza in C e C++ con supporto per diversi tipi di hardware. Ha strumenti da terminale e un server per le integrazioni. È una scelta da valutare quando vuoi intervenire sui parametri di esecuzione o distribuire il lavoro tra CPU e GPU. Richiede più familiarità tecnica rispetto a una chat grafica.

DwarfStar è un motore di inferenza specializzato in un gruppo selezionato di modelli. Integra anche un server HTTP e un agente per il codice. Il progetto usa file GGUF preparati per il proprio motore e documenta configurazioni Metal, CUDA e ROCm. Per i modelli principali indica hardware con molta memoria; alcune configurazioni usano SSD streaming. Il repository descrive il software come beta e aggiorna frequentemente il supporto. Prima di installarlo, leggi la guida della tua piattaforma e i requisiti del modello scelto.

Confronto pratico dei programmi per LLM locali

Strumento	Primo uso da valutare	Cosa controllare
LM Studio	Chat e consultazione di documenti	Modello scaricato, memoria e configurazione locale
Ollama	Script e API per un’applicazione	Runtime locale, eventuali funzioni cloud e accesso al server
llama.cpp	Inferenza con configurazione tecnica	Backend hardware, formato e opzioni di esecuzione
DwarfStar	Modelli selezionati e agente per il codice	GGUF del progetto, piattaforma supportata e memoria richiesta

Per lanciare un sito web, puoi iniziare con un’interfaccia grafica e qualche richiesta sul progetto. Quando vuoi collegare l’AI a un’app, serve un’API. Se devi servire più utenti, il lavoro comprende anche la gestione delle richieste e l’accesso al server. L’installazione del modello è soltanto una parte dell’applicazione.

Quanta memoria serve per un LLM locale? RAM, VRAM e quantizzazione

La RAM è la memoria di sistema. La VRAM è la memoria di una GPU dedicata. In un’architettura a memoria unificata, CPU e GPU accedono a un insieme condiviso di memoria. Su un PC con GPU dedicata, sommare RAM e VRAM sulla carta non descrive la velocità del modello: conta anche dove vengono eseguiti i calcoli e quanto spesso i dati devono spostarsi.

Il primo ingombro sono i pesi. La quantizzazione riduce la precisione numerica con cui vengono memorizzati e può ridurre la memoria necessaria. La documentazione di Hugging Face sulla quantizzazione spiega i diversi metodi e la loro compatibilità hardware. Il risultato va valutato sul compito: una riduzione dell’ingombro può modificare la qualità delle risposte.

Un esempio aiuta a leggere le dimensioni. Per 8 miliardi di parametri memorizzati tutti a 4 bit, il solo calcolo dei pesi è 8 miliardi × 4 ÷ 8, cioè circa 4 GB decimali. È una stima aritmetica dei pesi. Il file reale può includere metadati, scale e parti a precisione diversa. Durante l’esecuzione servono inoltre spazio per il contesto, buffer e memoria per il sistema operativo.

La KV cache conserva risultati intermedi usati nella generazione. Il suo consumo dipende dall’architettura e dalla strategia di cache, oltre che dal contesto e dalle sessioni servite. Hugging Face documenta le strategie di cache e i relativi compromessi. Per un assistente che legge documenti lunghi, prova richieste della lunghezza prevista nel lavoro reale.

I modelli Mixture of Experts, o MoE, attivano una parte degli esperti per ciascun token. Questo può ridurre il calcolo rispetto all’attivazione di tutti i parametri. Il numero di parametri attivi, però, non descrive da solo lo spazio necessario a conservare il modello. Nella scheda tecnica cerca sia i parametri totali sia quelli attivi.

Alcuni motori possono spostare parte del lavoro o dei dati fuori dalla memoria della GPU. DwarfStar documenta lo SSD streaming per determinate configurazioni. La velocità dipende anche dai dati letti dal disco e dalle impostazioni della cache. È una possibilità da misurare sul tuo sistema prima di usarla in un servizio quotidiano.

Come leggere i requisiti hardware senza fermarsi ai gigabyte

Voce	Che cosa determina	Prova utile
Memoria disponibile	Spazio per pesi e dati di esecuzione	Caricamento e richiesta con il contesto previsto
Banda della memoria	Velocità di trasferimento dei dati	Generazione sulla configurazione scelta
Capacità di calcolo	Lavoro eseguibile dal processore	Elaborazione di prompt lunghi
SSD e spazio disco	Conservazione dei modelli ed eventuale streaming	Caricamento e uso dei modelli che richiedono il disco

Prefill e decode: come capire se l’AI locale è veloce abbastanza

Il prefill è l’elaborazione del prompt e del contesto fornito al modello. Il decode è la generazione dei token della risposta. Un sistema può elaborare rapidamente un documento e scrivere più lentamente. Per valutare l’esperienza, misura anche quanto tempo passa prima del primo token visibile.

Una chat sulle descrizioni dei prodotti può avere un input breve e un output lungo. Un agente che legge il codice di un’app può ricevere molti file prima di rispondere. Se provi il computer soltanto con una domanda di due righe, il risultato dice poco sul secondo caso. Prepara richieste che somiglino al lavoro che vuoi affidargli.

La guida ai benchmark di DwarfStar riporta condizioni e misure di esecuzione. Quando confronti un risultato, annota modello e quantizzazione, oltre a hardware, lunghezza del contesto e impostazioni. Per un confronto diretto, mantieni uguali queste condizioni. Un numero di token al secondo senza la configurazione lascia fuori le informazioni necessarie a interpretarlo.

La velocità complessiva di un server con richieste simultanee è diversa dalla velocità percepita da ciascun utente. Il batching può cambiare il modo in cui il runtime usa la GPU. Per un’app aperta al pubblico, prova gli utenti contemporanei previsti e misura anche la coda delle richieste. Per un uso personale, conta soprattutto il tempo necessario a finire il tuo compito.

La qualità si misura sulle risposte corrette. Se il modello prepara una descrizione in dieci secondi e richiede cinque minuti di correzioni, il tempo di generazione è una misura incompleta. Includi nel test il lavoro di revisione. Per il codice, aggiungi l’esito dei test del progetto e controlla che la modifica risolva davvero il problema richiesto.

LLM locali e privacy: quando scegliere locale, cloud o una soluzione ibrida

Un modello eseguito sul dispositivo permette di elaborare i dati senza inviare il prompt a un provider per l’inferenza. Controlla comunque i componenti collegati alla chat. Una ricerca web, un plugin o un’API esterna possono aprire un flusso di dati separato. Anche i log e le conversazioni salvate richiedono una scelta su chi può consultarli.

Per un progetto locale, una best practice è documentare il percorso di un file dall’apertura alla risposta. Registra dove viene letto e dove vengono salvati i risultati. Con un archivio aziendale, controlla anche l’indice di ricerca e gli eventuali backup. Il server locale deve essere accessibile alle persone e alle applicazioni previste dal progetto.

Il cloud può essere una scelta pratica quando vuoi usare un modello disponibile tramite servizio e ridurre il lavoro di gestione hardware. Le condizioni sul trattamento dei dati cambiano tra prodotti e contratti. Evita di attribuire a tutti i servizi la stessa politica di addestramento: verifica le condizioni della specifica funzione che stai usando.

Una soluzione ibrida può tenere la consultazione dei documenti sul computer e inviare al cloud una richiesta costruita con dati selezionati. La selezione va progettata: togliere un nome dal testo può lasciare altri elementi che identificano un cliente. Per un prototipo, usa dati sintetici e rendi visibile nell’interfaccia quale servizio riceve la richiesta.

Locale, cloud e ibrido: criteri di scelta

Configurazione	Quando valutarla	Lavoro da mettere in conto
Locale	Elaborazione sul dispositivo e controllo della versione	Hardware, aggiornamenti, accessi e qualità
Cloud	Accesso a un servizio gestito e domanda variabile	Condizioni sui dati, costi d’uso e dipendenza dal servizio
Ibrido	Compiti distribuiti in base ai dati e al modello necessario	Selezione dei dati e regole di instradamento

Come usare i LLM locali per un’app, un ristorante o un centro estetico

Chi vuole lanciare un’app per le prenotazioni può usare un LLM locale per interrogare la documentazione del progetto e preparare modifiche al codice. Il primo esperimento può essere una funzione piccola: validare un campo o scrivere un test per una prenotazione duplicata. Lavora su una copia del progetto e controlla il risultato con i test. Password e credenziali di produzione devono restare fuori dal materiale consegnato all’agente.

Per lanciare un sito web, il compito può essere editoriale. Fornisci il catalogo dei servizi e chiedi una prima descrizione per ogni pagina, con un formato comune. Il modello può aiutare a individuare informazioni mancanti, per esempio un prezzo o una condizione di consegna. Chi gestisce l’attività conferma i dettagli prima di pubblicare. Se il sito è già online, puoi collegare questo lavoro alla strategia SEO locale e al Google Business Profile.

Un ristorante a Torino può raccogliere le recensioni e cercare argomenti ricorrenti: tempi di attesa, prenotazioni, giudizi sui piatti e richieste sulle opzioni alimentari. Il modello prepara una classificazione e propone risposte basate sulle informazioni del locale. Il personale controlla i casi ambigui. Le indicazioni sugli allergeni devono provenire dalle schede confermate dal ristorante.

Un centro estetico a Padova può partire dalle schede dei trattamenti e dalle domande che arrivano alla reception. Il modello prepara risposte su durata, preparazione all’appuntamento e organizzazione del servizio. Per questo esperimento bastano documenti operativi senza dati personali dei clienti. Il personale approva i testi, poi li usa come base per le FAQ del sito e per le risposte quotidiane.

Uno studio professionale può costruire un assistente per cercare nei documenti interni. Il sistema recupera i passaggi pertinenti e li consegna al modello, che prepara la risposta. Questo metodo è chiamato RAG, retrieval augmented generation. Chiedi che la risposta mostri il documento e il passaggio usato: chi legge può aprire la fonte e controllare se il testo sostiene davvero l’affermazione.

Quattro esperimenti per iniziare con l’AI locale

Attività	Compito iniziale	Materiale	Misura del risultato
App o sito web	Una modifica al codice o una pagina di servizio	Progetto di test e documentazione	Test superati e tempo di revisione
Ristorante a Torino	Classificazione delle recensioni	Recensioni e informazioni confermate	Classificazioni corrette su un campione
Centro estetico a Padova	FAQ sui servizi	Schede dei trattamenti senza dati dei clienti	Risposte approvate dal personale
Studio professionale	Ricerca in un archivio delimitato	Documenti con accessi definiti	Risposte sostenute dai passaggi citati

Open weight, open source e licenze: cosa cambia tra i modelli

Open weight indica che i pesi sono resi disponibili. Questo permette di valutare l’esecuzione del modello su un’infrastruttura propria, secondo la sua licenza. Open source ha un significato più ampio. La definizione dell’Open Source Initiative per l’AI comprende condizioni sulle libertà d’uso e modifica, oltre all’accesso agli elementi necessari per modificare il sistema. La disponibilità di un file di pesi, da sola, non dimostra che il sistema soddisfi quella definizione.

La disponibilità di modelli scaricabili attraversa più paesi. Qwen3 ha pubblicato modelli dense e MoE con licenza Apache 2.0. OpenAI pubblica la famiglia gpt-oss come modelli open weight. Sono esempi documentati di approcci disponibili, utili a evitare una scelta basata soltanto sul paese del produttore.

Per un’app commerciale, controlla la licenza del checkpoint preciso. La licenza del runtime è separata dalla licenza del modello. Se distribuisci un prodotto con pesi inclusi, verifica anche le condizioni di redistribuzione. Salva la versione della licenza insieme alla scheda del modello che hai scelto.

Il controllo della versione ha un effetto pratico. Puoi mantenere un checkpoint per un flusso di lavoro già collaudato e provare il successivo su un ambiente separato. Tieni un registro con il modello e la quantizzazione usati, il runtime e le impostazioni. Quando una risposta cambia, questo registro aiuta a capire quale elemento è stato aggiornato.

Come iniziare con i LLM locali: un progetto pilota prima dell’hardware

La prima best practice è scegliere un compito che puoi valutare. “Migliorare il marketing” è troppo largo. “Preparare risposte a venti domande sui trattamenti usando queste schede” ha un input e un risultato controllabili. Venti casi sono un campione di partenza proposto per il pilota, da ampliare prima di un uso più esteso.

1. Scegli il compito e descrivi come lo svolgi oggi.
2. Prepara venti casi, includendo richieste difficili e informazioni mancanti.
3. Prova un modello compatibile sul computer disponibile.
4. Misura risposte corrette, tempi di generazione, tempo di revisione e consumo di memoria.
5. Confronta il risultato con il metodo attuale e con un servizio cloud sullo stesso campione.

Un consiglio pratico emerge anche dal confronto su r/LocalLLaMA sull’uso quotidiano dei modelli locali. L’utente inboundmage racconta le difficoltà incontrate con memoria e latenza; nei commenti, ozzeruk82 suggerisce di valutare llama.cpp quando una parte del modello deve essere eseguita usando la RAM di sistema. Le esperienze descrivono configurazioni specifiche. Il consiglio da portare nel pilota è provare anche il runtime adatto al tuo hardware prima di comprare una nuova GPU.

Per il costo, usa i tuoi dati: spesa hardware attribuita al progetto, energia e ore di manutenzione. Confrontali con la spesa cloud per lo stesso volume di lavoro. Se il computer era già disponibile, indica separatamente il costo aggiuntivo e quello di un eventuale acquisto. Il tempo risparmiato dopo la revisione è una voce utile per capire se il progetto conviene.

Se il pilota richiede più memoria, hai una ragione misurata per valutare un acquisto. Se il problema è la qualità sul compito, prova un altro modello o modifica il materiale fornito. Per una classificazione basata su poche regole stabili, prova anche una soluzione senza LLM: il confronto ti dice se l’AI aggiunge valore a quel lavoro.

Posso usare un LLM locale senza internet?

Sì, dopo aver scaricato modello e software, una configurazione interamente locale può eseguire inferenza offline. Le funzioni che consultano servizi esterni richiedono una connessione. Controlla la modalità effettivamente selezionata nel programma.

Serve una GPU per iniziare?

Alcuni runtime supportano l’inferenza su CPU. Le prestazioni dipendono dal modello e dal computer. Un primo test con un modello piccolo permette di valutare il compito prima di scegliere hardware dedicato.

Un modello locale è sempre più economico del cloud?

Il costo dipende dall’uso. Un carico occasionale e un servizio attivo ogni giorno hanno conti diversi. Inserisci hardware, energia e gestione nel confronto con il costo del servizio cloud.

Il modello impara automaticamente dai miei documenti?

Inserire un documento nella chat o in un sistema RAG non equivale ad addestrare il modello. Il documento fornisce informazioni alla richiesta. Il fine tuning è un processo distinto che modifica parametri del modello.

Posso usarlo per pubblicare contenuti SEO?

Puoi usarlo per preparare bozze e lavorare sui materiali dell’attività. Servono fonti aggiornate per i fatti e una revisione prima della pubblicazione. Per organizzare i contenuti destinati alla ricerca e alle risposte AI, puoi approfondire la guida su SEO e GEO per farsi trovare da ChatGPT.