Per far girare l'AI in locale l'hardware si sceglie partendo dal lavoro: quale modello, quanti utenti nello stesso momento e quanto veloci devono essere le risposte. Per pochi utenti bastano sistemi compatti come un Mac con memoria unificata o un mini PC NVIDIA DGX Spark; per un reparto servono workstation con GPU professionali; per tutta l'azienda o modelli molto grandi, server con acceleratori AI. La scelta corretta richiede una prova sul modello e sul carico reali.
Cosa definire prima di scegliere l'hardware?
Un sistema che riassume documenti per un professionista ha requisiti molto diversi da uno che risponde insieme a decine di dipendenti. Prima del computer si definiscono:
- l'attività: testi, consultazione dei documenti, classificazione, codice, immagini;
- il modello: famiglia, dimensione, precisione numerica, memoria richiesta, compatibilità software;
- gli utenti contemporanei: quanti lo usano davvero nello stesso momento, non quanti hanno un account;
- il contesto: quanti documenti e quanto testo entrano in una singola richiesta;
- le prestazioni: tempo della prima risposta, velocità di scrittura, richieste servite al minuto;
- affidabilità e sicurezza: continuità, backup, monitoraggio, rete, accessi e permessi.
Come funziona la memoria nei sistemi AI?
Mentre lavora, il sistema tiene in memoria i pesi del modello e altri dati di lavoro, come la cache delle chiavi e dei valori (KV cache), che cresce con la lunghezza del testo e con il numero di richieste.
Dimensione del modello
I parametri del modello pesano molto sulla memoria, ma da soli non decidono la qualità. Un modello più piccolo, recente e ottimizzato può andare meglio di uno più grande per un compito preciso.
Quantizzazione
I modelli si possono usare in formati a precisione ridotta che occupano meno memoria. Così modelli più grandi girano su hardware meno costoso, con compromessi su qualità e compatibilità da verificare.
VRAM, RAM e memoria unificata
Le GPU dedicate hanno la loro memoria (VRAM). I sistemi Apple Silicon e quelli con chip NVIDIA GB10 hanno invece una memoria unificata, condivisa tra CPU e GPU. Un modello può anche appoggiarsi alla memoria di sistema (offloading), ma di solito rallenta.
Banda di memoria e calcolo
Non bastano tanti gigabyte: la velocità della memoria, la potenza di calcolo e il software di inferenza decidono quanto in fretta arrivano le risposte.
Utenti contemporanei
Ogni richiesta in parallelo consuma memoria e calcolo, e aumenta i tempi di risposta se le risorse non bastano.
Quali sono i livelli di hardware AI per le aziende?
| Livello | Esempi di hardware | Uso tipico |
|---|---|---|
| 1. Sistemi compatti | Mac con memoria unificata, mini PC con NVIDIA GB10 (DGX Spark) | Sviluppo, prove e piccoli gruppi |
| 2. Workstation AI | Una o più GPU professionali NVIDIA, AMD o Intel | Modelli più impegnativi, reparti, più utenti insieme |
| 3. Server AI | Server con GPU professionali o acceleratori per data center, fino al cluster | Servizio centralizzato, molti utenti, modelli molto grandi |
I livelli sono orientativi: non esiste un numero di utenti oltre il quale si deve passare per forza al livello successivo.
Livello 1: Mac e sistemi compatti, quando bastano?
Mac mini e Mac Studio con Apple Silicon
Nei Mac con chip Apple la memoria è unificata, accessibile da CPU e GPU. Nelle configurazioni con molta memoria possono caricare modelli che non entrerebbero in molte schede grafiche consumer: secondo Apple il Mac mini arriva a 64 GB di memoria unificata e il Mac Studio a 512 GB.
- Vantaggi: poco ingombro, consumi di solito contenuti, software ottimizzato per Apple Silicon (per esempio MLX).
- Limiti: memoria non espandibile dopo l'acquisto, compatibilità da verificare con i programmi richiesti, prestazioni che dipendono dal modello. Tanta memoria non vuol dire più velocità di una workstation con GPU dedicata.
NVIDIA DGX Spark e i sistemi con chip GB10
DGX Spark è la piattaforma compatta di NVIDIA basata su Grace Blackwell: CPU Arm a 20 core, GPU Blackwell e 128 GB di memoria unificata con 273 GB/s di banda, sistema operativo NVIDIA DGX OS basato su Ubuntu. Secondo NVIDIA una unità gestisce modelli fino a 200 miliardi di parametri, due unità collegate fino a circa 400 miliardi. Sono capacità massime dichiarate dal produttore, non una garanzia di velocità o di uso pratico di ogni modello di quella taglia.
È adatto a prototipi, inferenza locale e adattamento dei modelli. Va verificata la compatibilità dei programmi con il processore Arm e con il sistema Linux.
Diversi produttori offrono sistemi con lo stesso chip GB10: NVIDIA DGX Spark, MSI EdgeXpert, ASUS Ascent GX10, Lenovo ThinkStation PGX, Dell Pro Precision with GB10 e HP ZGX Nano AI Station. Non sono identici: cambiano memoria offerta, disco, porte di rete, raffreddamento, sicurezza, software, garanzia e assistenza. Li confrontiamo nel catalogo dei mini PC NVIDIA DGX Spark; le configurazioni precise si controllano con il codice prodotto prima del preventivo.
Quando conviene un sistema compatto?
Quando lo spazio è poco, gli utenti contemporanei sono pochi e il carico previsto sta nella memoria e nella potenza della macchina. Prima di acquistare conviene provare un modello rappresentativo del lavoro reale.
Livello 2: quando serve una workstation AI con GPU professionali?
Una workstation AI monta una o più GPU dedicate, ognuna con la propria memoria. Con più GPU e un software compatibile si può dividere il modello tra le schede o servire più richieste in parallelo. Attenzione: la memoria delle schede non si somma automaticamente in un unico spazio per qualsiasi programma; il risultato dipende da collegamento tra le schede, architettura e tecniche supportate dal software.
- NVIDIA RTX PRO 6000 Blackwell: 96 GB di memoria GDDR7 con correzione degli errori (ECC); nella versione Max-Q, secondo NVIDIA, fino a quattro schede in un sistema.
- AMD Radeon AI PRO R9700: 32 GB di GDDR6, presentata da AMD per l'inferenza in locale e per workstation con più GPU. Il software va verificato su driver e piattaforma ROCm: non tutto ciò che nasce per CUDA (NVIDIA) gira subito su AMD.
- Intel Arc Pro B60 e B70: 24 e 32 GB di memoria; Intel documenta con il Project Battlematrix configurazioni fino a otto B60. Da verificare driver, software e modelli ottimizzati.
Cosa controllare prima di comprare una workstation multi-GPU?
- compatibilità tra scheda madre, BIOS, GPU e sistema operativo;
- slot e linee PCIe disponibili, spazio fisico;
- potenza dell'alimentatore e linea elettrica;
- raffreddamento e rumore;
- supporto del motore di inferenza scelto;
- accessi, monitoraggio, aggiornamenti e backup.
Per molte aziende una workstation con una sola GPU adatta è più equilibrata di una configurazione multi-GPU complessa.
Livello 3: quando serve un server AI?
Quando il servizio deve essere disponibile a molti utenti, usare modelli molto impegnativi o garantire una continuità più alta. Non tutti i server AI hanno otto acceleratori: esistono server con una o poche GPU professionali, come la NVIDIA RTX PRO 6000 Blackwell Server Edition da 96 GB, e piattaforme ad alta densità per data center:
- NVIDIA HGX B300: otto GPU Blackwell Ultra con 288 GB di memoria HBM3e ciascuna, collegate con NVLink;
- AMD Instinct MI355X: 288 GB di HBM3E per GPU, piattaforma a otto GPU con 2,3 TB complessivi;
- Intel Gaudi 3: 128 GB di HBM2e per acceleratore, in configurazioni da otto schede per server.
Nei sistemi con più acceleratori le interconnessioni ad alta velocità distribuiscono calcolo e dati: gli acceleratori collaborano, ma non diventano una singola GPU.
E se serve un cluster?
Più server si collegano per reggere carichi maggiori o modelli distribuiti. Un cluster richiede progettazione di rete, orchestrazione, software distribuito, disponibilità del servizio e gestione dei guasti. Sono investimenti importanti e non sono la scelta più efficiente per la maggior parte delle PMI.
Cosa serve in sala server?
- alimentazione adeguata e gruppo di continuità (UPS);
- raffreddamento e ventilazione;
- rack e spazio fisico;
- cablaggio, rete e separazione delle reti;
- ridondanza, accessi amministrativi e sicurezza;
- monitoraggio, aggiornamenti e assistenza.
Quale software serve per far girare i modelli?
L'hardware è solo una parte. Serve un programma che carichi il modello, riceva le richieste e restituisca le risposte.
- Ollama: installa ed esegue modelli locali con un'API; gira su Mac, su Linux con GPU NVIDIA e AMD e su DGX Spark. Adatto a prove e piccoli ambienti: di base ogni modello elabora una richiesta alla volta.
- LM Studio: gestisce i modelli locali con un'interfaccia grafica e li espone ad altre applicazioni; sui Mac usa MLX. Le sue condizioni permettono l'uso in azienda senza licenza a pagamento, solo per uso interno.
- llama.cpp: il motore su cui si basano molti di questi strumenti, per CPU, GPU e memoria condivisa.
- vLLM e SGLang: motori pensati per servire molte richieste insieme; NVIDIA ne pubblica le guide per DGX Spark. Vanno verificati su modello, acceleratore e ambiente.
- NVIDIA NIM, AMD ROCm e Intel OpenVINO non sono la stessa cosa: NIM offre microservizi pronti per modelli supportati, ROCm è la piattaforma di calcolo di AMD, OpenVINO è il toolkit di Intel per ottimizzare ed eseguire modelli.
Interfaccia web e utenti
Sopra il motore si mette un'interfaccia via browser, per esempio Open WebUI, con utenti, ruoli e permessi. Un'interfaccia simile a ChatGPT non dà automaticamente le stesse capacità dei servizi cloud commerciali.
Come si collega un modello AI agli archivi aziendali?
Un modello locale non conosce i documenti sul NAS o sul server. Per farglieli consultare si realizza un sistema RAG (Retrieval-Augmented Generation), che:
- indicizza i documenti autorizzati;
- cerca le parti pertinenti a una domanda;
- le passa al modello come contesto;
- genera la risposta, possibilmente con i riferimenti ai documenti.
Deve rispettare i permessi di accesso e restare aggiornato quando cambiano i documenti. Le risposte vanno comunque controllate: trovare il documento giusto non elimina il rischio di errori o interpretazioni sbagliate.
Un'AI in locale è sicura per definizione?
No. Elaborare in locale dà più controllo, ma la sicurezza dipende da tutta la soluzione:
- protezione di accessi e account, separazione delle reti, eventuale cifratura;
- aggiornamenti software, autorizzazioni sui documenti, backup e ripristino;
- registro delle attività dove serve;
- connessioni verso servizi esterni, connettori e telemetria;
- documenti o istruzioni malevole che cercano di manipolare il modello (prompt injection).
Un sistema locale con servizi esterni o telemetria attivi può comunque mandare dati fuori dall'azienda: l'isolamento va verificato tecnicamente. Ce ne occupiamo insieme alla sicurezza informatica aziendale.
Come si confrontano i costi con il cloud?
| Voce | Cosa valutare |
|---|---|
| Hardware | Computer, GPU o acceleratori, memoria, disco e rete |
| Installazione | Sistema operativo, driver, configurazione |
| Software | Eventuali licenze e compatibilità |
| Integrazioni | Archivi, applicativi, API e permessi |
| Energia | Consumi sotto carico e a riposo |
| Manutenzione | Aggiornamenti, monitoraggio, assistenza |
| Continuità | Backup, UPS e ridondanza, se servono |
| Evoluzione | Cambio di modello, più utenti |
Il confronto con il cloud va fatto sullo stesso periodo e sullo stesso carico. Il cloud conviene spesso quando l'uso è occasionale o servono funzioni avanzate già pronte; l'AI locale diventa interessante quando serve controllare l'elaborazione, avere costi d'uso più prevedibili o reggere un carico costante con modelli adatti. Non esiste una convenienza valida per tutti.
Come scegliere? Tre esempi
Studio professionale con pochi utenti
Consultare documenti e preparare bozze tenendo il controllo dei dati: servizio cloud professionale, sistema compatto in locale o soluzione ibrida, in base alla riservatezza dei documenti.
Azienda con più reparti
Un assistente interno che consulta procedure e documentazione: sistema centralizzato, anche su workstation AI, con ricerca nei documenti, gestione degli accessi e controllo del carico.
Carichi AI intensivi
Modelli impegnativi, molte richieste insieme, servizio continuo: server con acceleratori o architetture distribuite, dopo aver misurato prestazioni, disponibilità e costi richiesti.
Sono esempi orientativi, non configurazioni da comprare senza verifica. Per questo proponiamo di partire con un progetto pilota su una sola attività, come spieghiamo nella pagina sull'intelligenza artificiale per aziende a Cagliari.
Come può aiutarti VAP Informatica?
A Cagliari dal 2007, seguiamo computer, reti, server e sicurezza delle aziende. Partiamo dall'analisi di programmi, archivi, rete e hardware che avete già; poi proponiamo la fornitura e la configurazione delle parti concordate, con sicurezza, integrazioni e assistenza. Per le infrastrutture più complesse prevediamo una progettazione specifica e, quando serve, il supporto dei produttori.
Non partire dall'acquisto di una GPU: parti dal lavoro che il sistema deve svolgere.
Richiedi un preventivo per l'hardware AI
Dicci cosa vorreste far fare all'AI e quante persone la useranno: ti ricontattiamo per valutare insieme la soluzione.
FAQ
Quanta memoria serve per un modello AI in locale?
Dipende dal modello, dal formato (quantizzazione), dalla lunghezza dei testi e dagli utenti contemporanei. Con la quantizzazione modelli grandi occupano molta meno memoria. Il dimensionamento giusto si fa provando il modello sul carico reale.
Un Mac basta per l'AI in azienda?
Per un professionista o un piccolo gruppo spesso sì, grazie alla memoria unificata. Con molti utenti contemporanei o modelli molto pesanti una workstation con GPU dedicate o un server sono più adatti.
Con più GPU la memoria si somma?
Non automaticamente. Con un software compatibile il modello si può dividere tra più GPU o si possono servire più richieste in parallelo, ma il risultato dipende dal collegamento tra le schede e dalle tecniche supportate.
Che differenza c'è tra Ollama e vLLM?
Ollama è semplice e adatto a prove e piccoli ambienti; di base elabora una richiesta alla volta per modello. vLLM è pensato per servire molte richieste insieme con più efficienza, ma richiede più configurazione e hardware compatibile.
Quanto costa un sistema AI in locale?
Dipende da hardware, software, integrazioni, energia e assistenza, non solo dal prezzo del computer. Ti facciamo un preventivo su misura dopo aver capito il lavoro da svolgere: compila il modulo in questa pagina o scrivici su WhatsApp.
Leggi anche
Link utili ai nostri servizi
Server, reti e sicurezza per l'AI in azienda, a Cagliari e in tutta la Sardegna.
Assistenza server a Cagliari Configurazione rete aziendale Soluzioni IT per aziende
Richiedi un preventivo a Cagliari
Compila il modulo di richiesta o scrivici su WhatsApp cosa deve fare l'AI e quanti la useranno: ti diciamo quale hardware ha senso. Il negozio è in Via Basilicata 43, dal lunedì al venerdì 9:30–13:00 e 16:30–19:30.
Dati di prodotto dalle pagine ufficiali dei produttori, controllate il 16 novembre 2026. Prodotti, configurazioni, software e capacità dichiarate cambiano nel tempo: ogni specifica si conferma con documentazione ufficiale e codice prodotto al momento del preventivo.
Vuoi vedere le altre soluzioni che installiamo? Scopri tutte le tecnologie VAP Informatica.