incrementare le prestazioni di un server NFS

[nik600]

Ciao a tutti

sto mettendo in piedi una infrastruttura con diversi servizi (mail,web,dns,db).
L'infrastruttura è composta da 3 server fisici (Dl380G6).

1 server particolarmente carozzato, con 8GB di RAM e 2 processori 4core viene usato come host ESXi4 su cui vengono virtualizzati 4 server:

mail
dns
storage
web2

Le altre 2 macchine con 6GB di RAM e 2 processori 2core vengono usate per

web1
db (mysql)

Attualmente sto facendo dei test con tutte le macchine sull'host ESXi, (vmware tools installati su tutte le macchine virutali - slackware 13)

Tutte le configurazioni e i dati dei vari servizi (apache,bind,postfix,mysql) sono montate tramite nfs sui vari server.

L'host ESXi monta due dischi SAS da 300 GB in raid 1 (il raid è fatto a livello di controller) su un HP Dl380G6. (doppia alimentazione,schede di rete ecc ecc)

Noto un grosso collo di bottiglia sull'nfs, in particolare la macchina nfs ha dei picchi di load alti, quello che mi preoccupa è che attualmente le macchine non stanno facendo quasi nulla, sto solo facendo dei test di importazione dei database sulla macchina mysql.
Noto che le query di delete massivo e import (su database che sono comunque di diverse centinaia di MB, alcuni milioni di righe) portano il load del server nfs a 3,4,5 con un evidente calo di prestazioni su tutti i servizi ad esso collegato.

Qualcuno di voi ha esperienza con configurazioni simili?
In particolare, vorrei capire se devo cambiare strada, ed eventualmente in che punto (non virtualizzare il server NFS, non usare proprio NFS, etc)

Vi ringrazio

ciao

[andy-x]

Non vorrei fare un OT ma stai facendo un ottimo lavoro con quelle "bestioline".
Non posso risolvere i tuoi problemi ma vorrei domandarti come monitorizzi i tuoi server con Slackware 13? E poi hai usato Ext4?
Scusa le domande ma ho recentemente installato un ML350 G6 al lavoro e tutti mi dicevano che Slackware non era adatta...... a me funziona benissimo anche in produzione. e tutti sono contenti.... speriamo mi aumentino lo stipendio

[daniele50]

Non virtualizzare l'NFS potrebbe essere una soluzione, ti riporto i casi (diversi ma paragonabili) che affronto durante il mio lavoro:

installo applicazioni web e normalmente le infrastrutture (dei clienti) sono così:
- application server: servlet container (apache tomcat) e web server (apache o iis);
- database server: mssql o oracle;

fatta questa premessa ti dico che virtualizzando l'application server va tutto bene, virtualizzando il database server invece il 90% delle volte ottengo dei colli di bottiglia sulla coda del disco del database server, anche se il disco della macchina virtuale e su una NAS collegato in fibra.

Paragono il mio caso al tuo perché virtualizzi la macchina che ospita mysql.

E se la macchina dedicata a 'web1' la usassi per mysql (migrando 'web1' su virtuale)?

In ogni caso virtualizzare l'NFS prestazionalmente parlando non è un'ottima scelta.

[nik600]

Ok grazie per il feedback.

Era un pò quello che mi aspettavo.

Il monitoraggio dei server lo faccio con SNMP (cacti).

Una macchina dedicata a mysql c'è già, il problema è il server nfs che è virtualizzato, e forse non mi sono spiegato ma per poter essere indipendente dalla macchina che gestisce il servizio, tutti i dati sono sull'NFS quindi una query su mysql comporta anche una lettura sull'NFS.

Potrei quindi provare a girare le carte in questo modo:

VIRTUALI:
web1
web2
mail
dns

FISICHE:
mysql
storage

[twister]

VIRTUALI:
web1
web2
mail
dns

FISICHE:
mysql
storage

Mi sembra la scelta più saggia, come sono collegate le varie macchine? Fibra o gigabit?
Comunque confermo le tue perplessità, nfs (come anche un iscsi) virtualizzato ha delle prestazioni molto basse, anche perché ESXi alla fine utilizza una sola scheda di rete per tutti i guest e fa una sorta di qos (ho abusato del termine, ma è tanto per rendere un po l'idea del modus operandi) dividendo le risorse hw per tutti i guest presenti, e tra queste anche le risorse della rete, la rete è l'unica cosa sulla quale non puoi fare tuning ad esempio assegnando un pool (almeno non con vSphere client).

[nik600]

Gigabit.

No a dire la verità sulla macchina ESXi ci sono 4 schede di rete e sono configurate in load-balancing-fault tolerance (così è in ESXi 4), non ti risulta?

Sto continuando a fare dei test, il problema comunque è proprio sull'NFS con la rete si migliora qualcosa (ho provato a cambiare i chunk read/write dell'NFS) ma se provo a scrivere 2 file da 1GB da 2 macchine diverse le prestazioni crollano.

In ogni caso, creodo che anche senza macchina virutalizzata, pur avendo dischi sas da 10k rpm se scrivo 2 file da 1GB le prestazioni crollano, o sbaglio?

Voglio dire, saranno sicuramente migliori di virtualizzare l'NFS, ma una architettura di questo tipo può tenere con l'NFS o il rischio è che sia comunque un collo di bottiglia?

Grazie

[twister]

Noon avevo capito che eri in load balancing.
Guarda io ho una situazione un po diversa, nel senso che ho un server di sharing fisico su nfs e trasferisco contemporaneamente file di grandi dimensioni senza problemi, su server dell con 8Gb di ram e dischi sas da 10k rpm, la stessa macchina fa da storage nfs per un po di macchine virtuali (web server, mysql, ftp ecc...) su ESXi4.

[nik600]

In load balancing è ESXi.

Ok buono a sapersi, allora provo a "fisicizzare" l'NFS .

PS ma l'nfs non dovrebbe richiedere molta RAM o sbaglio? sto pensando di lasciare 2 GB all'NFS e spostare gli altri 4 su ESXi o sul DB, giusto per non lasciarla inutilizzata.