[MASOCH-L] Ajuda com Storage, iSCSI e LVM.

[Jorge Luiz Corrêa]

Bom dia lista. Gostaria de obter alguma luz para um problema
relacionado ao uso de um storage com iSCSI e LVM.

Cenário: um storage
Dell Powervault MD3200i
7 servidores R710 (uso em cluster com Pacemaker
+ Corosync)
Objetivo: servidores executam máquinas virtuais; dados estão
no storage.
Ubuntu Server 11.10

O storage possui RAID e dois grupos de
disco, pois há discos 7.2k e 10k. É utilizado iSCSI para acesso ao
storage. Após as configurações de target e initiador, os grupos de disco
do storage apareceram para o sistema operacional. Nesta ocasião, eram
sdB e sdC. Foram criados então as partições do tipo LVM e então os PVs.
Para a criação dos PVs utilizamos o UUID do disco, não as referências a
sdb e sdc. PVs criados, criamos um VG para posterior criação dos LVs e
início do uso do disco, de fato. 

Isto funcionou por um tempo, nos
primeiros teste. Os 7 servidores conseguiam utilizar o storage, montar
volumes LVM, etc. O problema começou a partir do momento que reiniciamos
um servidor. O problema está justamente na detecção do dispositivo
SCSI.

Algumas máquinas passaram a detectar sdC e sdD, não mais sdB e
sdC. Quando isto ocorre, o LVM não funciona e, consequentemente, o
servidor não acessa nada no storge. Depois de uma reinicialização geral,
percebemos que todos os servidores passaram a detectar sdc e sdd. Logo
todos pararam de acessar o storage. 

Algumas
informações:

/var/log/kern.log

Apr 19 16:57:15 rcas071 kernel: [
86.516639] scsi7 : iSCSI Initiator over TCP/IP
Apr 19 16:57:15 rcas071
kernel: [ 86.775777] scsi 7:0:0:0: Direct-Access DELL MD32xxi 0770 PQ: 1
ANSI: 5
Apr 19 16:57:15 rcas071 kernel: [ 86.775924] scsi 7:0:0:0:
Attached scsi generic sg3 type 0
Apr 19 16:57:15 rcas071 kernel: [
86.775928] scsi 7:0:0:0: Embedded Enclosure Device

Apr 19 16:57:15
rcas071 kernel: [ 86.776264] scsi 7:0:0:0: Failed to get diagnostic page
0x8000002 <<<===ERRO=========
Apr 19 16:57:15 rcas071 kernel: [
86.776310] scsi 7:0:0:0: Failed to bind enclosure -19
<<<==============ERRO=========

Apr 19 16:57:15 rcas071 kernel: [
86.778945] scsi 7:0:0:10: Direct-Access DELL MD32xxi 0770 PQ: 0 ANSI:
5
Apr 19 16:57:15 rcas071 kernel: [ 86.779099] sd 7:0:0:10: Attached
scsi generic sg4 type 0
Apr 19 16:57:15 rcas071 kernel: [ 86.779102] sd
7:0:0:10: Embedded Enclosure Device
Apr 19 16:57:15 rcas071 kernel: [
86.780490] sd 7:0:0:10: [sdb] 3509329920 512-byte logical blocks: (1.79
TB/1.63 TiB)
Apr 19 16:57:15 rcas071 kernel: [ 86.783672] sd 7:0:0:10:
[sdb] Write Protect is off
Apr 19 16:57:15 rcas071 kernel: [ 86.783675]
sd 7:0:0:10: [sdb] Mode Sense: 77 00 10 08
Apr 19 16:57:15 rcas071
kernel: [ 86.784840] sd 7:0:0:10: [sdb] Write cache: enabled, read
cache: enabled, supports DPO and FUA
Apr 19 16:57:15 rcas071 kernel: [
86.784918] scsi 7:0:0:11: Direct-Access DELL MD32xxi 0770 PQ: 0 ANSI:
5
Apr 19 16:57:15 rcas071 kernel: [ 86.785098] sd 7:0:0:11: Attached
scsi generic sg5 type 0
Apr 19 16:57:15 rcas071 kernel: [ 86.785100] sd
7:0:0:11: Embedded Enclosure Device
Apr 19 16:57:15 rcas071 kernel: [
86.787111] sd 7:0:0:11: [sdc] 3904946176 512-byte logical blocks: (1.99
TB/1.81 TiB)
Apr 19 16:57:15 rcas071 kernel: [ 86.790242] sd 7:0:0:11:
[sdc] Write Protect is off
Apr 19 16:57:15 rcas071 kernel: [ 86.790250]
sd 7:0:0:11: [sdc] Mode Sense: 77 00 10 08
Apr 19 16:57:15 rcas071
kernel: [ 86.791173] sdb: sdb1
Apr 19 16:57:15 rcas071 kernel: [
86.791332] sd 7:0:0:11: [sdc] Write cache: enabled, read cache: enabled,
supports DPO and FUA
Apr 19 16:57:15 rcas071 kernel: [ 86.791356] scsi
7:0:0:31: Direct-Access DELL Universal Xport 0770 PQ: 0 ANSI: 5
Apr 19
16:57:15 rcas071 kernel: [ 86.791530] scsi 7:0:0:31: Attached scsi
generic sg6 type 0
Apr 19 16:57:15 rcas071 kernel: [ 86.791533] scsi
7:0:0:31: Embedded Enclosure Device
Apr 19 16:57:15 rcas071 kernel: [
86.791898] scsi 7:0:0:31: Failed to get diagnostic page 0x8000002
Apr 19
16:57:15 rcas071 kernel: [ 86.791949] scsi 7:0:0:31: Failed to bind
enclosure -19
Apr 19 16:57:15 rcas071 kernel: [ 86.793669] sd 7:0:0:10:
[sdb] Attached SCSI disk
Apr 19 16:57:15 rcas071 kernel: [ 86.794274]
sdc: sdc1
Apr 19 16:57:15 rcas071 kernel: [ 86.796305] sd 7:0:0:11:
[sdc] Attached SCSI disk
.
.
.
Apr 19 16:57:50 rcas071 kernel: [
122.193975] sd 7:0:0:10: [sdb] Synchronizing SCSI cache
Apr 19 16:57:50
rcas071 kernel: [ 122.285973] sd 7:0:0:11: [sdc] Synchronizing SCSI
cache
Apr 19 16:57:50 rcas071 kernel: [ 120.461129] connection1:0:
detected conn error (1020)
.

Parece que inicialmente ele detecta como B
e C, dá um problema de conexão e posteriormente ele detecta como C e
D.

Dúvidas e questões:

- pode ser problema na ordem de inicialização
das coisas? se o iscsi tentar iniciar sem a rede estar up, provavelmente
vai dar problema, certo?
- como o ubuntu detecta os dispositivos scsi?
vejo regras no udev ... alguém saberia me informar uma regra para forçar
sempre as letras corretas?
- como o LVM lida com estas referências para
sdX? Quando as letras trocam de B e C para C e D o storage é acessado.
Dá para ver isso via cfdisk, consigo ver as partições. No entanto,
qualquer comando LVM não funciona, como o lvs, lvdisplay etc. Logo,
presumo que o LVM refere-se a sdX, pois quando troca não funciona. Tem
como configurar isso? O único arquivo que encontrei foi um backup de
metadados do LVM em /etc/lvm/archive que realmente mostra sdb e
sdc!

Alguém ja teve problemas semelhantes? Alguma luz?

Obrigado desde
já!

Abraços!