[MASOCH-L] Ajuda com Storage, iSCSI e LVM.

[Vinicius Lage]

Jorge,

Se voce rodar um pvscan e depois um vgscan ele não se acerta com os novos
devices ?

Ja tive servidores com mais de 40 devices via fiber channel e em alguns
reboots eles apareciam com letras diferentes .. mas depois do pvscan e
vgscan tudo voltava a funcionar normalmente ...

porem era em lvm normal e nao no clvm

-- Vini

Em 20 de abril de 2012 12:01, Jorge Luiz Corrêa
<jorge at acmesecurity.org>escreveu:

>
>
> Bom dia lista. Gostaria de obter alguma luz para um problema
> relacionado ao uso de um storage com iSCSI e LVM.
>
> Cenário: um storage
> Dell Powervault MD3200i
> 7 servidores R710 (uso em cluster com Pacemaker
> + Corosync)
> Objetivo: servidores executam máquinas virtuais; dados estão
> no storage.
> Ubuntu Server 11.10
>
> O storage possui RAID e dois grupos de
> disco, pois há discos 7.2k e 10k. É utilizado iSCSI para acesso ao
> storage. Após as configurações de target e initiador, os grupos de disco
> do storage apareceram para o sistema operacional. Nesta ocasião, eram
> sdB e sdC. Foram criados então as partições do tipo LVM e então os PVs.
> Para a criação dos PVs utilizamos o UUID do disco, não as referências a
> sdb e sdc. PVs criados, criamos um VG para posterior criação dos LVs e
> início do uso do disco, de fato.
>
> Isto funcionou por um tempo, nos
> primeiros teste. Os 7 servidores conseguiam utilizar o storage, montar
> volumes LVM, etc. O problema começou a partir do momento que reiniciamos
> um servidor. O problema está justamente na detecção do dispositivo
> SCSI.
>
> Algumas máquinas passaram a detectar sdC e sdD, não mais sdB e
> sdC. Quando isto ocorre, o LVM não funciona e, consequentemente, o
> servidor não acessa nada no storge. Depois de uma reinicialização geral,
> percebemos que todos os servidores passaram a detectar sdc e sdd. Logo
> todos pararam de acessar o storage.
>
> Algumas
> informações:
>
> /var/log/kern.log
>
> Apr 19 16:57:15 rcas071 kernel: [
> 86.516639] scsi7 : iSCSI Initiator over TCP/IP
> Apr 19 16:57:15 rcas071
> kernel: [ 86.775777] scsi 7:0:0:0: Direct-Access DELL MD32xxi 0770 PQ: 1
> ANSI: 5
> Apr 19 16:57:15 rcas071 kernel: [ 86.775924] scsi 7:0:0:0:
> Attached scsi generic sg3 type 0
> Apr 19 16:57:15 rcas071 kernel: [
> 86.775928] scsi 7:0:0:0: Embedded Enclosure Device
>
> Apr 19 16:57:15
> rcas071 kernel: [ 86.776264] scsi 7:0:0:0: Failed to get diagnostic page
> 0x8000002 <<<===ERRO=========
> Apr 19 16:57:15 rcas071 kernel: [
> 86.776310] scsi 7:0:0:0: Failed to bind enclosure -19
> <<<==============ERRO=========
>
> Apr 19 16:57:15 rcas071 kernel: [
> 86.778945] scsi 7:0:0:10: Direct-Access DELL MD32xxi 0770 PQ: 0 ANSI:
> 5
> Apr 19 16:57:15 rcas071 kernel: [ 86.779099] sd 7:0:0:10: Attached
> scsi generic sg4 type 0
> Apr 19 16:57:15 rcas071 kernel: [ 86.779102] sd
> 7:0:0:10: Embedded Enclosure Device
> Apr 19 16:57:15 rcas071 kernel: [
> 86.780490] sd 7:0:0:10: [sdb] 3509329920 512-byte logical blocks: (1.79
> TB/1.63 TiB)
> Apr 19 16:57:15 rcas071 kernel: [ 86.783672] sd 7:0:0:10:
> [sdb] Write Protect is off
> Apr 19 16:57:15 rcas071 kernel: [ 86.783675]
> sd 7:0:0:10: [sdb] Mode Sense: 77 00 10 08
> Apr 19 16:57:15 rcas071
> kernel: [ 86.784840] sd 7:0:0:10: [sdb] Write cache: enabled, read
> cache: enabled, supports DPO and FUA
> Apr 19 16:57:15 rcas071 kernel: [
> 86.784918] scsi 7:0:0:11: Direct-Access DELL MD32xxi 0770 PQ: 0 ANSI:
> 5
> Apr 19 16:57:15 rcas071 kernel: [ 86.785098] sd 7:0:0:11: Attached
> scsi generic sg5 type 0
> Apr 19 16:57:15 rcas071 kernel: [ 86.785100] sd
> 7:0:0:11: Embedded Enclosure Device
> Apr 19 16:57:15 rcas071 kernel: [
> 86.787111] sd 7:0:0:11: [sdc] 3904946176 512-byte logical blocks: (1.99
> TB/1.81 TiB)
> Apr 19 16:57:15 rcas071 kernel: [ 86.790242] sd 7:0:0:11:
> [sdc] Write Protect is off
> Apr 19 16:57:15 rcas071 kernel: [ 86.790250]
> sd 7:0:0:11: [sdc] Mode Sense: 77 00 10 08
> Apr 19 16:57:15 rcas071
> kernel: [ 86.791173] sdb: sdb1
> Apr 19 16:57:15 rcas071 kernel: [
> 86.791332] sd 7:0:0:11: [sdc] Write cache: enabled, read cache: enabled,
> supports DPO and FUA
> Apr 19 16:57:15 rcas071 kernel: [ 86.791356] scsi
> 7:0:0:31: Direct-Access DELL Universal Xport 0770 PQ: 0 ANSI: 5
> Apr 19
> 16:57:15 rcas071 kernel: [ 86.791530] scsi 7:0:0:31: Attached scsi
> generic sg6 type 0
> Apr 19 16:57:15 rcas071 kernel: [ 86.791533] scsi
> 7:0:0:31: Embedded Enclosure Device
> Apr 19 16:57:15 rcas071 kernel: [
> 86.791898] scsi 7:0:0:31: Failed to get diagnostic page 0x8000002
> Apr 19
> 16:57:15 rcas071 kernel: [ 86.791949] scsi 7:0:0:31: Failed to bind
> enclosure -19
> Apr 19 16:57:15 rcas071 kernel: [ 86.793669] sd 7:0:0:10:
> [sdb] Attached SCSI disk
> Apr 19 16:57:15 rcas071 kernel: [ 86.794274]
> sdc: sdc1
> Apr 19 16:57:15 rcas071 kernel: [ 86.796305] sd 7:0:0:11:
> [sdc] Attached SCSI disk
> .
> .
> .
> Apr 19 16:57:50 rcas071 kernel: [
> 122.193975] sd 7:0:0:10: [sdb] Synchronizing SCSI cache
> Apr 19 16:57:50
> rcas071 kernel: [ 122.285973] sd 7:0:0:11: [sdc] Synchronizing SCSI
> cache
> Apr 19 16:57:50 rcas071 kernel: [ 120.461129] connection1:0:
> detected conn error (1020)
> .
>
> Parece que inicialmente ele detecta como B
> e C, dá um problema de conexão e posteriormente ele detecta como C e
> D.
>
> Dúvidas e questões:
>
> - pode ser problema na ordem de inicialização
> das coisas? se o iscsi tentar iniciar sem a rede estar up, provavelmente
> vai dar problema, certo?
> - como o ubuntu detecta os dispositivos scsi?
> vejo regras no udev ... alguém saberia me informar uma regra para forçar
> sempre as letras corretas?
> - como o LVM lida com estas referências para
> sdX? Quando as letras trocam de B e C para C e D o storage é acessado.
> Dá para ver isso via cfdisk, consigo ver as partições. No entanto,
> qualquer comando LVM não funciona, como o lvs, lvdisplay etc. Logo,
> presumo que o LVM refere-se a sdX, pois quando troca não funciona. Tem
> como configurar isso? O único arquivo que encontrei foi um backup de
> metadados do LVM em /etc/lvm/archive que realmente mostra sdb e
> sdc!
>
> Alguém ja teve problemas semelhantes? Alguma luz?
>
> Obrigado desde
> já!
>
> Abraços!
>
>
> __
> masoch-l list
> https://eng.registro.br/mailman/listinfo/masoch-l
>