{"id":257,"date":"2015-08-03T01:28:46","date_gmt":"2015-08-03T04:28:46","guid":{"rendered":"http:\/\/www.fernandosimon.com\/blog\/?p=257"},"modified":"2015-08-03T08:39:31","modified_gmt":"2015-08-03T11:39:31","slug":"patch-storage-server-e-ibs","status":"publish","type":"post","link":"https:\/\/www.fernandosimon.com\/blog\/patch-storage-server-e-ibs\/","title":{"rendered":"Patch Storage Server e Infiniband"},"content":{"rendered":"

O procedimento descrito aqui contempla a atualiza\u00e7\u00e3o da imagem 11.2.3.3.0 para a imagem 12.1.2.1.2 do Oracle Exadata. Aqui est\u00e3o descritos os procedimentos para o update do Storage Server e Switch Inifiband.<\/p>\n

Primeiro Passo Principal<\/strong><\/h2>\n

O primeiro passo de qualquer update para Oracle Exadata \u00e9 ler o Readme da vers\u00e3o e ler o t\u00f3pico \u201cKnow Issues\u201d que lista todos os poss\u00edveis erros que voc\u00ea pode encontrar. Isso n\u00e3o quer dizer que outros erros n\u00e3o podem acontecer, mas voc\u00ea tem um local com a solu\u00e7\u00e3o dos erros conhecidos. Ent\u00e3o leia a Nota 2014306.1.<\/p>\n

<\/p>\n

Segundo Passo Principal<\/strong><\/h2>\n

Depois de ler a nota da vers\u00e3o voc\u00ea pode seguir com o download do patch do Storage Server. Os procedimentos de atualiza\u00e7\u00e3o est\u00e3o descritos no Readme do patch e devem ser lidos (mais de uma vez). \u00c9 aqui que o processo de update come\u00e7a efetivamente. Os passo descritos abaixo seguem o Readme do patch (alguns adicionais que sempre utilizo).<\/p>\n

Update Storage Passo 1<\/strong><\/p>\n

O primeiro passo do update \u00e9 executar um Exacheck no ambiente. N\u00e3o entrarei em detalhes sobre o que ele \u00e9, mas a execu\u00e7\u00e3o dele garante que diversas verifica\u00e7\u00f5es ser\u00e3o feitas no seu Exadata e um relat\u00f3rio ser\u00e1 gerado no final.<\/p>\n

Aqui, fiz download do Exacheck na pasta \/tmp do n\u00f3 1 do Database Server e executei ele. O log da execu\u00e7\u00e3o deste passo pode ser visto aqui<\/a>. Revise o resultado e corrija poss\u00edveis erros.<\/p>\n

Update Storage Passo 2<\/strong><\/p>\n

Para o processo de update precisamos de um arquivo com a lista de todos os Storage Servers, aqui criei um arquivo chamado de \u201ccell_group\u201d, o seu conte\u00fado pode ser visto aqui<\/a>. Observe que somente o hostname da rede de ger\u00eancia \u00e9 necess\u00e1rio. Tamb\u00e9m criei um arquivo \u201cdbs_group\u201d com todos os meus Database Servers.<\/p>\n

Update Storage Passo 3<\/strong><\/p>\n

Este n\u00e3o \u00e9 um passo que est\u00e1 listado no processo de update mas pode ajudar muito. Segundo o processo descrito no Readme do patch voc\u00ea n\u00e3o deve iniciar o procedimento via ssh nem ilom. Mesmo conectando em um Database server e disparando o patch de l\u00e1 (que \u00e9 o modo correto) voc\u00ea pode ter problemas com a comunica\u00e7\u00e3o entre o seu computador e o servidor (ela ser perdida) e o processo de ser interrompido.<\/p>\n

Por isso, eu utilizo vnc server do Database Server e disparo o update atrav\u00e9s desta conex\u00e3o. Fa\u00e7o isso, pois se a conex\u00e3o entre o meu computador e o servidor tiver problemas, o update continua e voc\u00ea pode resgatar de onde parou. Inclusive nos primeiros updates do Oracle Exadata essa era uma das formas recomendadas.<\/p>\n

Para instalar o vnc server no Database server (rodando a vers\u00e3o 5 do Oracle Linux) voc\u00ea pode seguir as notas MOS 123470.1<\/a> e MOS 735767.1<\/a>. O log da execu\u00e7\u00e3o deste passo pode ser visto aqui<\/a>. Neste log observe os rpm\u2019s (que fiz download do reposit\u00f3rio oficial da Oracle) instalados, verifique que modifiquei a resolu\u00e7\u00e3o para 1024×768 (no arquivo vncservers) e que criei uma vncpassword para deixar a conex\u00e3o mais segura.<\/p>\n

Update Storage Passo 4<\/strong><\/p>\n

Para que seja poss\u00edvel voc\u00ea iniciar o update a partir de um Database Server o usu\u00e1rio root deste servidor conectar em todos os Storage servers sem informar a senha. O log da execu\u00e7\u00e3o deste passo pode ser visto aqui<\/a>.<\/p>\n

Verifique no log que no primeiro momento a equival\u00eancia n\u00e3o funcionou. Para corrigir executei o comando presente o Readme para ajustar a equival\u00eancia e que ap\u00f3s isso o teste funcionou.<\/p>\n

Update Storage Passo 5<\/strong><\/p>\n

Antes de parar qualquer servi\u00e7o ou processo verifique se o seu Grid est\u00e1 com o repair time<\/em> correto (3.6 horas ou mais), que n\u00e3o est\u00e1 fazendo qualquer opera\u00e7\u00e3o e t\u00eam todos os discos presentes. Caso tenha qualquer disco faltando n\u00e3o continue, se alguma opera\u00e7\u00e3o estiver em andamento voc\u00ea deve esperar ela terminar. O log da execu\u00e7\u00e3o deste passo pode ser visto aqui<\/a>.<\/p>\n

Update Storage Passo 6 <\/strong><\/p>\n

Verifique se n\u00e3o existe qualquer erro de hardware em qualquer Storage Server. Se voc\u00ea tiver algum n\u00e3o continue, abra uma chamado para substitui\u00e7\u00e3o do hardware. Caso seja obrigat\u00f3rio o update abra uma SR com a Oracle e verifique se o update pode ser aplicado.<\/p>\n

Utilizei o comando \u201clist alerthistory<\/em>\u201d para verificar isso e o log da execu\u00e7\u00e3o pode ser visto aqui<\/a>. No meu caso, todos os alertas estavam sanados.<\/p>\n

Update Storage Passo 7<\/strong><\/p>\n

Com os requisitos b\u00e1sicos supridos podemos copiar o patch para uma pasta do Database Server e descompactar, no Readme este passo estava mais adiante mas adiantei ele. Aqui utilizei a pasta \u201c\/u01\/patch\u201d como local do arquivo, nesta pasta tamb\u00e9m copiei os arquivos com a lista de host de Storage Server e Database Server. O log da execu\u00e7\u00e3o deste passo pode ser visto aqui<\/a>.<\/p>\n

Update Storage Passo 8<\/strong><\/p>\n

Um update do Storage Server pode ser aplicado de duas formas: rolling<\/em> ou non-rolling<\/em>. No modo rolling<\/em> os seus bancos de dados podem estar online e o update \u00e9 aplicado de forma serial em cada Storage Server. No modo non-rolling<\/em> todos os bancos e Grid deve estar desligados e o update \u00e9 aplicado de forma paralela em todos os Storager Server, consequentemente \u00e9 bem mais r\u00e1pido mas voc\u00ea tem downtime do ambiente.<\/p>\n

Aqui eu apliquei o patch no modo \u201cnon-rolling\u201d e por isso todo o cluster Grid (em todos os n\u00f3s) foi desligado. O log da parada do grid (stop cluster \u2013all<\/em>) e do crs (stop crs<\/em>) pode ser visto aqui<\/a>.<\/p>\n

Update Storage Passo 9<\/strong><\/p>\n

Depois de desligar o Grid recomendo realizar um reset do Ilom de todos os Storage Servers com o comando \u201cipmitool bmc reset cold<\/em>\u201d. Sempre fa\u00e7o isso pois o processo de update tem um timer de controle para o reboot do Storage Server e caso a sua Ilom esteja muito tempo sem reboot ela pode demorar um pouco para voltar e o script de update \u201cacreditar\u201d que ocorreu um travamento. Isso n\u00e3o est\u00e1 descrito Readme, mas n\u00e3o influencia no processo de update. O log da execu\u00e7\u00e3o deste passo pode ser visto aqui<\/a>.<\/p>\n

Update Storage passo 10<\/strong><\/p>\n

Como estou aplicando em modo \u201cnon-rolling\u201d desliguei os servi\u00e7os do Exadata software em todos os n\u00f3s. O log da execu\u00e7\u00e3o deste passo pode ser visto aqui<\/a>.<\/p>\n

Update Storage Passo 11<\/strong><\/p>\n

Este passo serve para verificar se as vers\u00f5es m\u00ednimas para update est\u00e3o presentes, o retorno tem que ser maior que 11.2.2.2.0. Para verificar quais as vers\u00f5es das imagens dos Storage Servers e Database Servers do seu ambiente com os comandos \u201cimagehistory\u201d e \u201cimageinfo\u201d. O log da execu\u00e7\u00e3o deste passo pode ser visto aqui<\/a>. Neste mesmo log observe que verifiquei se nos Database Servers existe alguma vers\u00e3o do OFA instalado.<\/p>\n

Update Storage Passo 12<\/strong><\/p>\n

O procedimento de patch \u00e9 realizado atrav\u00e9s de um script que faz todos o trabalho de conectar em cada Storage Server e aplicar os comandos de update. Nas primeiras vers\u00f5es todos esses passos eram feitos manualmente e eram bem mais demorados e suscet\u00edveis a erros. O script \u00e9 chamado de \u201cpatchmgr\u201d e est\u00e1 localizado dentro do arquivo do patch.<\/p>\n

O primeiro passo efetivo do procedimento de patch \u00e9 realizar um reset de todos os Storage Servers com o comando \u201creset_force\u201d. O log da execu\u00e7\u00e3o deste passo pode ser visto aqui<\/a>.<\/p>\n

Observe que por padr\u00e3o o script n\u00e3o executa o comando imediatamente, voc\u00ea tem 60 segundos para cancelar. Depois de disparar o comando o patchmgr somente retorna ao console quando todos os n\u00f3s estiverem online novamente.<\/p>\n

Update Storage Passo 13<\/strong><\/p>\n

\u00c9 importante limpar o ambiente antes de iniciar o patch. Com este passo qualquer arquivo de patches passados (como arquivos ocultos que ficam na pasta \/boot dos Storage Server) s\u00e3o limpos. O log da execu\u00e7\u00e3o deste passo pode ser visto aqui<\/a>.<\/p>\n

Update Storage Passo 14<\/strong><\/p>\n

Antes de apresentar o resultado da execu\u00e7\u00e3o cabe uma explica\u00e7\u00e3o sobre alguns arquivos de log. Existem dois arquivos que podem ser acompanhados e nos d\u00e3o informa\u00e7\u00f5es da evolu\u00e7\u00e3o do patch, s\u00e3o os \u201cpatchmgr.stdout\u201d e \u201cpatchmgr.stderr\u201d.<\/p>\n

O primeiro arquivo armazena todas as sa\u00eddas em console que o patchmgr faz, \u00e9 um arquivo bem extenso mas para quem gosta de saber o que acontece ele \u00e9 uma boa fonte de informa\u00e7\u00e3o. O segundo arquivo armazena qualquer erro que ocorreu.<\/p>\n

Neste passo utiliza-se o patchmgr com a op\u00e7\u00e3o \u201cpatch_check_prereq\u201d para verificar se todos os requisitos est\u00e3o ok. Ele faz verifica\u00e7\u00f5es mais profundas do que a que fizemos previamente, como parti\u00e7\u00f5es e espa\u00e7o em disco em cada Storage Servers. O log da execu\u00e7\u00e3o deste passo pode ser visto aqui<\/a>.<\/p>\n

Se verificarmos o arquivo \u201cpatchmgr.stdout\u201d podemos observar o que foi feito pelo \u201cpatchmg\u201d. Voc\u00ea pode ver um exemplo deste arquivo aqui<\/a>.<\/p>\n

Update Storage Passo 15<\/strong><\/p>\n

Basicamente aplicamos o patch agora. O script patchmgr \u00e9 executado com o comando o par\u00e2metro \u201cpatch\u201d, observe que fiz este procedimento atrav\u00e9s da tela do VNC.<\/p>\n

Pode parecer simples mas o procedimento de patch \u00e9 complexo e apesar de apresentar somente 5 etapas o que acontece internamente \u00e9 interessante. De forma bem resumida o que ocorre automaticamente durante o procedimento \u00e9:<\/p>\n

    \n
  1. Verifica\u00e7\u00f5es s\u00e3o feitas (o precheck) e os servidores s\u00e3o reiniciados.<\/li>\n
  2. Os arquivos de patch s\u00e3o copiados para cada Storage Server.<\/li>\n
  3. O Linux \u00e9 atualizado (j\u00e1 que este patch atualiza do OEL5 para o OEL6) em uma parti\u00e7\u00e3o separada.<\/li>\n
  4. O Exadata Software \u00e9 atualizado e scripts s\u00e3o executados.<\/li>\n
  5. Scripts finais s\u00e3o executados e o Storage Server \u00e9 reiniciado.<\/li>\n
  6. Durante o reboot todos os firmwares s\u00e3o verificados e atualizados caso necess\u00e1rio: Ilom, discos, controladoras de discos, placas de rede, placas infiniband e placas Flash.<\/li>\n
  7. O Storage Server reinicia na vers\u00e3o correta da imagem com todos os servi\u00e7os operacionais.<\/li>\n<\/ol>\n

    Nesta galeria voc\u00ea pode ver as imagens deste procedimento. Observe que ao fundo deixei o log do patchmgr (stdout e stderr) e nas primeiras imagens pode ver que os arquivos est\u00e3o sendo copiados e os servidores reiniciados. Depois disso o arquivo de \u201cpatchmgr.stdout\u201d nos mostra que o \u201cinstall.sh \u2013nohup\u201d foi disparado e o reboot ocorre. Por fim se voc\u00ea acompanhar na Ilom dos Storage Servers ver\u00e1 que o reboot acontece. Se voc\u00ea acompanhar a Ilom dos Storage Server (recomendo, e pode abrir de todos os Storage Servers) prepare-se para reconectar v\u00e1rias vezes pois como ela \u00e9 atualizada cada um causa o reboot e revoga\u00e7\u00e3o de qualquer conex\u00e3o.<\/p>\n

    \t

    \n\n\t\t

    Exa-Patch-10<\/h3>\n\n\t\t
    \n\t\t\t\t\n\t\t\t\t\t\t\n\t\t<\/a>\n\n\t\t<\/div>\n\t\t
    \n\n\t\t\t
    \n\t\t\t\t\n\t\t\t\t\t<\/i>\n\t\t\t\t<\/a>\n\t\t\t<\/div>\n\n\t\t\t