Shrink ASM Diskgroup and Exadata Grid Disks

Here I will cover the shrink of ASM diskgroup in Exadata environment running VM’s. The process here is the opposite of what I wrote in the previous post, but have a tricky part that demands attention to avoid errors. The same points that you checked for extending are valid now: number the cells, disks per cell, ASM mirroring, and the VM that you want to change continue to be important, but we have more now. Besides that, the post shows how to verify (and “fix”) if you have something in the ASM internal extent map that can block the shrink.

More…

Increase size for Exadata Grid Disks

A quick article about a maintenance task for Oracle Exadata when you are using OVM and you divided your storage cell disks for every VM. Here I will show you how to extend your Grid Disks to add more space in your ASM diskgroup.

The first thing is being aware of your environment, before everything you need to know the points below because, they are important to calculate the new space, and to avoid do something wrong:

  • Number of cells in your appliance.
  • Number of disks for each cell.
  • Mirroring for your ASM.
  • The VM that you want to add the space.

The “normal” Exadata storage cell has 12 disks, the Extreme Flash version uses 8 disks per storage. If you have doubt about how many disks you have per storage cell, you can connect in each one and check the number of celldisks you have. And before continuing, be aware of Exadata disk division:

To do this change we execute three major steps: ASM, Exadata Storage, and ASM again.

More…

ZDLRA, since 2014

In Oracle Open World 2014 the Zero Data Loss Recovery Appliance (ZDLRA) was released and it changed MAA in many ways, but two principals: protection and backup. I watched the ZDLRA presentation and saw that matched with the needs that I had that time.

After OOW in 2014 I started the project (all phases, from conception, requirements until deployments and usage) that become (in 2015) the first ZDLRA installation in Brazil, and one of the first of the world too that use replicated ZDLRA to protect both sites (primary and standby) and many levels of databases (PRO, TST, DEV). The Oracle MAA at its finest was amazing: ZDLRA + Exadata + DG; everything integrated to protect both sites.

Because of the high design level of the project it was chosen to be one of the main presentation in Oracle Open World 2015 about ZDLRA, you can find the link of the presentation that I made together with ZDLRA dev team here. As told before, in this project was integrated two ZDLRA, two Exadata and DG to reach ZERO Recover Point Objective (RPO) and Recovery Time Objective (RTO) and beside that, reduce backup time. You can see the presentation to check the scope and other details.

More…

Exadata X8, Second look

Every year Oracle arrives and release new version of Exadata with a plenty of new things. We have the natural evolution from hardware (more memory, more cpu…) and sometimes news features from software side. The point for this post today it is not about the HW and SW things, but something is hidden in the small lines of the new X8.

More…

Reaching Exadata 18c

Here I cover in raw, undocumented and uncommented mode the process to update and upgrade your Exadata using the last version of everything. AND since Oracle 18c was released to use with Oracle Exadata (from SQL Maria), this post include the Oracle 18c upgrade for Grid Infrastructure and Oracle database binaries installation.

Since one friend was decommissioning one old Exadata X2 (running after the end of life), I used to do some tests and here you will find the commands, outputs, images that I use to (in order):

  • Apply the patch 12.1.0.2.180116 for Oracle Grid Infrastructure 12.1.
  • Update the Infiniband switches to last version 2.2.7-1.
  • Apply the patch for Exadata Storage Server using the last version, 18.1.4.0.0.180125.3.
  • Apply the patch for Exadata Database Servers using the last version, 18.1.4.0.0.180125.3
  • Upgrade the Oracle Grid Infrastructure 12.1 to Grid Infrastructure 12.2, applying PSU 12.2.0.1.180116 at same time.
  • Upgrade the Oracle Grid Infrastructure 12.2 to Oracle Grid Infrastructure 18c.
  • Install Oracle database binaries for Oracle Database 18c and Create a test Oracle Rac Instance.

Continue lendo…

Aplicando Patch no Exadata

O appliance Oracle Exadata é uma das tecnologias mais modernas para banco de dados Oracle, a união de Hardware e Software. Mas este software precisa ser atualizado de tempos em tempos você precisa aplicar o patch.

O time de Engineered Systems da Oracle disponibiliza os updates para serem aplicadas em toda a pilha: do Exadata Software aos binários do banco de dados. É tarefa do DMA acompanhar isso e deixar seu ambiente atualizado, muitas vezes (aqui no Brasil) estes updates são aplicados pelo time de ACS da Oracle, mas nada impede que você mesmo faça isso.

Este é o foco destes artigos, vou mostrar como proceder com um update completo do Oracle Exadata: Exadata Software, Infiniband, Linux, Update do Grid 11GR2 para 12C e Aplicação de BP nos binários do banco. Eu já descrevi sobre isso no meu blog a uns 3 anos atrás (aqui e aqui), mas muita coisa mudou desde aquela época.

Planejamento

De qualquer forma, antes de começar qualquer update (Oracle Exadata ou não) temos que planejar, verificar qual a versão que estamos e qual queremos aplicar.

Para o Oracle Exadata temos uma nota que contempla tudo isso e que é o início de qualquer update: Exadata Database Machine and Exadata Storage Server Supported Versions (Doc ID 888828.1). Nesta nota estão todas as informações importantes como documentação, as versões existentes, versões recomendadas e matriz de compatibilidade entre Exadata Software e binários do banco.

Então, o primeiro passo é o planejamento, ler e compreender esta nota, principalmente com as versões disponíveis e quais serão aplicadas. Outro ponto fundamental do planejamento é conhecer o seu ambiente, no meu caso a imagem que tenho aqui é a 11.2.3.3.0.

No tópico Exadata Storage Server 12c da nota identificamos que a última versão e que será aplicada aqui é a 12.1.2.1.2 (image version 12.1.2.1.2.150617.1) e composta pelos seguintes patches e docs:

  • Patch 20748218 – Storage server e InfiniBand
  • Patch 21151982 – Database server (para quem não utiliza OVM)
  • Readme – Note 2014306.1

Na mesma nota temos as versões do Grid Infrastructure e dos bancos de dados que são compatíveis com as imagens do Exadata. Como o meu planejamento inclui atualizar tudo para a última versão estes também serão atualizados.

Através da nota os seguintes updates serão realizados (e demonstrados aqui nestes artigos):

  • Update da imagem 11.2.3.3.0 para a 12.1.2.1.2 do Exadata (storage e bancos)
  • Upgrade da versão 11.2.0.4 BP 6 do Grid para a versão 12.1.0.2 BP 9
  • Update da versão 11.2.0.4 BP6 do banco de dados para a versão 11.2.0.4 BP 16

Pensando no appliance Oracle Exadata e na relação entre seus componentes o primeiro ponto a ser atualizado é a própria imagem do Exadata Storage Server (Linux, Exadata Software). Depois temos switchs Infiniband. Na sequência temos o update dos Database Servers e seus componentes (Grid e os binários do banco de dados).

Antes de iniciar o update precisamos montar o plano de atualização, qual a ordem de instalação dos patches. Isso só pode ser feito lendo todos os Readmes dos patches que vamos aplicar. Lendo o Readme do Patch 20748218 e Patch 21151982 descobrimos que existem dois métodos possíveis para atualizar o Database Server.

O primeiro é através da imagem ISO que acompanha o Patch 21151982 e o segundo é através da criação do repositório Exadata local. Este último método é o que utilizarei aqui, ele tem algumas vantagens que descreverei em detalhes depois mas é importante entender como funciona. Basicamente você cria um repositório local com os rpm’s que serão aplicados (os mesmo presentes na ISO). Infelizmente esta criação pode demorar um pouco e por isso será o primeiro procedimento a ser realizado.

Através da leitura de todas as notas do MOS envolvidas e de todos os Readmes dos patches aplicados o seguinte plano foi criado:

  1. Criação do repositório Exadata para Database Server
  2. Update do Storage Server e Switch Infiniband
  3. Update do Database Server
  4. Upgrade do GRID para 12C e Instalação dos binários 12C
  5. Update dos binários 11.2.0.4 para o BP16

Abaixo a descrição detalhas de cada uma destas etapas acima listadas.

A última atualização deste artigo foi em 03/08/2015.

Patch Storage Server e Infiniband

O procedimento descrito aqui contempla a atualização da imagem 11.2.3.3.0 para a imagem 12.1.2.1.2 do Oracle Exadata. Aqui estão descritos os procedimentos para o update do Storage Server e Switch Inifiband.

Primeiro Passo Principal

O primeiro passo de qualquer update para Oracle Exadata é ler o Readme da versão e ler o tópico “Know Issues” que lista todos os possíveis erros que você pode encontrar. Isso não quer dizer que outros erros não podem acontecer, mas você tem um local com a solução dos erros conhecidos. Então leia a Nota 2014306.1.

Continue lendo…

Repositório para o patch do Exadata

Criar o repositório do yum para atualizar o Oracle Exadata não é um requisito do procedimento, já faz algum tempo que os patches do Oracle Exadata contêm uma imagem ISO com todos os arquivos necessários. Criar ou não o repositório depende dos seus requisitos e do que você pretende fazer.

Utilizei o repositório local para que eu possa ter mais flexibilidade no futuro. Assim, poderei usar o mesmo repositório em outros updates e outras atualizações de OEL que não são do Exadata. Se você não vai utilizar o repositório a única opção é o arquivo ISO e você não precisa dos passo descritos aqui neste artigo.

Se você ler o Readme do patch 21151982 (“Database server bare metal / domU ULN exadata_dbserver_12.1.2.1.2_x86_64_base OL6 channel ISO image”) verá que os passos para criação do repositório não estão descritos mas sim uma referência ao manual do Oracle Exadata, especificamente ao tópico “Preparing and Populating the yum Repository with the Oracle Exadata Channel Content”. É com base nestes que vou criar o meu repositório.

Continue lendo…

Exadata X5

Esqueça quase tudo o que você já viu sobre Oracle Exadata, com o lançamento da versão X5 muita coisa mudou. Algumas mudanças de hardware (e conceitos) foram tão significativas que precisam de uma análise mais detalhada. Já faz isso no lançamento do Exadata X3 (aqui) e do Exadata X4 (aqui e aqui) e vou tentar fazer agora.

A cada lançamento de nova versão do Oracle Exadata temos as melhorias básicas de hardware, cpu e memória, agora os database servers tem dois processadores Intel Xeon E5-2699 de 18 cores o que em um full rack dá 288 CPU’s. Quanto a memória, cada database server pode chegar a 768GB de memória o que permite chegar até 6TB de memória em um full rack.

Falando em configurações temos alterações nas versões disponíveis também. Por exemplo, se você vai utilizar Oracle 12c com In-Memory pode ter uma configuração com 16 database servers e 5 storage servers (com discos de alta capacidade) somando assim 576 cores de CPU e 13.3 TB de memória. Basicamente você pode configurar o Exadata com a quantidade que quiser de database servers e storage servers. As opções foram aumentadas para permitir ao Exadata se encaixar em todas as possíveis carga de trabalho.

Também foi adicionada a opção de utilizar Oracle VM no Oracle Exadata. Mas divago quanto a necessidade ou ganhos que você terá. Existem diversos mecanismos para gerenciamento de recursos disponíveis no Oracle Exadata e você não irá querer adicionar mais uma camada (uma não, diversas) entre o banco de dados e o hardware.

Tivemos algumas mudanças de software também, destaco duas: HCC e Exafusion. Para o HCC algumas mudanças na forma como o Exadata Software trata o cache (no flash) para colunas com HCC. Quanto ao Exafusion, agora o binário Oracle conversa direto com o Infiniband e permite uma redução das camadas no meio (entre banco e o hardware) e deixa o ambiente mais rápido.

Essas foram as mudanças mais sutis, ajustes e evoluções naturais mas não foram as principais. Para mim o Exadata X5 resume-se a NVMe. De forma bem simples, agora existe a possibilidade de utilizar discos Flash nos storage server (discos estes ligados no barramento PCIe).

Continue lendo…

Exadata: Gerenciado Recursos

Depois de apresentar de forma breve alguns conceitos do Oracle Exadata em artigos anteriores (aqui e aqui) vou falar um pouco sobre como usar tudo isso de forma inteligente. Você já deve ter notado que no Oracle Exadata existem muitos recursos disponíveis como cluster Oracle RAC, grande quantidade de discos, Storage Servers entre outros.

Um dos cenários mais comuns para o Oracle Exadata é a consolidação de bancos de dados distintos (e requisitos distintos) no mesmo ambiente. De qualquer forma não há nada errado, você já faz isso no ambiente tradicional. O seu storage já armazena os blocos de diversas bases, provavelmente compartilhando os mesmos discos do raid group.

Mas onde que o Oracle Exadata se sai melhor? Basicamente na integração entre hardware e software que não existe no ambiente tradicional, a granularidade do que pode ser controlado é muito maior. Muitos dos conceitos aqui podem ser aplicados no ambiente tradicional, o detalhe é utilizá-los com inteligência.

Muitos destes tópicos já foram comentados por mim no Webinar sobre Gerenciamento de Recursos que fiz para o Exadata SIG do GUOB. Fiz um post sobre o Webinar que está disponível aqui e lá existe uma descrição mais detalhada do está neste artigo. De qualquer forma, tentarei passar alguns detalhes para que você consiga utilizar os recursos disponíveis de forma inteligente.

Continue lendo…