Programação Por Equipe DevBras

Capa do artigo: Alerta crítico só por e-mail falha junto com o e-mail

Alerta crítico só por e-mail falha junto com o e-mail

O alarme de cloro de um hotel na Alemanha foi só por e-mail no dia em que o Outlook caiu. Dois caminhos e um heartbeat, testados no Alertmanager.

Na sexta, 13 de novembro de 2026, um hotel do parque Phantasialand, em Brühl, na Alemanha, teve 15 hóspedes com irritação nas vias respiratórias depois de usar a piscina. O sistema automático de dosagem pôs cloro demais na água. O sistema de segurança da sauna percebeu e deu o alarme, mas só mandou o alarme por e-mail. Naquele dia, o Outlook e boa parte do Microsoft 365 estavam fora do ar, e o e-mail não chegou a ninguém.

O caso é um bom exemplo de um erro comum em monitoramento: o alarme funcionou, mas a única forma de avisar alguém tinha caído. Se o seu alerta de disco cheio, de certificado vencendo ou de fila travada sai só por e-mail, a pergunta é a mesma: o que acontece no dia em que o e-mail cair?

Abaixo estão os fatos do incidente, a configuração que eu montei no Alertmanager para o alerta crítico sair por dois caminhos e o heartbeat que avisa quando o próprio sistema de alertas parou. Tudo rodou de verdade no box, com a saída de cada passo.

O que aconteceu no hotel, segundo a WDR

A emissora pública WDR publicou a reconstrução em 14/11, com informações da polícia e dos bombeiros do distrito de Rhein-Erft e do próprio parque (reportagem da WDR):

  • O Phantasialand contou à WDR que, durante a pane da Microsoft, os e-mails não chegavam. Por isso ninguém viu que o sistema de segurança da sauna já tinha dado o alarme por e-mail.
  • O dosador automático tinha um defeito e pôs cloro demais na piscina do Hotel Ling Bao, que fica dentro do parque.
  • Primeiro 13 hóspedes reclamaram de irritação nas vias respiratórias, e o total chegou a 15. Quatro foram levados ao hospital (no começo falou-se em cinco), e um ficou em observação com uma lesão moderada.
  • A água foi trocada e a piscina foi liberada de novo, segundo os bombeiros.

O alarme existia, o sensor mediu certo e o sistema de segurança disparou na hora. O que faltou foi um segundo jeito de avisar.

A queda que levou o e-mail junto

A pane do Microsoft 365 começou na quinta, 12/11, e afetou o Exchange Online e tudo o que depende dele. Segundo o resumo da Reuters publicado pelo Economic Times, as caixas de correio não abriam no Outlook web e desktop, e a entrega de e-mail atrasava. Funções do Teams que não dependem do Exchange continuaram de pé. A Microsoft disse que a causa foi interna, e não um ataque: segundo o iTnews, o problema veio de uma falha numa ampliação de capacidade de rede, que apareceu depois de uma mudança recente na rede. O relatório final com a causa raiz foi prometido para depois da normalização. Quem administra um tenant acompanha os avisos pelo status oficial e pelo centro de administração.

Para quem cuida de alertas, o detalhe importante é este: o e-mail não deu erro para quem enviou. A mensagem saiu do sistema e ficou parada ou atrasada do lado do provedor. Do ponto de vista do equipamento, o alarme foi enviado. É o pior tipo de falha, porque não gera nenhum sinal.

Três perguntas sobre os seus alertas

Antes de mexer em configuração, vale responder isto sobre cada alerta que pode acordar alguém:

  1. Por quantos caminhos ele sai? Se a resposta é "só e-mail" ou "só um canal do Slack", ele tem um ponto único de falha que você não controla.
  2. Os caminhos dependem da mesma coisa? E-mail corporativo e Teams caíram juntos no dia 13, porque os dois dependem do Microsoft 365. Dois canais do mesmo provedor contam como um só.
  3. Quem percebe se o próprio sistema de alertas parar? Se o Alertmanager travar, ou se o servidor que manda o e-mail perder a rede, o resultado é silêncio. E silêncio parece a mesma coisa que "está tudo bem".

O capítulo de monitoramento do livro de SRE do Google separa o que deve chamar uma pessoa na hora (página) do que pode virar chamado ou ficar num painel. A separação ajuda aqui: só o que é página precisa de dois caminhos independentes. O resto pode continuar no e-mail.

O laboratório: Alertmanager 0.35.0 com o "e-mail" fora do ar

Para ver o comportamento real, e não o da documentação, montei um teste pequeno no box (Linux 6.12, Python 3.13.5) com o Alertmanager 0.35.0, a versão mais recente, publicada em 09/11/2026:

  • um receptor de e-mail apontando para um servidor SMTP em 127.0.0.1:2525, onde nada escuta. Esse é o "Outlook fora do ar";
  • um receptor webhook para o plantão (no mundo real, o app de plantão, um SMS ou uma notificação push);
  • um receptor de heartbeat, que recebe o alerta Watchdog;
  • um script em Python que recebe os dois webhooks e dispara o alarme se o heartbeat ficar mais de 30 segundos sem chegar.

A configuração inteira é esta. Os tempos estão curtíssimos de propósito, para o teste caber em um minuto:

global:
  resolve_timeout: 5m
  smtp_smarthost: '127.0.0.1:2525'   # o "Outlook": ninguém escuta nessa porta durante o teste
  smtp_from: 'alertas@empresa.test'
  smtp_require_tls: false

route:
  receiver: email-equipe
  group_by: ['alertname']
  group_wait: 1s
  group_interval: 5s
  repeat_interval: 4h
  routes:
    # o alerta que tem de chegar sempre: sai por dois caminhos independentes
    - matchers: ['severity="critical"']
      receiver: email-equipe
      continue: true
    - matchers: ['severity="critical"']
      receiver: plantao-webhook
    # o "alerta que avisa que os alertas estão vivos"
    - matchers: ['alertname="Watchdog"']
      receiver: heartbeat
      group_wait: 0s
      group_interval: 5s
      repeat_interval: 10s

receivers:
  - name: email-equipe
    email_configs:
      - to: 'manutencao@empresa.test'
        send_resolved: true
  - name: plantao-webhook
    webhook_configs:
      - url: 'http://127.0.0.1:9101/plantao'
  - name: heartbeat
    webhook_configs:
      - url: 'http://127.0.0.1:9102/ping'

O detalhe que faz o alerta sair duas vezes é o continue: true. Sem ele, o Alertmanager para na primeira rota que casa, e o alerta crítico iria só para o e-mail. A documentação de configuração explica a árvore de rotas e o continue. Outra opção é pôr email_configs e webhook_configs dentro do mesmo receptor, mas rotas separadas deixam mais claro quem recebe o quê.

Conferir as rotas antes de subir

O amtool, que vem no mesmo pacote, valida o arquivo e diz para onde cada combinação de rótulos vai. É o teste mais barato que existe e cabe em qualquer pipeline:

$ amtool check-config alertmanager.yml
Checking 'alertmanager.yml'  SUCCESS
Found:
 - global config
 - route
 - 0 inhibit rules
 - 3 receivers
 - 0 templates

$ amtool config routes test --config.file=alertmanager.yml alertname=CloroAlto severity=critical
email-equipe,plantao-webhook
$ amtool config routes test --config.file=alertmanager.yml alertname=DiscoQuaseCheio severity=warning
email-equipe
$ amtool config routes test --config.file=alertmanager.yml alertname=Watchdog severity=none
heartbeat

O crítico vai para os dois, o aviso comum fica só no e-mail e o Watchdog vai só para o heartbeat. Se alguém apagar o continue: true num pull request, a primeira linha passa a mostrar só email-equipe e o teste pega.

Disparar o alerta com o SMTP fora

Com o Alertmanager no ar, um laço mandava o Watchdog a cada 5 segundos com amtool alert add, fazendo o papel do Prometheus. Às 23:57:25 (horário de Brasília) disparei o alerta crítico:

$ amtool alert add alertname=CloroAlto severity=critical local=piscina \
    --alertmanager.url=http://127.0.0.1:9093

O webhook do plantão recebeu o alerta às 23:57:26, um segundo depois. O e-mail tentou, falhou e foi tentando de novo. O log do Alertmanager mostra a desistência dessa rodada às 23:57:36:

level=WARN msg="Notify attempt failed, will retry later" receiver=email-equipe
  integration=email[0] attempts=1 reason=other
  err="establish connection to server: dial tcp 127.0.0.1:2525: connect: connection refused"
level=ERROR msg="Notify failed" receiver=email-equipe integration=email[0] reason=other
  err="email-equipe/email[0]: notify retry canceled after 7 attempts: establish connection
  to server: dial tcp 127.0.0.1:2525: connect: connection refused"

E as métricas que o próprio Alertmanager expõe em /metrics registraram a falha. Filtrei só as linhas com valor diferente de zero:

alertmanager_notifications_failed_total{integration="email",reason="other"} 1
alertmanager_notifications_total{integration="email"} 2
alertmanager_notifications_total{integration="webhook"} 3

Duas coisas ficam claras. A falha de um caminho não segurou o outro: o webhook não esperou o e-mail desistir. E aqui o SMTP recusou a conexão, então pelo menos houve erro e métrica. No caso real do dia 13, o servidor de e-mail do provedor pode ter aceitado a mensagem e atrasado a entrega. Aí nem essa métrica sobe. Por isso o segundo caminho importa mais do que qualquer contador de falha.

O alerta que avisa que os alertas pararam

Dois caminhos resolvem a queda de um canal, mas não resolvem a queda do próprio Alertmanager, do Prometheus ou da rede do servidor. Para isso existe o padrão "dead man's switch": um alerta que fica disparado o tempo todo, e um sistema de fora que grita quando ele para de chegar.

O kube-prometheus traz esse alerta com o nome Watchdog. O runbook oficial descreve assim: um alerta feito para garantir que toda a cadeia de alertas está funcionando, que fica sempre disparado e sempre entregue a um receptor. Se ele não estiver disparando, um sistema externo precisa avisar que o sistema de alertas parou. No Prometheus, a regra costuma ser só isto:

groups:
  - name: meta
    rules:
      - alert: Watchdog
        expr: vector(1)
        labels:
          severity: none
        annotations:
          summary: "Cadeia de alertas viva. Se parar de chegar, algo quebrou."

Nesta rodada não rodei o Prometheus nem o promtool. No teste, quem mandava o Watchdog era o laço com amtool alert add. O efeito no Alertmanager é o mesmo, mas a regra acima eu não testei aqui.

O vigia do teste é um script em Python de umas 40 linhas que recebe os webhooks e confere, a cada 2 segundos, há quanto tempo o último heartbeat chegou. A parte que importa:

LIMITE = 30

def vigia():
    while True:
        time.sleep(2)
        parado = time.time() - ultimo["ping"]
        if parado > LIMITE and not alarmou["v"]:
            alarmou["v"] = True
            print(f"{agora()} ALARME: {int(parado)} s sem heartbeat. O caminho dos alertas caiu.")

Às 23:57:45 derrubei o Alertmanager com kill. A saída completa do teste, em ordem:

23:57:20 receptor no ar (limite do heartbeat: 30 s)
23:57:22 heartbeat ok (firing)
23:57:25 disparo CloroAlto (critical)
23:57:26 PLANTAO recebeu firing: ['CloroAlto']
23:57:37 heartbeat ok (firing)
23:57:45 derrubo o Alertmanager (kill 1228388)
23:58:08 ALARME: 31 s sem heartbeat. O caminho dos alertas caiu.

O alarme veio 23 segundos depois da queda, e não 30. É que o relógio conta a partir do último heartbeat que chegou (23:57:37), e não do momento da queda. Na prática, o tempo até descobrir fica entre o limite menos o intervalo do heartbeat e o limite inteiro.

Outro detalhe que o teste mostrou: pedi repeat_interval: 10s para o Watchdog, mas os heartbeats chegaram com cerca de 15 segundos de distância (23:57:22 e 23:57:37). O Alertmanager só reenvia nas rodadas do group_interval, então o intervalo real fica "arredondado" para cima. Em produção, com repeat_interval de 1 minuto e group_interval de 5 minutos, isso faz diferença: o limite do vigia precisa ficar acima do intervalo real, ou ele vai dar alarme falso. Meça o intervalo no seu ambiente antes de escolher o limite.

No gráfico abaixo está o mesmo teste numa linha do tempo, com os horários do box.

O vigia não pode morar no mesmo lugar

O script do teste rodou na mesma máquina do Alertmanager, e serve só para mostrar o mecanismo. Em produção, o vigia tem de ficar fora de tudo o que ele vigia: outra rede, outro provedor e, de preferência, outro jeito de avisar. As opções mais comuns:

  • Serviço de heartbeat externo: o Healthchecks.io (que tem versão open source para hospedar em outro lugar) recebe pings numa URL e avisa quando eles param, por vários canais. O mesmo serve para cron jobs e backups noturnos.
  • Integração de dead man's switch do app de plantão: o runbook do Watchdog cita a integração DeadMansSnitch do PagerDuty como exemplo.
  • Um segundo monitor, pequeno, em outra nuvem, que só confere o heartbeat e manda SMS. Ele precisa ser simples, para não virar mais uma coisa a vigiar.

Vale também alertar sobre as falhas de envio, usando a métrica que apareceu no teste. O kube-prometheus tem o alerta AlertmanagerFailedToSendAlerts, feito para isso (runbook). A expressão do kube-prometheus é esta (não rodei esta regra no teste; a métrica, sim):

rate(alertmanager_notifications_failed_total[5m])
  / ignoring(reason) group_left
rate(alertmanager_notifications_total[5m]) > 0.01

Esse alerta precisa sair pelo caminho que não falhou. Se ele sair só pelo e-mail que caiu, você volta ao problema do hotel.

Testar o caminho, não só o alarme

A maioria das equipes testa se a regra dispara. Poucas testam se a mensagem chega a uma pessoa. Algumas práticas que ajudam:

  • Rodar o amtool config routes test no CI para cada alerta crítico. Assim, uma rota que perdeu o segundo caminho quebra o build.
  • Fazer um ensaio de queda do canal: bloquear de propósito a saída SMTP num ambiente de teste, como eu fiz com a porta 2525, e ver se o alerta crítico chega pelo outro caminho. É a mesma lógica do teste de restore: backup que ninguém restaurou não é backup, e alerta que nunca foi recebido num ensaio não é alerta.
  • Revisar os alertas que ninguém atende. Ter dois caminhos não adianta se o alerta é barulhento e as pessoas já o ignoram. O post sobre alertas no Prometheus por SLO trata disso, com testes de regra no promtool.
  • Escrever o pós-incidente quando um alerta não chegar, mesmo que não tenha dado em nada. O formato sem culpado ajuda a achar a causa no sistema, como "o único canal era o e-mail", e não numa pessoa.

Se o seu e-mail de alerta sai de um domínio próprio, vale conferir também a autenticação. Sem SPF, DKIM e DMARC certos, o Outlook pode recusar a mensagem, e o alerta some sem nenhuma queda (veja como configurar o DMARC). É mais um motivo para o e-mail não ser o único caminho.

O que levar daqui

  • Alerta que precisa acordar alguém sai por pelo menos dois caminhos que não dependem do mesmo provedor. No Alertmanager, isso é uma rota com continue: true ou um receptor com duas integrações.
  • Um alerta sempre disparado (Watchdog) e um vigia externo transformam o silêncio em sinal.
  • Meça o intervalo real do heartbeat antes de escolher o limite do vigia. No teste, 10 segundos pedidos viraram cerca de 15.
  • Teste o caminho até a pessoa, e não só a regra. O amtool faz isso em milissegundos.

No hotel, o sensor estava certo, o alarme disparou e o e-mail saiu. Só não havia ninguém do outro lado. Quase sempre, a peça que falta é um segundo caminho barato, e não um sensor melhor.

Avalie este artigo