You're facing a major system outage. How do you decide which network troubleshooting tasks to prioritize?

Identificar el Alcance: Determinar cuántos usuarios, servicios y sistemas están afectados. Gravedad del Problema: Evaluar la criticidad del problema en términos de pérdida de datos, impacto financiero y operatividad del negocio.

Nesta situação, é imprescindível que se tenha um mapeamento e documentação da rede, facilitando assim a identificação da extensão da interrupção, e possível triangulação da causa.

Primero se debe realizar un levantamiento para identificar cuantas personas y servicios han sido afectados, y el nivel de criticidad de la interrupción, si es grave o no se puede solucionar dentro de un par de horas, se deberá dar prioridad de solución a los sistemas mas críticos, en el caso que no exista algún backup en la empresa o algún servicio de respaldo para operar momentáneamente, en conclusión siempre debe existir respaldos, servidores de backup y un segundo servicio de internet en el caso de que algo falle

Identificar os ativos de mais impacto ao negócio, se relacionado, os que tem mais usuários e a partir de uma abordagem de impacto ao negócio.

Step 0 is to ensure you have robust monitoring in place for your services. Why? ✅ Quickly pinpoint affected services ✅ Streamline troubleshooting processes ✅ Reduce downtime and improve efficiency Without effective monitoring, identifying impacted services becomes exponentially more challenging. Invest in a solid monitoring solution to stay ahead of potential issues and maintain optimal performance.

Avalie com agilidade o sistema de monitoramento de ativos, verifique se existem ativos offline e caso positivo, a possível causa. Aproveitar o momento para avaliar possíveis manobras para contingenciamento é interessante, com parte do sistema voltando a operação o ambiente fica mais tranquilo e facilita a resolução.

Recopilar Información: Revisar los registros del sistema, las alertas y los informes de usuarios para identificar patrones o puntos comunes. Diagnóstico Inicial: Realizar pruebas básicas de conectividad y revisar los componentes de la red para detectar fallos evidentes.

Para o processo de troubleshooting, recomenda-se definir o fluxo completo, começo meio enfim , para entender qual é o real problema ou de onde pode ser a causa raiz do problema.

Acceso a los Registros: Centralización de Registros: Asegúrese de que los registros de todos los dispositivos de red (servidores, conmutadores, enrutadores, firewalls, etc.) estén centralizados en un sistema de administración de registros. Herramientas como ELK Stack (Elasticsearch, Logstash, Kibana) pueden ser útiles para esto. Permisos de Acceso: Asegúrese de tener los permisos necesarios para acceder a estos registros rápidamente. Identificación de Eventos Clave: Tiempos de Interrupción: Determine el período exacto en que ocurrió la interrupción. Eventos Correlacionados: Busque eventos que coincidan con el momento en que comenzaron los problemas. Preste especial atención a advertencias y errores. Revisión de Registros de Dispositivos:

A utilização de um sistema de monitoramento centralizado acelera este processo, pois você terá registro de logs tanto do dispositivo quanto do monitoramento, facilitando o reestabelecimento do serviço ou de parte dele.

Assim como análise de logs, recomenda-se a adoção de ferramentas de monitoramento de performance e disponibilidade, dentre as principais soluções encontra-se o Zabbix, gtafana, entre outras específicas pra uptime, exemplo uptime Kuma.

Implementing a central logging service is a huge advantage when reviewing logs. Instead of looking at the log for each service, you can see it in one central place and filter it based on the symptoms you identified earlier. Most services offer centralized logging, so take advantage of it!

La verificación de cambios es una parte fundamental del proceso de resolución de problemas, ya que muchas interrupciones de la red pueden ser causadas por cambios recientes en el sistema. Aquí hay un enfoque detallado para verificar cambios recientes: Acceso a los Registros de Administración de Cambios: Sistema de Gestión de Cambios: Utilice una herramienta de gestión de cambios (como ITIL, Jira, ServiceNow) para rastrear todas las modificaciones realizadas en el sistema. Permisos y Accesos: Asegúrese de tener acceso a los registros de cambios y de que estos registros estén actualizados. Identificación de Cambios Recientes:

Avaliar alterações também facilita a identificação de possíveis erros humanos. Não efetuar atualizações ou alterações críticas em ambiente de operação, ajudará a evitar interrupção de sistemas críticos.

Rastrear todas as alterações recentes no ambiente para identificar possíveis mudanças que possam ter desencadeado o problema, até mesmo as vezes um simples cabo em loop, se não houver soluções a nível de hardware que identificou em e eliminem o problema.

Sempre começar o teste de conectividade pelo mais simples. Primeiro conectividade física, depois teste de comunicação, depois troughput, e assim por diante. Ao avaliar o sistema de monitoramento possívelmente já será identificado falhas de comunicação e as possíveis causas. Identificar se a falha é física ou lógica é imprescindível para agilizar o processo de solução.

When testing connectivity, never forget about security. Never use services like telnet, which are outdated and insecure. Use SSH instead. When using ping, check for latency, there may be a physical problem in your network.

Make sure that regular communications are going out to those impacted. There are a lot of moving parts when an outage occurs, but having strong communication from the start goes a long way. Outages are inevitable to some degree, but the repercussions that come with it can greatly be reduced if there was proper communication and transparency throughout the issue.

Agreed, send immediate communication vertically reflecting time found, possible impact and what your Immediate action are. There are many “administrators”

Documentation, documentation, documentation! Never forget to write down what caused the failure. Take the necessary steps to ensure it doesn't happen again. Let your customers know how long the outage lasted, what services were affected, and that you've taken the necessary steps to prevent it from happening again.