EOP-005 UPS Failure Procedure PDF

Nº del EOP Autor Aprobador Fecha Información del EOP 005 Sergio Cano Saturnino Perez 23/08/2024 Título del EOP EOP-005 PÉRDIDA DE TODAS LAS UPS EN UN SKID...

Nº del EOP Autor Aprobador Fecha Información del EOP 005 Sergio Cano Saturnino Perez 23/08/2024 Título del EOP EOP-005 PÉRDIDA DE TODAS LAS UPS EN UN SKID Actuación en caso de fallo en todas las UPS que protegen la carga de Propósito del EOP un SKID / Actuation in case of failure in all UPSs protecting the SKID load. Descripción del trabajo / Job description Procedimiento de emergencia a utilizar en caso de fallo de las UPS que protegen la carga de un SKID (Actualmente hay 2 por SKID). / Emergency procedure to be used in case of failure of the UPSs protecting the load of a SKID (currently there are 2 per SKID). Teóricamente las UPS entran en modo bypass estático en caso de fallo (inversor apagado) para protegerse tanto a sí mismas como a la instalación. No obstante, es necesario comprobar que se encuentran en dicho estado antes de iniciar las maniobras que se describen a continuación. / Theoretically, UPSs go into static bypass mode in the event of a fault (inverter off) to protect both themselves and the installation. However, it is necessary to check that they are in this state before starting the maneuvers described below. Requisitos previous / Prerequisites Check Asegurarse de que todo el personal implicado en este trabajo está perfectamente acreditado y lleva visible su identificación. / Ensure that all personnel involved in this work are fully accredited and wear visible identification. Verificar que la OT asociada a esta operación dispone de todas las aprobaciones necesarias para poder ejecutar el trabajo / Verify that the TO associated with this operation has all the necessary approvals to be able to carry out the work. Asegurarse de que todo el personal implicado en este trabajo se encuentra operativo (Jefe de equipo en control o en el equipo sobre el que se vaya a trabajar). / Verify that the TO associated with this operation has all the necessary approvals to be able to carry out the work. Verificar que todos los componentes (interruptores, mandos y equipos) están perfectamente identificados. / Check that all components (switches, controls and equipment) are perfectly identified. Verificar el correcto funcionamiento de los dispositivos de comunicación (tablets, teléfonos, walkies, etc.). / Verify the correct operation of communication devices (tablets, telephones, walkies, etc.). Verificar que toda la documentación (planos, manuales técnicos y procedimientos de operación) están disponibles y con fácil acceso. / Check that all documentation (drawings, technical manuals and operating procedures) are available and easily accessible. Asegurarse que todo el personal implicado es conocedor de los procedimientos elaborados por la empresa responsable de la operación. / Ensure that all personnel involved are familiar with the procedures drawn up by the company responsible for the operation. Verificar la ausencia de alarmas en el sistema BMS que afecten o puedan afectar a la ejecución de la operación de mantenimiento preventivo. / Verify the absence of alarms in the BMS system that affect or may affect the execution of the preventive maintenance operation. Comprobación y verificación del código del equipo desde campo a BMS, para pasarlo a mantenimiento si fuese necesario. / Checking and verification of the equipment code from the field to the BMS, in order to pass it on to maintenance if necessary. En caso de reparación o sustitución de algún componente, comprobar que el material necesario se encuentra en la instalación. / In case of repair or replacement of any component, check that the necessary material is in the installation. Asegurarse de que todas las protecciones internas IP2X están instaladas, cubiertas externas colocadas y puertas cerradas con llave mientras se estén realizando maniobras de activación y AN ENDEAVOUR COMPANY  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID conmutación. / Ensure that all internal IP2X protections are installed, external covers are in place and doors are locked while activation and switching operations are being carried out. Condiciones iniciales / Initial conditions NOTA: En el Skid solo debe de haber dos llaves Castell. En condiciones normales de funcionamiento, se aplicará el siguiente escenario: / There should only be two Castell keys on the Skid. Under normal operating conditions, the following scenario will apply: Llave Castell presente en la cerradura Solenoide Castell. / Castell key present in the Castell Solenoid Lock. El disyuntor [QA5] Bypass Mantenimiento está en OFF y NO hay llave en el Bloqueo de Castell, esto impide cerrar este disyuntor. / Circuit breaker [QA5] Maintenance Bypass is OFF and there is NO key in the Castell Lock, this prevents this circuit breaker from closing. El disyuntor [QA21] Banco de carga está en OFF. / Circuit breaker [QA21] Load Bank is OFF. Disyuntor [QA1] Alimentación entrante está en ON (Llave Castell en disyuntor). / Circuit breaker [QA1] Incoming power is ON (Castell key in circuit breaker). Disyuntor [QA3 & QA4] Suministros a las UPS en ON. / Circuit breaker [QA3 & QA4] Supplies to UPS is ON). Disyuntor [QA19 & QA20] Retornos del UPS en ON / Circuit breaker [QA19 & QA20] UPS returns ON. El disyuntor [QB18] Acoplamiento de barras está en ON (Llave Castell en disyuntor). / Circuit breaker [QB18] Bus coupling is ON (Castell key on circuit breaker). Los disyuntores de alimentación a DGP están en ON donde sea necesario. / The DGP power circuit breakers are ON where necessary. 2  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID Equipamiento y materiales necesarios / Necessary materials and equipment Check Equipo multifunción / Multifunction equipment Llave para apertura de cuadros / Key for opening frames Teléfono móvil o walkie talkie / Mobile phone or walkie talkie Tablet Candados LOTO / LOTO padlocks 3  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID MÉTODO DE PROCEDIMIENTO / PROCEDURE METHODOLOGY Nº ACCIÓN / ACTION Check 1 Comprobaciones antes de iniciar la actuación / Checks before starting work Si una UPS se encuentra en modo de fallo, el técnico de campo lo podrá apreciar fácilmente observando que la luz de la UPS será de color rojo. Se trata de una incidencia crítica (roja), por lo que habrá que iniciar el proceso de escalado correspondiente y el técnico de BMS deberá llamar a Vertiv para que acuda a la 1.1 instalación. / If a UPS is in fault mode, the field technician can easily see it by observing that the UPS light will be red. This is a critical (red) event, so the appropriate escalation process must be initiated and the BMS technician must call Vertiv to come to the site. Si ambas UPS han fallado, de la misma forma se trata de una incidencia crítica (roja), por lo que habrá que iniciar el proceso de escalado correspondiente y el técnico de BMS deberá llamar a Vertiv para que acuda a la instalación. / 1.2 If both UPSs have failed, it is a critical (red) incident, so the corresponding escalation process must be initiated and the BMS technician must call Vertiv to come to the facility. Girar el interruptor de llave del modo ERMS situado en el cuadro principal de la sección 1 a la posición ON. / Turn the ERMS mode key switch on the main switchboard in section 1 to the ON position. Observar que se enciende el led azul en el cuadro. / Observe that the blue LED lights up on the panel. 1.3 En primer lugar, se comprobará si el SKID está alimentando el Datahall a través de los Power Meter A6 y A7. Si las UPS están en fallo, lo normal es que el consumo en estos medidores sea de 0 KW, es decir, habremos perdido la alimentación en la rama. En un futuro, cuando todas las salidas estén activas, habrá que comprobar la totalidad de 1.4 estas; desde la A6 a la A17. / First of all, we will check if the SKID is feeding the Datahall through the Power Meter A6 and A7. If the UPS are in failure, the consumption in these meters is normally 0 KW, i.e., we will have lost the power supply in the branch. In the future, when all the outputs are active, we will have to check all of them; from A6 to A17. 4  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID Si tocamos la pantalla y la vemos de color rojo, eso nos indica que tipo de eventos tienen las UPS. / If we touch the screen and see it in red, it tells us what type of events the UPS has. 1.5 Si la UPS ha fallado, lo normal es que dejen de funcionar inversor y rectificador, quedando todo apagado (blanco), y alimentando (verde) únicamente por el Bypass. Comprobaremos el esquema para ver si se encuentra de dicha manera. / If the UPS has failed, it is normal that the inverter and rectifier stop working, leaving everything off (white) and feeding (green) only by the Bypass. We will check the schematic to see if it is in such a way. Bypass 1.6 Rectificador Inversor A continuación, se comprobará si todas las UPS se encuentra en modo bypass estático (inversor parado). Si la UPS está en Bypass estático, veremos que se ha encendido el piloto, entonces ya podemos retirar la llave del bloqueo del solenoide Castell. / Next, we will check if all the UPS are in static bypass mode (inverter stopped). If the UPS is in Static Bypass Mode we can see that the pilot light has come on and we can remove the key from the Castell solenoid lock. 1.7 Si la UPS no está en Bypass estático sigue los pasos 1.8-1.13. / If the UPS is not in Static Bypass follow steps 1.8-1.13. Si se encuentra en este modo, puedes pasar al punto 2. / 5  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID If it is in this mode, you can proceed to step 2. En la pantalla táctil de la UPS toque en el candado para desbloquear. / On the UPS touch screen tap on the padlock to unlock. Si no se introduce la contraseña no se podrá manipular en la UPS. / If the password is not entered, it will not be possible to manipulate the UPS. 1.8 Introduzca contraseña para siguiente nivel y poder operar en la UPS. La contraseña se encuentra en el documento de contraseñas en la carpeta 2. Procedures (ver Contraseñas EOPs) / Enter password for next level to be able to operate on the UPS. The password is located in the password document in the folder 2. Procedures (see EOP Passwords). 1.9 Una vez desbloqueado pulsamos sobre OPERAR. / Once it has been unlocked, click on OPERATE. 1.10 En la siguiente pantalla pulsamos sobre el botón de Inversor apagado APAGAR. / 1.11 On the next screen, click on the Inverter OFF button. 6  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID Con esta acción apagaremos el inversor de la UPS y activaremos el Bypass estático. / With this action we will turn off the UPS inverter and activate the Static Bypass. Pedirá confirmación para apagar y pulsaremos sobre ACEPTAR. / It will ask for confirmation to switch off and click on OK. Una vez confirmado, estaremos con la carga NO PROTEGIDA por la UPS, alimentando por Bypass estático. / Once confirmed we will be with the load NOT PROTECTED by the UPS, feeding by Static Bypass. 1.12 La siguiente pantalla nos confirmará a través del esquema y con el mensaje en AMARILLO que hemos desactivado el inversor y estamos trabajando por Bypass estático. / The following screen will confirm through the diagram and with the YELLOW 1.13 message that we have deactivated the inverter and we are working by static Bypass. Inversor apagado CARGA NO PROTEGIDA / Inverter off UNPROTECTED LOAD 7  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID 2 Aislar las UPS de la instalación / Isolate the UPS from the installation Introducir la llave Castell en el disyuntor UPS BYPASS MANTENIMIENTO [QA5]. Una vez metida la llave en su posición, se deberá cargar utilizando la palanca gris, para a continuación pulsar el botón verde. / Insert the Castell key in the UPS BYPASS MAINTENANCE circuit breaker [QA5]. Once the key is in position, it must be loaded using the gray lever and then press the green button. Con esta secuencia, tendremos el SKID alimentado tanto por red normal, como por UPS (a través de red sucia). / With this sequence, we will have the SKID powered by both normal mains and UPS (through dirty mains). 2.1 Palanca de carga Botón de encendido Las salidas están ahora en paralelo a través del bypass estático de la UPS y el bypass de mantenimiento externo QA5. / 8  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID The outputs are now paralleled through the UPS static bypass and the external maintenance bypass. A continuación, se desconectará el interruptor BUS COUPLER QB18 (acoplamiento de barras.) / Switch off the switch [QB18] busbar coupling. Para disparar ese interruptor, se debe pulsar en el botón ROJO. / To trip this switch, press the RED button. Ahora las salidas DGP se alimentan SOLO a través del bypass externo de Mantenimiento QA5. Sacamos la llave del interruptor QB18 y la insertamos en el bloqueo del solenoide Castell. De esta forma, seremos capaces de activar el inversor para realizar las pruebas pertinentes. Nota: Para poder extraer la llave del interruptor es necesario mantener pulsado el botón rojo pulsado para disparar la celda. / Now the DGP outputs are powered ONLY through the external Maintenance bypass QA5. We remove the key from switch QB18 and insert it into the Castell solenoid lock. This way we will be able to activate the inverter for testing purposes. 2.2 Note: To remove the key from QB18, it is necessary to keep pushed the red button used to trip the switch. Flujo de energía durante la operación de bypass de mantenimiento. / 2.3 Power flow during maintenance bypass operation. 9  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID De esta forma, la UPS queda aislada completamente del SKID y la carga NO está protegida. / The UPS is completely isolated from the SKID and the load is not protected. A continuación, para proteger definitivamente la instalación, se extraerán los dos interruptores de retorno de las UPS / Then, in order to definitively protect the installation, the two UPS return switches must be removed. Para abrir ambos interruptores se realizará la misma maniobra, acudimos al interruptor que queramos abrir (QA20 y QA19) y lo desconectamos pulsando el botón OFF. / To open both circuit breakers, the same maneuver will be carried out, we go to the circuit breaker we want to close (QA20 and QA19) and disconnect it by pressing the OFF button. 2.4 A continuación, extraeremos los breakers QA19 y QA20 Retorno de UPS. Para ello, se extrae el útil localizado en la parte inferior izquierda del interruptor (1), pulsas el botón (2) para poder introducir el útil, y lo introduces en la ranura derecha (3). Una vez has insertado el útil, comienzas a girarlo hasta que el breaker se encuentre extraído. / 10  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID Next, we will extract the breakers QA19 and QA20 UPS Return. To do this, remove the tool located at the bottom left of the breaker (1), press the button (2) to insert the tool, and insert it into the right slot (3). Once you have inserted the tool, start turning it until the breaker is removed. Útil (1) Botón (2) Ranura (3) Nota: Cuando estamos girando el útil tanto para meter como para extraer el interruptor, llegará un momento que estaremos sobre la posición TEST, y no podremos continuar la maniobra. En ese momento, es necesario volver a pulsar el botón PUSH BEFORE OPERATING. A partir de ese momento, podremos terminar de extraer o introducir el interruptor. / Note: When we are turning the tool both to insert and to extract the breaker, there will come a moment when we will be on the TEST position, and we will not be able to continue the maneuver. At that moment, it is necessary to press the PUSH BEFORE OPERATING button again. From that moment on, we will be able to finish extracting or inserting the breaker. Al terminar de realizar la maniobra descrita, podemos aplicar un LOTO en el QA20 y el QA19, hasta que se solucione el problema con ambas UPS y queramos volver a alimentar a través de ellas. / 2.5 When the maneuver described above is completed, it is necessary to apply a LOTO on QA20 and QA19, until the problem with both UPS is solved and we want to rewire through them. 11  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID De esta forma, tendremos ambas UPS en Bypass de Mantenimiento, o lo que es lo mismo, ambas UPS aisladas de la instalación (esta se alimentará a través de red sucia) hasta que Vertiv acuda a la instalación y consiga solucionar el problema. / 2.6 In this way, we will have both UPS in Maintenance Bypass, or what is the same, both UPS isolated from the installation (this will be fed through the dirty network) until Vertiv comes to the installation and manages to solve the problem. 3 Comprobaciones / Checks Una vez se sacan las UPS de la instalación, se debe comprobar el estado de la carga IT. Para ello iremos a los SKID encargados de asumir la carga que el SKID perdido ha dejado de proporcionar, y haremos fotos a los consumos de los Power meter A6 y A7. / 3.1 Once the UPS are removed from the installation, we must proceed to check the status of the IT load. To do so, we will go to the SKIDs in charge of taking over the load that the lost SKID has stopped providing, and we will take pictures of the consumption of the Power meters A6 and A7. La redundancia de SKID es la siguiente: Pasillo largo (A6): AyC ByD Pasillo corto (A7): AyD ByC / 3.2 SKID redundancy is as follows: Long corridor (A6): - A and C - B and D Short aisle (A7): - A and D - B and C Se le pasa estos consumos al técnico de BMS para que compruebe si los SKID 3.3 redundantes ha asumido la carga de forma correcta. Para esto, se puede abrir el 12  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID documento “Consumos de fin de semana” y revisar los últimos consumos apuntados en los SKID afectados. Comparando esos valores con los actuales tras la incidencia, podemos ver si toda la carga se ha asumido de forma correcta. / These consumptions are passed to the BMS technician to check if the redundant SKIDs have assumed the load correctly. For this, the document "Weekend consumptions" can be opened and the last consumptions noted in the affected SKIDs can be reviewed. Comparing these values with the current values after the incident, we can see if all the load has been assumed correctly. 13  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID 4 Vuelta atrás / Turn Back Una vez finalizada las pruebas por parte de Vertiv y se haya solucionado el problema, comenzaremos la secuencia justo a la inversa. / 4.1 Once Vertiv has finished testing and the problem has been solved, we will start the sequence in reverse Antes de nada, es FUNDAMENTAL comprobar que la UPS se encuentra funcionando en modo Bypass, es decir, con el inversor desconectado. De lo contrario, se haría un corto y se pondría en riesgo la instalación. / First of all, it is ESSENTIAL to check that the UPS is operating in Bypass mode, i.e. with the inverter disconnected. Otherwise, a short circuit would be created and the installation would be put at risk. Si Vertiv está realizando las pruebas sobre una única UPS, y su inversor está encendido, habrá que apagarlo siguiendo las pautas descritas entre los puntos 1.8 y 1.13. / If you have been testing on a single UPS, your inverter will be on, and you will have to turn it off following the guidelines described in points 1.8 to 1.13. Si por el contario las pruebas se han realizado a ambas UPS en paralelo, existe la posibilidad de apagar ambos inversores a la vez. Seguiremos el mismo proceso que si quisiéramos desconectar un único inversor, y pulsaremos inversor apagado. Una vez pulsemos, nos aparecerá esta pantalla, y si queremos apagar ambos inversores a la vez pulsaremos en Sistema. / If, on the other hand, the tests have been carried out on both UPS in parallel, there is the possibility of switching off both inverters at the same time. We will follow the same process as if we wanted to disconnect only one inverter, and we will press inverter off. Once clicked, this screen will appear, and if we want to turn off both inverters at the 4.2 same time we will click on System. Pedirá confirmación, y volveremos a pulsar en apagado. / It will ask for confirmation, and we will click off again. 14  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID El esquema que debe visualizarse en la pantalla de la UPS para asegurase de que tenemos el inversor desconectado es el siguiente: / The diagram to be displayed on the UPS screen to ensure that the inverter is disconnected is as follows: Según queramos dejar una UPS o ambas en paralelo contra la instalación, habrá que dejar uno de los interruptores QA19 o QA20 (retorno de UPS principal y secundaria), o ambos, insertados y cerrados. Para poder realizar esta maniobra se deberá retirar el LOTO si lo habíamos puesto. Para ello, se extrae el útil localizado en la parte inferior izquierda del interruptor (1), pulsas el botón (2) para poder introducir el útil, y lo introduces en la ranura derecha (3). Una vez has insertado el útil, comienzas a girarlo hasta que el breaker se encuentre extraído./ 4.3 Depending on whether you want to leave one UPS or both in parallel against the installation, you will have to leave one of the switches QA19 or QA20 (main and secondary UPS return), or both inserted and closed. To be able to perform this maneuver, the LOTO must be removed if it was installed. To do this, remove the tool located at the bottom left of the circuit breaker (1), press the button (2) to insert the tool, and insert it into the right slot (3). Once you have inserted the tool, start turning it until the breaker is removed. 15  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID Útil (1) Botón (2) Ranura (3) Nota: Cuando estamos girando el útil tanto para meter como para extraer el interruptor, llegará un momento que estaremos sobre la posición TEST, y no podremos continuar la maniobra. En ese momento, es necesario volver a pulsar el botón PUSH BEFORE OPERATING. A partir de ese momento, podremos terminar de extraer o introducir el interruptor. Note: When we are turning the tool both to insert and to extract the breaker, there will come a moment when we will be on the TEST position, and we will not be able to continue the maneuver. At that moment, it is necessary to press the PUSH BEFORE OPERATING button again. From that moment on, we will be able to finish extracting or inserting the breaker. Después, acudiremos bloqueo del solenoide Castell y extraeremos la llave enclavada, para poder insertarla en el interruptor QB18. / Right after, we will go to the Castell solenoid lock and remove the interlocked key to insert it into the QB18 switch. Cierre el interruptor [QB18] acoplamiento de barras. / 4.4 Switch on the switch [QB18] busbar coupling. Para realizar dicha maniobra, debemos utilizar la palanca de carga y buscar el botón de encendido ON. / To perform this maneuver, we must use the charging lever and look for the ON button. 16  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID Palanca de carga Botón ON Las salidas se alimentan ahora desde el bypass externo del UPS y el acoplamiento de barras QB18. / Outputs are now fed from the UPS external bypass and the QB18 bus coupling. Asegurándonos que la instalación está alimentada por ambos sitios, disparar el disyuntor [QA5] UPS BYPASS y pulsar el botón OFF. / 4.5 Making sure that the installation is powered from both sides, trip the circuit breaker [QA5] and turn it to OFF position. 17  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID Colocaremos la llave en el bloqueo del solenoide Castell y giraremos para cerrar el bloqueo. / We will place the key on the Castell solenoid lock and turn it to close the lock. 4.6 A continuación, entraremos en el menú de la UPS y encendemos los inversores. / Next, enter the UPS menu and turn on the inverters. 4.7 18  OPERATIONS Edged Data Center EOP005_Pérdida de todas las UPS en un SKID Si se pretende dejar ambas UPS funcionando en paralelo contra la instalación, de nuevo nos aparecerá la opción de encender ambos inversores a la vez. Para ello, de nuevo pulsaremos en Sistema. / If the intention is to leave both UPS running in parallel against the installation, again the option to switch on both inverters at the same time will appear. To do this, again click on System. 4.8 Pedirá confirmación para encender y pulsaremos sobre ACEPTAR. / It will ask for confirmation to switch off and click on OK. 4.9 Ahora la UPS estará completamente encendida y con la carga protegida. / 4.10 The UPS will now be fully switched on and the load protected. Ubicación del procedimiento / Procedure Location OCC MVDs 19