2nd International Symposium on "Generation and Transfer of Knowledge for Digital Transformation"

SITIC2023

Design and implementation of a CEPH based distributed storage network

Abstract

Problem: Data storage systems should be considered of special importance in the server rooms of organizations or data centers for public and private clouds. The loss of information due to the breakage of isolated storage devices such as disks, disk arrays, etc., constitutes the most sensitive problem in organizations.
Objective(s): Existing storage area network (SAN) technological solutions are generally proprietary, expensive, and lacking integration mechanisms with other solutions from different manufacturers. In this work, two open source distributed storage solutions were studied to be implemented in the Division Territorial de ETECSA en Cienfuegos.

Methodology: Theoretical, Analytical-Synthetic: It was necessary to study the general concepts associated with the protocols and mechanisms to achieve distributed storage. Empirical, Observation: To measure the impact of the implementation of the proposed solution.

Results and discussion: A storage network was designed using servers with heterogeneous hardware features, and it was implemented by measuring the impact of its operation.

Conclusions:

o The CEPH system allows one of its servers to stop working and yet the virtual machines (VMs) running on the Proxmox VE continue to perform read/write operations.

o VMs write data to the CEPH system with less bandwidth than they do when writing to local disks. But it was more convenient to use CEPH because it allows hot migration of VMs, and high availability in the virtualization platform and storage.

Resumen

Problemática: Los sistemas de almacenamiento de datos deben considerarse de especial importancia en los locales de servidores de organizaciones o centros de datos para nubes públicas y privadas. La pérdida de información por rotura de dispositivos de almacenamiento aislados como discos, arreglo de discos, etc., constituye el problema más sensible en las organizaciones.

Objetivo(s): Las soluciones tecnológicas de redes de área de almacenamiento (SAN) existentes son generalmente privativas, de elevado precio, y carentes de mecanismos de integración con otras soluciones distintos fabricantes. En este trabajo se estudiaron dos soluciones de almacenamiento distribuido de código abierto para implementar en la División Territorial de ETECSA en Cienfuegos.

Metodología: Teórico, Analítico-Sintético: Fue necesario estudiar los conceptos generales asociados a los protocolos y mecanismos para lograr almacenamiento distribuido. Empírico, Observación: Para medir el impacto de la implementación de la solución propuesta

Resultados y discusión: Se diseñó una red de almacenamiento utilizando servidores con prestaciones de hardware heterogéneas, y fue implementada midiendo el impacto de su funcionamiento.
Conclusiones:
o El sistema CEPH permite que uno de sus servidores deje de funcionar y aún así las máquinas virtuales (VMs) que se ejecutan en los Proxmox VE siguen realizando operaciones de lectura/escritura.
o Las VMs escriben datos en el sistema CEPH con menor ancho de banda que como lo hacen cuando escriben en discos locales. Pero fue más conveniente utilizar CEPH porque permite migración en caliente de VMs, y alta disponibilidad en la plataforma de virtualización y en el almacenamiento.