Copia de seguridad de datos 

Mientras que la replicación proporciona protección contra fallos de hardware, no protege de errores humanos: el borrado accidental de datos, elminar la tabla equivocada o una tabla en el clúster equivocado, y bugs de software que dan como resultado un procesado incorrecto de los datos o la corrupción de los datos. En muchos casos, errores como estos afectarán a todas las réplicas. ClickHouse dispone de salvaguardas para prevenir algunos tipos de errores — por ejemplo, por defecto no se puede simplemente eliminar tablas con un motor similar a MergeTree que contenga más de 50 Gb de datos. Sin embargo, estas salvaguardas no cubren todos los casos posibles y pueden eludirse.

Para mitigar eficazmente los posibles errores humanos, debe preparar cuidadosamente una estrategia para realizar copias de seguridad y restaurar sus datos previamente.

Cada empresa tiene diferentes recursos disponibles y requisitos comerciales, por lo que no existe una solución universal para las copias de seguridad y restauraciones de ClickHouse que se adapten a cada situación. Lo que funciona para un gigabyte de datos probablemente no funcionará para decenas de petabytes. Hay una variedad de posibles enfoques con sus propios pros y contras, que se discutirán a continuación. Es una buena idea utilizar varios enfoques en lugar de uno solo para compensar sus diversas deficiencias.

Duplicar datos de origen en otro lugar 

A menudo, los datos que se ingieren en ClickHouse se entregan a través de algún tipo de cola persistente, como Acerca de nosotros. En este caso, es posible configurar un conjunto adicional de suscriptores que leerá el mismo flujo de datos mientras se escribe en ClickHouse y lo almacenará en almacenamiento en frío en algún lugar. La mayoría de las empresas ya tienen algún almacenamiento en frío recomendado por defecto, que podría ser un almacén de objetos o un sistema de archivos distribuido como HDFS.

Instantáneas del sistema de archivos 

Algunos sistemas de archivos locales proporcionan funcionalidad de instantánea (por ejemplo, ZFS), pero podrían no ser la mejor opción para servir consultas en vivo. Una posible solución es crear réplicas adicionales con este tipo de sistema de archivos y excluirlas del Distribuido tablas que se utilizan para SELECT consulta. Las instantáneas en tales réplicas estarán fuera del alcance de cualquier consulta que modifique los datos. Como beneficio adicional, estas réplicas podrían tener configuraciones de hardware especiales con más discos conectados por servidor, lo que sería rentable.

Método de codificación de datos: 

Método de codificación de datos: es una herramienta versátil que se creó inicialmente para volver a dividir tablas de tamaño petabyte. También se puede usar con fines de copia de seguridad y restauración porque copia datos de forma fiable entre tablas y clústeres de ClickHouse.

Para volúmenes de datos más pequeños, un simple INSERT INTO ... SELECT ... a tablas remotas podría funcionar también.

Manipulaciones con piezas 

ClickHouse permite usar la consulta ALTER TABLE ... FREEZE PARTITION ... para crear una copia local de particiones de tabla. Esto se implementa utilizando enlaces duros a la carpeta /var/lib/clickhouse/shadow/, por lo que generalmente no consume espacio adicional en disco para datos antiguos. Las copias creadas de archivos no son manejadas por el servidor ClickHouse, por lo que puede dejarlas allí: tendrá una copia de seguridad simple que no requiere ningún sistema externo adicional, pero seguirá siendo propenso a problemas de hardware. Por esta razón, es mejor copiarlos de forma remota en otra ubicación y luego eliminar las copias locales. Los sistemas de archivos distribuidos y los almacenes de objetos siguen siendo una buena opción para esto, pero los servidores de archivos conectados normales con una capacidad lo suficientemente grande podrían funcionar también (en este caso, la transferencia ocurrirá a través del sistema de archivos de red o tal vez rsync).

Para obtener más información sobre las consultas relacionadas con las manipulaciones de particiones, consulte Documentación de ALTER.

Una herramienta de terceros está disponible para automatizar este enfoque: Haga clic en el botón de copia de seguridad.

Artículo Original

Rating: 3.1 - 11 votes

Was this content helpful?
★★★☆☆