Almacenamiento en la nube de Riak. Parte 3. Soporte, proxy y equilibrio de carga, cliente S3

En este artículo, completaremos la configuración de los componentes del sistema Riak Cloud Storage.



Este artículo es la finalización de una serie de traducciones gratuitas del manual oficial del sistema Riak CS 2.1.1.

Parte 1. Configuración de Riak KV

Parte 2. Configuración del componente Riak CS

Configuración de Stanchion

Debe utilizar un solo nodo de Stanchion en su clúster. Todos los nodos de Riak CS en este clúster deben configurarse para comunicarse con el nodo de Stanchion para que el clúster pueda monitorear y reconciliar las operaciones causales.



Todas las configuraciones utilizadas por el nodo Stanchion están contenidas en el archivo stanchion.conf, que se encuentra en el directorio / etc / stanchion en la mayoría de los sistemas operativos.



Si está actualizando desde una versión anterior a Riak CS 2.0.0, cuando se introdujeron stanchion.conf y riak-cs.conf, aún puede usar el antiguo archivo de configuración app.config. Los ejemplos siguientes serán equivalentes.



STANCHION.CONF

configuration.name = value

APP.CONFIG

{stanchion, [
             %% Configs here
            ]}

Configuración de la dirección IP y el puerto para Stanchion

Si solo tiene un nodo Riak CS, no necesita cambiar la configuración de Stanchion, porque Stanchion solo está escuchando las solicitudes del host local. Si el clúster Riak CS tiene muchos nodos, entonces debe configurar la dirección IP y el puerto en el que Stanchion escuchará las solicitudes de otros nodos.



Puede establecer la dirección IP mediante el parámetro de escucha . Reemplace 127.0.0.1 con la dirección IP del nodo Stanchion y el puerto 8080 con el puerto del nodo:



STANCHION.CONF

listener = 127.0.0.1:8080

APP.CONFIG

{stanchion, [
             {host, {"127.0.0.1", 8085}},
             %% Other configs
            ]}

Nota sobre direcciones IP coincidentes La



dirección IP que ingrese aquí debe coincidir con la dirección IP en el parámetro stanchion_host en riak.conf para Riak y riak-cs.conf para Riak CS.

Si desea utilizar SSL, asegúrese de que los parámetros ssl.certfile y ssl.keyfile no estén comentados y configurados correctamente.



STANCHION.CONF

ssl.certfile = "./etc/cert.pem"
ssl.keyfile = "./etc/key.pem"

APP.CONFIG

{stanchion, [
             {ssl, [
                    {certfile, "./etc/cert.pem"},
                    {keyfile, "./etc/key.pem"}
                   ]},
             %% Other configs
            ]}

Configurar una cuenta de administrador

El administrador se crea al configurar el componente Riak CS. Se deben agregar los mismos permisos para cada Stanchion usado en el clúster. Esto se configura en stanchion.conf, que se encuentra en el directorio / etc / stanchion. Ingrese la misma admin.key y admin.secret



STANCHION.CONF

admin.key = OUCXMB6I3HOZ6D0GWO2D
admin.secret = a58Mqd3qN-SqCoFIta58Mqd3qN7umE2hnunGag==

APP.CONFIG

{stanchion, [
           %% Admin user credentials
           {admin_key, "OUCXMB6I3HOZ6D0GWO2D"},
           {admin_secret, "a58Mqd3qN-SqCoFIta58Mqd3qN7umE2hnunGag=="},
           %% Other configs
          ]}

Configuración de la información de Riak KV

Si está ejecutando un nodo para experimentación, o si el nodo Riak KV se está ejecutando localmente y está configurado para escuchar el tráfico del búfer de protocolo en 0.0.0.0, entonces la configuración predeterminada debería estar bien.



De lo contrario, actualice la dirección IP y el puerto del host Riak en el archivo de configuración de Stanchion.



STANCHION.CONF

riak_host = 127.0.0.1:8087

APP.CONFIG

{stanchion, [
             {riak_host, {"127.0.0.1", 8087}},
             %% Other configs
            ]}

Equilibrio de carga y proxy para Riak CS

Si planea usar Riak CS en uso industrial, le recomendamos encarecidamente que instale un equilibrador de carga o proxy, software o hardware, después de Riak CS. También tenga en cuenta que no debe exponer directamente Riak CS a interfaces de red abiertas.



Los usuarios de Riak CS informan que utilizan Riak CS con éxito con un equilibrador de carga o proxy. Las soluciones conjuntas incluyen equilibradores de carga de hardware patentados, opciones de equilibrador de carga basadas en la nube, como Elastic Load Balancer de Amazon, y soluciones de software de código abierto como HAProxy y Nginx.



Esta guía revisa brevemente la solución de uso compartido de código fuente de HAProxy y Nginx y proporciona algunos consejos operativos y de configuración recopilados por la comunidad de ingenieros y usuarios de Riak.

HAProxy

HAProxy es una solución rápida y confiable para el equilibrio de carga y el tráfico de aplicaciones HTTP y TCP.



Los usuarios informan sobre el uso exitoso de HAProxy en combinación con Riak CS en una serie de configuraciones y escenarios. Más información y ejemplos de configuración para esta sección son para usuarios avanzados de la comunidad de Riak CS, además de los comentarios de los ingenieros de Riak.



Ejemplo de configuración



El siguiente ejemplo es el punto de partida para configurar HAProxy como un equilibrador de carga para una instalación de Riak CS.

Nota sobre los



límites de archivos abiertos Los límites de archivos abiertos del sistema operativo deben ser superiores a 256.000 para el siguiente ejemplo de configuración. Consulte la documentación para conocer los límites de archivos abiertos para conocer la configuración detallada del valor para diferentes sistemas operativos.

CONFIG

global
    log 127.0.0.1     local0
    log 127.0.0.1     local1 notice
    maxconn           256000
    spread-checks     5
    daemon

defaults
    log               global
    option            dontlognull
    option            redispatch
    option            allbackups
    no option         httpclose
    retries           3
    maxconn           256000
    timeout connect   5000
    timeout client    5000
    timeout server    5000

frontend riak_cs
    bind              10.0.24.100:8080
    # Example bind for SSL termination
    # bind            10.0.24.100:8443 ssl crt /opt/local/haproxy/etc/data.pem
    mode              http
    option            httplog
    capture           request header Host len 64
    acl good_ips      src -f /opt/local/haproxy/etc/gip.lst
    block if          !good_ips
    use_backend       riak_cs_backend if good_ips

backend riak_cs_backend
    mode              http
    balance           roundrobin
    # Ping Riak CS to determine health
    option            httpchk GET /riak-cs/ping
    timeout connect 60s
    timeout http-request 60s
    server riak1 r1s01.example.com:8081 weight 1 maxconn 1024 check
    server riak2 r1s02.example.com:8081 weight 1 maxconn 1024 check
    server riak3 r1s03.example.com:8081 weight 1 maxconn 1024 check
    server riak4 r1s04.example.com:8081 weight 1 maxconn 1024 check
    server riak5 r1s05.example.com:8081 weight 1 maxconn 1024 check

Tenga en cuenta que el ejemplo anterior se considera un punto de partida y es un trabajo en progreso.

Debe tener cuidado al aplicar esta configuración y modificarla para adaptarla a su entorno.

Un detalle de configuración específico que vale la pena destacar del ejemplo es la opción comentada para usar SSL. HAProxy admite SSL directamente desde la versión 1.5. Asegúrese de que su instancia de HAProxy esté construida con soporte OpenSSL, puede habilitar SSL descomentando la línea y modificándola para que se adapte a su entorno.



Puede encontrar más información en la documentación de HAProxy .



Además, preste atención a la opción de verificación de estado de Riak CS a través del punto final / riak-cs / ping. Este parámetro es necesario para validar cada host Riak CS como parte del método de operación por turnos de equilibrio de carga.

Nginx

Varios usuarios han informado que han utilizado correctamente un servidor HTTP Nginx para enviar solicitudes de proxy para Riak CS. Aquí se incluye un ejemplo que proporciona acceso a Riak CS como referencia.



Ejemplo de configuración



A continuación se muestra un ejemplo de configuración inicial para que Nginx actúe como un proxy de front-end para Riak CS.



CONFIG

upstream riak_cs_host {
  server  10.0.1.10:8080;
}

server {
  listen   80;
  server_name  _;
  access_log  /var/log/nginx/riak_cs.access.log;

  location / {
    proxy_set_header Host $http_host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_redirect off;

    proxy_connect_timeout      90;
    proxy_send_timeout         90;
    proxy_read_timeout         90;

    proxy_buffer_size          64k;  # If set to a smaller value,
                                     # nginx can complain with a
                                     # "headers too large" error

    proxy_buffers 8  64k;   # Increase from default of (8, 8k).
                            # If left to default with increased
                            # proxy_buffer_size, nginx complains
                            # that proxy_busy_buffers_size is too
                            # large.

    proxy_pass http://riak_cs_host;
  }
}

Tenga en cuenta que la directiva proxy_set_header Host $ http_host es necesaria para garantizar que el encabezado HTTP Host: se pase a Riak CS tal como se recibe y no se traduzca al nombre de host o la dirección del servidor backend de Riak CS.



También es importante tener en cuenta que proxy_pass no debe terminar con una barra, ya que esto puede provocar varios problemas.

Configuración del cliente S3

Este tutorial le muestra cómo utilizar s3cmd como cliente S3. Si bien no cubrirá todas las funciones del cliente, le mostrará cómo crear una configuración y ejecutar algunos comandos básicos.

Nota: s3cmd Signature Version



Si está utilizando s3cmd versión 1.5.0 o superior, debe agregar la marca --signature-v2 para cada comando dirigido al clúster de Riak CS para que s3cmd use AWS versión 2 y no el AWS 3 predeterminado.

Configuración inicial

Para utilizar s3cmd junto con Riak CS, debe configurar la utilidad para que se conecte con su sistema Riak CS. Una forma es crear un archivo .s3cfg y guardarlo en su directorio personal. Cuando ejecuta cualquier comando relacionado con s3cmd, el contenido del archivo se leerá de forma predeterminada. Alternativamente, puede especificar un archivo de configuración usando el indicador -c . Ejemplo:



SHELL

s3cmd -c /PATH/TO/CONFIG/FILE <command>

Una forma alternativa de configurar s3cmd es ejecutar s3cmd --configure , que lanzará una herramienta interactiva y creará un archivo de configuración basado en lo que ingrese.



En la siguiente sección, encontrará un pequeño ejemplo de archivos .s3cfg que se pueden usar para configurar la comunicación con Riak CS.

Ejemplo de archivo de configuración de s3cmd para uso local

Utilice este archivo de configuración .s3cfg de ejemplo para comunicarse con Riak CS localmente en el puerto 8080 con s3cmd (recuerde incluir información específica para su instalación de Riak CS si es necesario).



CONFIG

[default]
access_key = 8QON4KC7BMAYYBCEX5J+
bucket_location = US
cloudfront_host = cloudfront.amazonaws.com
cloudfront_resource = /2010-07-15/distribution
default_mime_type = binary/octet-stream
delete_removed = False
dry_run = False
enable_multipart = False
encoding = UTF-8
encrypt = False
follow_symlinks = False
force = False
get_continue = False
gpg_command = /usr/local/bin/gpg
gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s
gpg_encrypt = %(gpg_command)s -c --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s
gpg_passphrase = password
guess_mime_type = True
host_base = s3.amazonaws.com
host_bucket = %(bucket)s.s3.amazonaws.com
human_readable_sizes = False
list_md5 = False
log_target_prefix =
preserve_attrs = True
progress_meter = True
proxy_host = localhost
proxy_port = 8080
recursive = False
recv_chunk = 4096
reduced_redundancy = False
secret_key = rGyDLBi7clBuvrdrkFA6mAJkwJ3ApUVr4Pr9Aw==
send_chunk = 4096
simpledb_host = sdb.amazonaws.com
skip_existing = False
socket_timeout = 300
urlencoding_mode = normal
use_https = False
verbosity = WARNING
signature_v2 = True

Ejemplo de archivo de configuración de s3cmd para usar en producción

Utilice este archivo de configuración .s3cfg de ejemplo para interactuar con Riak CS a través de s3cmd en un sistema de producción.



CONFIG

[default]
access_key = EJ8IUJX9X0F2P9HAMIB0
bucket_location = US
cloudfront_host = cloudfront.amazonaws.com
cloudfront_resource = /2010-07-15/distribution
default_mime_type = binary/octet-stream
delete_removed = False
dry_run = False
enable_multipart = False
encoding = UTF-8
encrypt = False
follow_symlinks = False
force = False
get_continue = False
gpg_command = /usr/local/bin/gpg
gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s
gpg_encrypt = %(gpg_command)s -c --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s
gpg_passphrase = password
guess_mime_type = True
host_base = <YOUR DOMAIN HERE>
host_bucket = %(bucket)s.<YOUR DOMAIN HERE>
human_readable_sizes = False
list_md5 = False
log_target_prefix =
preserve_attrs = True
progress_meter = True
proxy_host =
proxy_port = 0
recursive = False
recv_chunk = 4096
reduced_redundancy = False
secret_key = XOY/9IFKVEDUl6Allrkj7oyH9XW+CANnFLEVuw==
send_chunk = 4096
simpledb_host = sdb.amazonaws.com
skip_existing = False
socket_timeout = 300
urlencoding_mode = normal
use_https = True
verbosity = WARNING
signature_v2 = True

Para configurar el cliente s3cmd para un usuario, debe cambiar la clave de acceso y la clave secreta.

Configurar la ubicación de almacenamiento

De forma predeterminada, el archivo .3cfg utiliza el servicio Amazon S3 como backend de almacenamiento. Para un sistema Riak CS, cambie las siguientes configuraciones para que apunten a su sistema de almacenamiento.

• host_base : proporcione un nombre de dominio o una ruta a su almacén de datos, por ejemplo, data.example.com
• host_bucket : especifique la ubicación del depósito, por ejemplo, my_cs_bucket.data.example.com

Usando SSL en el cliente

Si está utilizando SSL, establezca el parámetro use_https en True .

Enlaces

Almacenamiento en la nube de Riak. Parte 1. Configuración de Riak KV

Riak Cloud Storage. Parte 2. Configuración del componente Riak CS

Riak Cloud Storage. Parte 3. Stanchion, Proxy y Load Balancing, S3 Client

Manual original.