{"id":2905,"date":"2019-09-26T15:04:46","date_gmt":"2019-09-26T19:04:46","guid":{"rendered":"http:\/\/arielantigua.com\/weblog\/?p=2905"},"modified":"2021-02-19T14:08:54","modified_gmt":"2021-02-19T18:08:54","slug":"kubernetes-almacenamiento-con-linstor","status":"publish","type":"post","link":"https:\/\/arielantigua.com\/weblog\/2019\/09\/kubernetes-almacenamiento-con-linstor\/","title":{"rendered":"Kubernetes \u2013 Almacenamiento con Linstor."},"content":{"rendered":"

Kubernetes \u2013 Almacenamiento con Linstor.<\/p>\n

Hace ya un tiempo que escrib\u00ed sobre k8s, otros proyectos han tomado tiempo y recursos, hace unas semanas retome el cl\u00faster que tengo en casa para terminar las configuraciones necesarias y mover lo m\u00e1s que pueda de algunas m\u00e1quinas virtuales que tengo en vSphere<\/strong> y que entiendo desempe\u00f1ar\u00edan mejor estando en Kubernetes<\/strong>.<\/p>\n

Inicialmente las pruebas fueron realizadas con longhorn, algunos problemas los cuales no inspiran mucha confianza me hicieron no escribir sobre esa implementaci\u00f3n, claramente Rancher<\/strong> dice que es un proyecto aun en beta.<\/p>\n

Hace unas semanas le\u00ed sobre Linstor<\/strong> [ http:\/\/vitobotta.com\/2019\/08\/07\/linstor-storage-with-kubernetes\/<\/a> ], la instalaci\u00f3n fue realizada en Ubuntu que es la misma distribuci\u00f3n que estoy usando. He decidido usar esta implementaci\u00f3n porque usa LVM como backend en los equipos que aportaran almacenamiento para el cl\u00faster, adem\u00e1s de esto los nodos que est\u00e1n aportando almacenamiento no necesariamente deben tener k8s, al menos eso es lo que entiendo y algo que debo validar.<\/p>\n

Instalando Linstor.<\/strong><\/p>\n

Prepararemos nuestros equipos con los siguientes pasos:<\/p>\n

\n
apt-get install linux-headers-$(uname -r)\nadd-apt-repository ppa:linbit\/linbit-drbd9-stack\napt-get update\napt install drbd-utils drbd-dkms lvm2\nmodprobe drbd\nlsmod | grep -i drbd\necho drbd > \/etc\/modules-load.d\/drbd.conf<\/pre>\n<\/blockquote>\n
 <\/p>\n
En este punto ya los equipos est\u00e1n listos para instalar los componentes de Linstor<\/strong>. Para estar seguro de que todo estaba bien proced\u00ed a reiniciar el nodo.<\/p>\n
Seleccionamos un equipo para que sea controlador del cluster de Linstor<\/strong>, adem\u00e1s este mismo equipo puede aportar almacenamiento as\u00ed que tambi\u00e9n instalaremos el componente de satellite<\/strong>.<\/p>\n
\n
apt install linstor-controller linstor-satellite linstor-client<\/pre>\n<\/blockquote>\n
Ahora habilitamos e inicializamos los componentes.<\/p>\n
\n
systemctl enable --now linstor-controller\nsystemctl start linstor-controller<\/pre>\n<\/blockquote>\n
En los dem\u00e1s equipos instalamos el componente de sat\u00e9lite.<\/p>\n
\n
apt install linstor-satellite linstor-client<\/pre>\n<\/blockquote>\n
Habilitamos el servicio y lo iniciamos.<\/p>\n
\n
systemctl enable --now linstor-satellite\nsystemctl start linstor-satellite<\/pre>\n<\/blockquote>\n
Desde el controller agregamos los equipos sat\u00e9lites.<\/p>\n
\n
linstor node create kube1 172.22.35.25\nlinstor node create kube2 172.22.35.26\nlinstor node create kube3 172.22.35.27<\/pre>\n<\/blockquote>\n
Esperamos unos minutos y ejecutamos:<\/p>\n
\n
linstor node list<\/pre>\n<\/blockquote>\n
Este comando nos mostrar\u00e1 la lista de nodos disponibles, ser\u00e1 algo as\u00ed:<\/p>\n
<\/p>\n
Ya contamos con un cl\u00faster de Linstor<\/strong> pero aun no estamos presentando almacenamiento a este, procederemos a crear almacenamiento administrado por LVM, Linstor<\/strong> soporta ZFS, esta es una herramienta que nunca he usado en el pasado de manera seria as\u00ed que prefiero LVM que tiene a\u00f1os disponible en las distribuciones Linux.<\/p>\n
En cada m\u00e1quina virtual para Kubernetes<\/strong> agregue dos discos, uno para el sistema operativo y otro para almacenamiento que ahora ser\u00e1 usado en su totalidad con Linstor<\/strong>.<\/p>\n
Lo primero es preparar el disco f\u00edsico para ser usado en LVM.<\/p>\n
\n
pvcreate \/dev\/sdb<\/pre>\n<\/blockquote>\n
Luego creamos un volumen group (vg).<\/p>\n
\n
vgcreate kube \/dev\/sdb<\/pre>\n<\/blockquote>\n
He seleccionado kube para que sea el nombre del Volume Group.<\/p>\n
Procederemos a crear un thin pool, esto nos permitir\u00e1 crear vol\u00famenes m\u00e1s grandes que el espacio f\u00edsico del cual disponemos.<\/p>\n
\n
lvcreate -l 100%FREE --thinpool kube\/lvmthinpool<\/pre>\n<\/blockquote>\n
Una vez realizados estos pasas en cada nodo que aportara almacenamiento al cluster, volvemos al controller para crear un storage-pool.<\/p>\n
\n
linstor storage-pool create lvmthin kube1 linstor-pool kube\/lvmthinpool\nlinstor storage-pool create lvmthin kube2 linstor-pool kube\/lvmthinpool\nlinstor storage-pool create lvmthin kube3 linstor-pool kube\/lvmthinpool<\/pre>\n<\/blockquote>\n
validamos que nuestro storage-pool fue creado.<\/p>\n
\n
linstor storage-pool list<\/pre>\n<\/blockquote>\n
Debemos recibir lo siguiente:<\/p>\n
<\/p>\n
Listo, ya contamos con una plataforma para provisionar almacenamiento a Kubernetes<\/strong>, lo interesante es que tambi\u00e9n podr\u00eda provisionar almacenamiento a otras plataformas tales como Proxmox<\/strong>.<\/p>\n
Kubernetes \u2013 que necesitamos?<\/strong><\/p>\n
Para habilitar que Kubernetes<\/strong> pueda usar almacenamiento proveniente de Linstor<\/strong>, debemos contar con el plugin CSI y crear StorageClass, recomiendo tener una versi\u00f3n de Kubernetes<\/strong> m\u00ednimo 1.13 para que todo funcione bien ya que ah\u00ed plugins que no est\u00e1n habilitados por defecto antes de esta versi\u00f3n. Al momento de crear los CRD estos fallaban con un mensaje que especificaba la falta de CSINodeInfo, actualizando RKE<\/strong> a 1.14.6 se resolvi\u00f3.<\/p>\n
Instalaremos todo lo necesario para usar Linstor<\/strong> usando esta l\u00ednea la cual descargar la versi\u00f3n 0.7.2 del CSI y usando sed estamos cambian un valor de ejemplo por el controlador de Linstor<\/strong> que en mi caso es 172.22.35.25. Esto debe ser ejecutado en la misma maquina de donde administramos k8s.<\/p>\n
\n
curl https:\/\/raw.githubusercontent.com\/LINBIT\/linstor-csi\/v0.7.0\/examples\/k8s\/deploy\/linstor-csi-1.14.yaml | sed \"s\/linstor-controller.example.com\/172.22.35.25\/g\" | kubectl apply -f -<\/pre>\n<\/blockquote>\n
Podemos ver el avance del de la instalaci\u00f3n con:<\/p>\n
\n
watch kubectl -n kube-system get all<\/pre>\n<\/blockquote>\n
Procederemos a crear un Storage Class usando este yaml<\/p>\n
El n\u00famero de r\u00e9plicas debe ser el n\u00famero de nodos de Kubernetes<\/strong>.<\/p>\n
\n
apiVersion: storage.k8s.io\/v1\nkind: StorageClass\nmetadata:\n  name: linstor\nprovisioner: linstor.csi.linbit.com\nparameters:\n  autoPlace: \"3\"\n  storagePool: \"linstor-pool\"<\/pre>\n<\/blockquote>\n
Para este punto ya podemos hacer solicitudes de vol\u00famenes usando un PresistentVolumeClaim<\/p>\n
En mi caso ya tenia varios yaml con requerimientos de pvc, aqu\u00ed uno.<\/p>\n
\n
apiVersion: v1\nkind: PersistentVolumeClaim\nmetadata:\n  namespace: services\n  name: adguard-config\nspec:\n  storageClassName: linstor\n  accessModes:\n    - ReadWriteOnce\n  resources:\n    requests:\n       storage: 2Gi<\/pre>\n<\/blockquote>\n
<\/p>\n
Podemos ver que el STATUS es Bound, esto quiere decir que satisfactoriamente Linstor<\/strong> asigno espacio a Kubernetes<\/strong> para este volumen.<\/p>\n
Desde el punto de vista de Linstor<\/strong> usando<\/p>\n
linstor volume list<\/p>\n
Podemos ver lo siguiente:<\/p>\n
<\/p>\n
Estos son todos los vol\u00famenes que est\u00e1n siendo usados por contenedores en Kubernetes<\/strong>.<\/p>\n
Listo!<\/strong><\/p>\n
Ya puedo usar el cluster de Kubernetes<\/strong>, bueno por la cantidad de vol\u00famenes que se ven en la imagen se puede deducir que lo estoy usando. He movido varios servicios hacia el cl\u00faster y hasta ahora muy feliz con Kubernetes<\/strong>.<\/p>\n
El pr\u00f3ximo paso es los respaldos, para esto estar\u00e9 usando Velero de Heptio\/VMware<\/strong>.<\/p>\n
 <\/p>\n","protected":false},"excerpt":{"rendered":"
Kubernetes \u2013 Almacenamiento con Linstor. Hace ya un tiempo que escrib\u00ed sobre k8s, otros proyectos han tomado tiempo y recursos, hace unas semanas retome el cl\u00faster que tengo en casa para terminar las configuraciones necesarias y mover lo m\u00e1s que pueda de algunas m\u00e1quinas virtuales que tengo en vSphere y que entiendo desempe\u00f1ar\u00edan mejor estando […]<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[128,131,124],"tags":[129,139,132],"class_list":["post-2905","post","type-post","status-publish","format-standard","hentry","category-kubernetes","category-rancher","category-ubuntu","tag-k8s","tag-kubernetes","tag-rancher"],"_links":{"self":[{"href":"https:\/\/arielantigua.com\/weblog\/wp-json\/wp\/v2\/posts\/2905","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/arielantigua.com\/weblog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/arielantigua.com\/weblog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/arielantigua.com\/weblog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/arielantigua.com\/weblog\/wp-json\/wp\/v2\/comments?post=2905"}],"version-history":[{"count":0,"href":"https:\/\/arielantigua.com\/weblog\/wp-json\/wp\/v2\/posts\/2905\/revisions"}],"wp:attachment":[{"href":"https:\/\/arielantigua.com\/weblog\/wp-json\/wp\/v2\/media?parent=2905"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/arielantigua.com\/weblog\/wp-json\/wp\/v2\/categories?post=2905"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/arielantigua.com\/weblog\/wp-json\/wp\/v2\/tags?post=2905"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}