This commit is contained in:
2025-06-23 23:05:28 +07:00
commit e8f9d2bbe7
42 changed files with 14772 additions and 0 deletions

108
talos-k8s/README.md Normal file
View File

@@ -0,0 +1,108 @@
# Talos
## Что такое Talos?
[Talos Linux](https://www.talos.dev/) — это **Linux**, разработанный для [Kubernetes](https://kubernetes.io/): безопасный, неизменяемый и минималистичный.
- Поддерживает **облачные платформы, «голое железо» и платформы виртуализации**
- Все **управление системой осуществляется через API**. Нет SSH, оболочки или консоли
- Готовность к работе: **поддерживает одни из крупнейших Kubernetes-кластеров в мире**
- Проект с открытым исходным кодом от команды [Sidero Labs](https://www.siderolabs.com/)
ISO-образы для архитектур amd64 и arm64 доступны на [странице релизов Talos](https://github.com/siderolabs/talos/releases/).
[руководству по началу работы](https://www.talos.dev/v1.9/introduction/getting-started/)
[фабрика по сборке iso](https://factory.talos.dev/)
## Генерация и установка
эту часть делает ренератор generator.sh
```bash
talosctl gen secrets -o config/secrets.yaml
talosctl gen config --kubernetes-version 1.33.2 --with-secrets config/secrets.yaml talos-demo https://192.168.23.51:6443 --config-patch @patch.yaml
talosctl machineconfig patch config/controlplane.yaml --patch @cp1.patch --output config/cp1.yaml
talosctl machineconfig patch config/controlplane.yaml --patch @cp2.patch --output config/cp2.yaml
talosctl machineconfig patch config/controlplane.yaml --patch @cp3.patch --output config/cp3.yaml
talosctl machineconfig patch config/worker.yaml --patch @worker1.patch --output config/worker1.yaml
talosctl machineconfig patch config/worker.yaml --patch @worker2.patch --output config/worker2.yaml
```
эту часть делаем мы
```bash
talosctl apply-config --insecure -n 192.168.23.51 --file config/cp1.yaml
talosctl bootstrap --nodes 192.168.23.51 --endpoints 192.168.23.51 --talosconfig=config/talosconfig
talosctl apply-config --insecure -n 192.168.23.52 --file config/cp2.yaml
talosctl apply-config --insecure -n 192.168.23.53 --file config/cp3.yaml
talosctl apply-config --insecure -n 192.168.23.54 --file config/worker1.yaml
talosctl apply-config --insecure -n 192.168.23.55 --file config/worker2.yaml
talosctl kubeconfig ~/.kube/talos-demo.yaml --nodes 192.168.23.51 --endpoints 192.168.23.51 --talosconfig config/talosconfig
```
## Cilium
```bash
helm repo add cilium https://helm.cilium.io/
helm repo update
helm upgrade \
--install \
cilium \
cilium/cilium \
--version 1.17.5 \
--namespace kube-system \
--values cilium/values.yaml \
--set cluster.name=talos-demo \
--set cluster.id=1
kubectl apply -f cilium/ippool.yaml
kubectl apply -f cilium/l2-announcement-policy.yaml
```
## Re-Apply configs
```bash
talosctl --talosconfig config/talosconfig apply-config -n 192.168.23.51 --file config/cp1.yaml
talosctl --talosconfig config/talosconfig apply-config -n 192.168.23.52 --file config/cp2.yaml
talosctl --talosconfig config/talosconfig apply-config -n 192.168.23.53 --file config/cp3.yaml
talosctl --talosconfig config/talosconfig apply-config -n 192.168.23.54 --file config/worker1.yaml
talosctl --talosconfig config/talosconfig apply-config -n 192.168.23.55 --file config/worker2.yaml
```
## Re-Apply configs and reboot
```bash
talosctl --talosconfig config/talosconfig apply-config -n 192.168.23.51 --file config/cp1.yaml --mode=reboot
talosctl --talosconfig config/talosconfig apply-config -n 192.168.23.52 --file config/cp2.yaml --mode=reboot
talosctl --talosconfig config/talosconfig apply-config -n 192.168.23.53 --file config/cp3.yaml --mode=reboot
talosctl --talosconfig config/talosconfig apply-config -n 192.168.23.54 --file config/worker1.yaml --mode=reboot
talosctl --talosconfig config/talosconfig apply-config -n 192.168.23.55 --file config/worker2.yaml --mode=reboot
```
## Upgrade
```bash
IMAGE=factory.talos.dev/metal-installer/956b9107edd250304169d2e7a765cdd4e0c31f9097036e2e113b042e6c01bb98:v1.10.4
talosctl --talosconfig config/talosconfig upgrade --nodes 192.168.23.51 --image ${IMAGE}
talosctl --talosconfig config/talosconfig upgrade --nodes 192.168.23.52 --image ${IMAGE}
talosctl --talosconfig config/talosconfig upgrade --nodes 192.168.23.53 --image ${IMAGE}
talosctl --talosconfig config/talosconfig upgrade --nodes 192.168.23.53 --image ${IMAGE}
talosctl --talosconfig config/talosconfig upgrade --nodes 192.168.23.55 --image ${IMAGE}
```
## Upgrade k8s
```bash
talosctl --nodes 192.168.23.100 --talosconfig config/talosconfig upgrade-k8s --to 1.33.2
```

View File

@@ -0,0 +1,7 @@
apiVersion: cilium.io/v2alpha1
kind: CiliumLoadBalancerIPPool
metadata:
name: pool
spec:
blocks:
- cidr: 192.168.23.21/32

View File

@@ -0,0 +1,16 @@
apiVersion: cilium.io/v2alpha1
kind: CiliumL2AnnouncementPolicy
metadata:
name: policy1
spec:
serviceSelector:
matchLabels:
color: blue
nodeSelector:
matchExpressions:
- key: node-role.kubernetes.io/control-plane
operator: DoesNotExist
interfaces:
- ^eth+
externalIPs: true
loadBalancerIPs: true

View File

@@ -0,0 +1,35 @@
ipam:
mode: kubernetes
kubeProxyReplacement: true
securityContext:
capabilities:
ciliumAgent:
- CHOWN
- KILL
- NET_ADMIN
- NET_RAW
- IPC_LOCK
- SYS_ADMIN
- SYS_RESOURCE
- DAC_OVERRIDE
- FOWNER
- SETGID
- SETUID
cleanCiliumState:
- NET_ADMIN
- SYS_ADMIN
- SYS_RESOURCE
cgroup:
autoMount:
enabled: false
hostRoot: /sys/fs/cgroup
k8sServiceHost: 192.168.23.20
k8sServicePort: 6443
l2announcements:
enabled: true
devices: ens+
hubble:
relay:
enabled: true
ui:
enabled: true

438
talos-k8s/generate.sh Executable file
View File

@@ -0,0 +1,438 @@
#!/bin/bash
### Дефолты ###
IMAGE=factory.talos.dev/metal-installer/956b9107edd250304169d2e7a765cdd4e0c31f9097036e2e113b042e6c01bb98:v1.10.4
DEFAULT_K8S_VERSION=1.33.2
CONFIG_DIR="config"
# Цвета для вывода
GREEN='\033[0;32m'
YELLOW='\033[1;33m'
NC='\033[0m' # No Color
# Helper function for checking uniqueness in an array
contains_element () {
local e match="$1"
shift
for e; do [[ "$e" == "$match" ]] && return 0; done
return 1
}
# Function for asking yes/no questions
ask_yes_no() {
local prompt="$1"
local default="$2"
local answer
while true; do
read -p "$prompt" answer
answer=${answer:-$default}
answer=$(echo "$answer" | tr '[:upper:]' '[:lower:]') # convert to lowercase
case "$answer" in
y|yes)
echo "y"
return 0
;;
n|no)
echo "n"
return 0
;;
*)
echo -e "${YELLOW}Некорректный ввод. Введите 'y'/'yes' или 'n'/'no'.${NC}"
;;
esac
done
}
echo -e "${GREEN}--- Интерактивный конфигуратор Talos K8s ---${NC}"
# --- Вопросы пользователю ---
# Имя кластера
read -p "Введите имя кластера [talos-demo]: " CLUSTER_NAME
CLUSTER_NAME=${CLUSTER_NAME:-talos-demo}
# Версия Kubernetes
read -p "Введите версию Kubernetes [${DEFAULT_K8S_VERSION}]: " K8S_VERSION
K8S_VERSION=${K8S_VERSION:-${DEFAULT_K8S_VERSION}}
echo "K8S_VERSION: ${K8S_VERSION}"
# Имя сетевого адаптера
read -p "Введите имя сетевого адаптера (например, ens18 или eth0) [ens18]: " INTERFACE_NAME
INTERFACE_NAME=${INTERFACE_NAME:-ens18}
# Количество control plane
while true; do
read -p "Введите количество control plane (нечетное, макс 7) [1]: " CP_COUNT
CP_COUNT=${CP_COUNT:-1}
if (( CP_COUNT % 2 != 0 && CP_COUNT > 0 && CP_COUNT <= 7 )); then
break
else
echo -e "${YELLOW}Некорректное значение. Введите нечетное число от 1 до 7.${NC}"
fi
done
# Количество worker-нод
while true; do
read -p "Введите количество worker-нод (макс 15, мин 0) [2]: " WORKER_COUNT
WORKER_COUNT=${WORKER_COUNT:-2}
if (( WORKER_COUNT >= 0 && WORKER_COUNT <= 15 )); then
break
else
echo -e "${YELLOW}Некорректное значение. Введите число от 0 до 15.${NC}"
fi
done
# Общий шлюз
while true; do
read -p "Введите общий gateway (например, 192.168.23.1): " GATEWAY
if [[ -n "$GATEWAY" ]]; then
USED_IPS+=("$GATEWAY")
break
else
echo -e "${YELLOW}Gateway не может быть пустым.${NC}"
fi
done
# Маска сети
while true; do
read -p "Введите маску сети (например, 24) [24]: " NETMASK
NETMASK=${NETMASK:-24}
if [[ -n "$NETMASK" ]]; then
break
else
echo -e "${YELLOW}Маска сети не может быть пустой.${NC}"
fi
done
# DNS-серверы
while true; do
read -p "Введите первый DNS сервер: (например, 8.8.8.8) [8.8.8.8]: " DNS1
DNS1=${DNS1:-8.8.8.8}
if [[ -n "$DNS1" ]]; then
break
else
echo -e "${YELLOW}DNS сервер не может быть пустым.${NC}"
fi
done
while true; do
read -p "Введите второй DNS сервер: (например, 8.8.4.4) [8.8.4.4]: " DNS2
DNS2=${DNS2:-8.8.4.4}
if [[ -n "$DNS2" ]]; then
break
else
echo -e "${YELLOW}DNS сервер не может быть пустым.${NC}"
fi
done
# NTP-серверы
read -p "Введите первый NTP сервер [1.ru.pool.ntp.org]: " NTP1
NTP1=${NTP1:-1.ru.pool.ntp.org}
read -p "Введите второй NTP сервер [2.ru.pool.ntp.org]: " NTP2
NTP2=${NTP2:-2.ru.pool.ntp.org}
read -p "Введите третий NTP сервер [3.ru.pool.ntp.org]: " NTP3
NTP3=${NTP3:-3.ru.pool.ntp.org}
# VIP адрес
VIP_IP=""
USE_VIP="n"
if (( CP_COUNT > 1 )); then
USE_VIP=$(ask_yes_no "Нужен ли VIP адрес? (y/n) [y]: " "y")
if [[ "$USE_VIP" == "y" ]]; then
while true; do
read -p "Введите VIP адрес (например, 192.168.23.20): " VIP_IP
if [[ -z "$VIP_IP" ]]; then
echo -e "${YELLOW}VIP адрес не может быть пустым.${NC}"
continue
fi
if contains_element "$VIP_IP" "${USED_IPS[@]}"; then
echo -e "${YELLOW}Этот IP адрес уже используется. Введите уникальный адрес.${NC}"
else
USED_IPS+=("$VIP_IP")
break
fi
done
fi
fi
# Внешний балансировщик
EXT_BALANCER_IP=""
USE_EXT_BALANCER=$(ask_yes_no "Нужен ли внешний балансировщик? (y/n) [n]: " "n")
if [[ "$USE_EXT_BALANCER" == "y" ]]; then
while true; do
read -p "Введите IP адрес внешнего балансировщика: " EXT_BALANCER_IP_INPUT
if [[ -z "$EXT_BALANCER_IP_INPUT" ]]; then
echo -e "${YELLOW}IP адрес не может быть пустым.${NC}"
continue
fi
if contains_element "$EXT_BALANCER_IP_INPUT" "${USED_IPS[@]}"; then
echo -e "${YELLOW}Этот IP адрес уже используется. Введите уникальный адрес.${NC}"
else
EXT_BALANCER_IP=$EXT_BALANCER_IP_INPUT
USED_IPS+=("$EXT_BALANCER_IP")
break
fi
done
fi
# Диск
read -p "Введите диск для worker-нод (например, /dev/sda) [/dev/sda]: " DISK
DISK=${DISK:-/dev/sda}
# Поддержка drbd
USE_DRBD=$(ask_yes_no "Нужна ли поддержка drbd? (y/n) [y]: " "y")
# --- Генерация конфигурационных файлов ---
mkdir -p "$CONFIG_DIR"
PATCH_FILE="$CONFIG_DIR/patch.yaml"
# --- Создание patch.yaml ---
# Этот подход не использует sed и работает одинаково на macOS и Linux.
# Записываем первую часть файла
cat > "$PATCH_FILE" << EOF
machine:
EOF
# Добавляем certSANs если есть внешний балансировщик
if [[ -n "$EXT_BALANCER_IP" ]]; then
cat >> "$PATCH_FILE" << EOF
certSANs:
- ${EXT_BALANCER_IP}
EOF
fi
# Добавляем блок kernel для drbd, если нужно
if [[ "$USE_DRBD" == "y" ]] && (( WORKER_COUNT == 0 )); then
cat >> "$PATCH_FILE" << 'EOF'
kernel:
modules:
- name: drbd
parameters:
- usermode_helper=disabled
EOF
fi
# Добавляем основную часть machine и начало cluster
cat >> "$PATCH_FILE" << EOF
network:
nameservers:
- ${DNS1}
- ${DNS2}
install:
disk: ${DISK}
image: ${IMAGE}
time:
servers:
- ${NTP1}
- ${NTP2}
- ${NTP3}
cluster:
EOF
# Добавляем allowSchedulingOnControlPlanes и финальную часть
if (( WORKER_COUNT == 0 )); then
echo -e "\n${YELLOW}Воркеры отсутствуют. Разрешение на запуск подов на control plane...${NC}"
cat >> "$PATCH_FILE" << EOF
allowSchedulingOnControlPlanes: true
network:
cni:
name: none
proxy:
disabled: true
EOF
else
cat >> "$PATCH_FILE" << EOF
network:
cni:
name: none
proxy:
disabled: true
EOF
fi
CP_IPS=()
# Генерация патчей для control plane
echo -e "\n${GREEN}--- Настройка Control Plane нод ---${NC}"
for i in $(seq 1 $CP_COUNT); do
while true; do
read -p "Введите IP адрес для control plane $i (например, 192.168.23.5${i}): " CP_IP
if [[ -z "$CP_IP" ]]; then
echo -e "${YELLOW}IP адрес не может быть пустым.${NC}"
continue
fi
if contains_element "$CP_IP" "${USED_IPS[@]}"; then
echo -e "${YELLOW}Этот IP адрес уже используется. Введите уникальный адрес.${NC}"
else
CP_IPS+=("$CP_IP")
USED_IPS+=("$CP_IP")
break
fi
done
HOSTNAME="cp-$i"
FILENAME="$CONFIG_DIR/cp$i.patch"
# Создание базового патча
cat > "$FILENAME" << EOF
machine:
network:
hostname: $HOSTNAME
interfaces:
- interface: $INTERFACE_NAME
dhcp: false
addresses:
- $CP_IP/$NETMASK
EOF
# Добавление VIP, если он используется
if [[ "$USE_VIP" == "y" && -n "$VIP_IP" ]]; then
cat >> "$FILENAME" << EOF
vip:
ip: $VIP_IP
EOF
fi
# Добавление маршрутов
cat >> "$FILENAME" << EOF
routes:
- network: 0.0.0.0/0
gateway: $GATEWAY
EOF
echo "Создан файл: $FILENAME"
done
# Генерация патчей для worker-нод
if (( WORKER_COUNT > 0 )); then
echo -e "\n${GREEN}--- Настройка Worker нод ---${NC}"
for i in $(seq 1 $WORKER_COUNT); do
while true; do
read -p "Введите IP адрес для worker $i (например, 192.168.23.10${i}): " WORKER_IP
if [[ -z "$WORKER_IP" ]]; then
echo -e "${YELLOW}IP адрес не может быть пустым.${NC}"
continue
fi
if contains_element "$WORKER_IP" "${USED_IPS[@]}"; then
echo -e "${YELLOW}Этот IP адрес уже используется. Введите уникальный адрес.${NC}"
else
USED_IPS+=("$WORKER_IP")
break
fi
done
HOSTNAME="worker-$i"
FILENAME="$CONFIG_DIR/worker$i.patch"
cat > "$FILENAME" << EOF
machine:
network:
hostname: $HOSTNAME
interfaces:
- deviceSelector:
physical: true
dhcp: false
addresses:
- $WORKER_IP/$NETMASK
routes:
- network: 0.0.0.0/0
gateway: $GATEWAY
EOF
# Добавляем drbd если выбрано
if [[ "$USE_DRBD" == "y" ]]; then
cat >> "$FILENAME" << EOF
kernel:
modules:
- name: drbd
parameters:
- usermode_helper=disabled
EOF
fi
echo "Создан файл: $FILENAME"
done
fi
# --- Вывод команд для выполнения ---
echo -e "\n${YELLOW}--------------------------------------------------${NC}"
echo -e "${GREEN}Конфигурация завершена. Собираю файлы в кучу:${NC}"
echo -e "${YELLOW}--------------------------------------------------${NC}"
# Генерация секретов
talosctl gen secrets -o $CONFIG_DIR/secrets.yaml
# Определение эндпоинта
ENDPOINT_IP=""
if [[ "$USE_VIP" == "y" && -n "$VIP_IP" ]]; then
ENDPOINT_IP=$VIP_IP
else
FIRST_CP_FULL_IP=${CP_IPS[0]}
ENDPOINT_IP=$(echo "$FIRST_CP_FULL_IP" | cut -d'/' -f1)
fi
# Генерация основной конфигурации
cd $CONFIG_DIR
echo "talosctl gen config --kubernetes-version $K8S_VERSION --with-secrets secrets.yaml $CLUSTER_NAME https://${ENDPOINT_IP}:6443 --config-patch @patch.yaml"
talosctl gen config --kubernetes-version $K8S_VERSION --with-secrets secrets.yaml $CLUSTER_NAME https://${ENDPOINT_IP}:6443 --config-patch @patch.yaml
# Применение патчей к control plane
for i in $(seq 1 $CP_COUNT); do
talosctl machineconfig patch controlplane.yaml --patch @cp$i.patch --output cp$i.yaml
echo "Создан файл: $CONFIG_DIR/cp$i.yaml"
done
# Применение патчей к worker-нодам
if (( WORKER_COUNT > 0 )); then
for i in $(seq 1 $WORKER_COUNT); do
talosctl machineconfig patch worker.yaml --patch @worker$i.patch --output worker$i.yaml
echo "Создан файл: $CONFIG_DIR/worker$i.yaml"
done
fi
# Обновление talosconfig с endpoints
echo -e "\n${GREEN}--- Обновление talosconfig ---${NC}"
# Создаем массив endpoints
ENDPOINTS=()
# Добавляем все control plane IPs
for cp_ip in "${CP_IPS[@]}"; do
ENDPOINTS+=("$cp_ip")
done
# Добавляем VIP если есть
if [[ "$USE_VIP" == "y" && -n "$VIP_IP" ]]; then
ENDPOINTS+=("$VIP_IP")
fi
# Добавляем внешний балансировщик если есть
if [[ "$USE_EXT_BALANCER" == "y" && -n "$EXT_BALANCER_IP" ]]; then
ENDPOINTS+=("$EXT_BALANCER_IP")
fi
# Объединяем endpoints через запятую с пробелом
ENDPOINTS_STRING=$(IFS="," ; echo "${ENDPOINTS[*]}")
# Обновляем talosconfig
if [[ -f "talosconfig" ]]; then
TMP_CONFIG=$(mktemp)
while IFS= read -r line; do
if [[ "$line" == *"endpoints: []"* ]]; then
echo "${line/endpoints: []/endpoints: [$ENDPOINTS_STRING]}" >> "$TMP_CONFIG"
else
echo "$line" >> "$TMP_CONFIG"
fi
done < "talosconfig"
mv "$TMP_CONFIG" "talosconfig"
echo -e "${GREEN}Обновлен talosconfig с endpoints: [$ENDPOINTS_STRING]${NC}"
else
echo -e "${YELLOW}Файл talosconfig не найден${NC}"
fi
cd ..
echo "Работа скрипта завершена"

52
talos-k8s/run-stand.sh Executable file
View File

@@ -0,0 +1,52 @@
#!/bin/bash
VERB=${1:-"create"}
nodeip=pve1-nsk.bildme.ru
nodeid=pve1-nsk
poolid=test-vm
vmid_template=777
vmid=80
vm_name=t8s-demo
controllers=3
workers=2
echo "${VERB} stand"
[[ $VERB == "delete" ]] && {
for i in $(seq 1 "$controllers")
do
ssh root@${nodeip} "pvesh create /nodes/${nodeid}/qemu/${vmid}${i}/status/stop"
ssh root@${nodeip} "pvesh delete /nodes/${nodeid}/qemu/${vmid}${i}"
done
for i in $(seq 1 "$workers")
do
ssh root@${nodeip} "pvesh create /nodes/${nodeid}/qemu/${vmid}$((i + 4))/status/stop"
ssh root@${nodeip} "pvesh delete /nodes/${nodeid}/qemu/${vmid}$((i + 4))"
done
cd config
rm talosconfig cp1.yaml cp2.yaml cp3.yaml secrets.yaml controlplane.yaml worker.yaml
cd ..
exit 0
}
[[ $VERB == "create" ]] && {
for i in $(seq 1 "$controllers")
do
ssh root@${nodeip} "pvesh create /nodes/${nodeid}/qemu/${vmid_template}/clone --newid ${vmid}${i} --full false --name ${vm_name}-cp-${i}"
ssh root@${nodeip} "pvesh set /nodes/${nodeid}/qemu/${vmid}${i}/config --cores 2 --vcpus 2 --memory 6144"
ssh root@${nodeip} "pvesh set /pools/${poolid} --vms "${vmid}${i}""
ssh root@${nodeip} "pvesh create /nodes/${nodeid}/qemu/${vmid}${i}/status/start"
done
for i in $(seq 1 "$workers")
do
ssh root@${nodeip} "pvesh create /nodes/${nodeid}/qemu/${vmid_template}/clone --newid ${vmid}$((i + 4)) --full false --name ${vm_name}-w-${i}"
ssh root@${nodeip} "pvesh set /nodes/${nodeid}/qemu/${vmid}$((i + 4))/config --cores 2 --vcpus 4 --memory 12288"
ssh root@${nodeip} "pvesh set /pools/${poolid} --vms "${vmid}$((i + 4))""
ssh root@${nodeip} "pvesh create /nodes/${nodeid}/qemu/${vmid}$((i + 4))/status/start"
done
}