目录

用 Kolla-Ansible 部署 OpenStack Zed

用 Kolla-Ansible 快速搭一套 OpenStack,记录多节点 inventory、网络和存储的配置过程。

这次部署的组件:

  • core
    • keystone
    • nova
    • glance
    • neutron

这里准备了8台虚拟机用于此次部署:

ip hostname cpu memory disk role
192.168.30.220 infra-node1 8 32 100 controller
192.168.30.221 infra-node2 8 32 100 controller
192.168.30.228 infra-node3 8 32 100 controller
192.168.30.223 computer1 8 32 100 compute
192.168.30.224 computer2 8 32 100 compute
192.168.30.225 ceph-node1 8 32 100, 100 storage
192.168.30.226 ceph-node2 8 32 100, 100 storage
192.168.30.227 ceph-node3 8 32 100, 100 storage
192.168.30.229 vip

节点操作系统是 Ubuntu 22.04。当时 cephadm 对 22.04 的支持还不完整,所以这次先用 LVM,后面再补外置 Ceph 的部署。主机名沿用了 ceph-node,但实际是 LVM 节点。

三个存储节点上创建卷组。注意 pvcreate 会清掉 /dev/sdb 上的数据:

pvcreate /dev/sdb
vgcreate cinder-volumes /dev/sdb

每个节点都有两张网卡,这里为了简单都是用了192.168.30.0/24段的网络,即 float 网络出口使用的是192.168.30.0/24,vxlan 作为租户的网络。

每个节点装 Docker。图省事可以用官方 convenience script:

wget -qO- https://get.docker.com/ | sh

这行是直接把远程脚本喂给 shell,生产环境别这么干,按 Docker 官方文档 配 apt 源更稳妥。

每个节点上都创建好openstack的虚拟环境,安装依赖:

apt update     
apt install git python3-dev libffi-dev gcc libssl-dev python3-dbus -y
apt install python3-venv -y

创建kolla的虚拟环境并激活:

python3 -m venv /opt/kolla 
source /opt/kolla/bin/activate

安装docker的sdk:

apt install python3-pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install docker

修改/root/.bashrc让其登录之后直接激活kolla的虚拟环境

source /opt/kolla/bin/activate

每个节点配置 /etc/hosts文件:

192.168.30.220 infra-node1
192.168.30.221 infra-node2
192.168.30.228 infra-node3
192.168.30.223 computer1
192.168.30.224 computer2
192.168.30.225 ceph-node1
192.168.30.226 ceph-node2
192.168.30.227 ceph-node3

在 infra-node1 上生成ssh key(注意不要有密码):

ssh-keygen

把公钥发到每个节点。前面已经在 /etc/hosts 里配好主机名,直接循环:

for h in infra-node{1..3} computer{1,2} ceph-node{1..3}; do
  ssh-copy-id root@$h
done

每个节点上需要关闭iscsi的服务:

systemctl disable iscsid.socket --now

在 infra-node1 上安装 kolla-ansible。为了避免污染系统 Python,前面已经用 venv 建了 /opt/kolla,确认还在这个虚拟环境里。

安装 Ansible 和 kolla-ansible。分支要和 openstack_release 对上,这里用 Zed:

pip install 'ansible>=4,<6'
pip install git+https://opendev.org/openstack/kolla-ansible@stable/zed

创建kollla的配置文件目录和授权:

sudo mkdir -p /etc/kolla
sudo chown $USER:$USER /etc/kolla

拷贝kolla的配置文件以及清单文件:

cp -r /opt/kolla/share/kolla-ansible/etc_examples/kolla/* /etc/kolla
cp /opt/kolla/share/kolla-ansible/ansible/inventory/all-in-one .

安装对应的依赖:

kolla-ansible install-deps

生成密码:

kolla-genpwd

这里的配置是用于关闭对应的host_key 检查和提高执行的效率。

首先创建一个ansible的配置文件夹:

mkdir -pv /etc/ansible

创建配置文件:

vi  /etc/ansible/ansible.cfg

内容如下:

[defaults]
host_key_checking=False
pipelining=True
forks=100

这部分是配置openstack部署的组件,以及网络配置等等

vi /etc/kolla/globals.yml

修改内容如下:

---
workaround_ansible_issue_8743: yes
kolla_base_distro: "ubuntu"
openstack_release: "zed"
kolla_internal_vip_address: "192.168.30.229"
network_interface: "eth0"
neutron_external_interface: "ens19"
enable_openstack_core: "yes"
enable_glance: "{{ enable_openstack_core | bool }}"
enable_haproxy: "yes"
enable_keepalived: "{{ enable_haproxy | bool }}"
enable_keystone: "{{ enable_openstack_core | bool }}"
enable_mariadb: "yes"
enable_memcached: "yes"
enable_neutron: "{{ enable_openstack_core | bool }}"
enable_nova: "{{ enable_openstack_core | bool }}"
enable_rabbitmq: "{{ 'yes' if om_rpc_transport == 'rabbit' or om_notify_transport == 'rabbit' else 'no' }}"
enable_cinder: "yes"
enable_cinder_backend_lvm: "yes"
cinder_volume_group: "cinder-volumes"

修改完成之后保存退出

修改all-in-one文件的以下部分:

[control]
192.168.30.220
192.168.30.221
192.168.30.228
[network]
192.168.30.220
192.168.30.221
192.168.30.228
[compute]

192.168.30.223
192.168.30.224

[storage]
192.168.30.225
192.168.30.226
192.168.30.227
[monitoring]

[deployment]
localhost       ansible_connection=local

首先bootstrap一下kolla部署的依赖:

kolla-ansible -i ./all-in-one bootstrap-servers

没有问题后进行下一步: Bootstrap Servers

执行预备部署:

kolla-ansible -i ./all-in-one prechecks

没有问题之后就可以进行下一步: openstack-prechecks

部署openstack:

kolla-ansible -i ./all-in-one deploy

部署如果没有问题就可以提交了:

openstack-deploy

安装openstack的客户端:

pip install python-openstackclient -c https://releases.openstack.org/constraints/upper/zed

生成对应的adminrc 文件:

kolla-ansible post-deploy

查找admin的账户和密码:

cat /etc/kolla/admin-openrc.sh

登陆vip的web页面:

openstack login page

默认情况下是没有实例规格的这里可以自定义创建:

openstack flavor create --id 0 --vcpus 1 --ram 64 --disk 1 m1.nano

这里定义了一个1c 64m内存 1G硬盘的机型,规格名称为m1.nano。

这里需要创建2个网络,一个作为外部网络,一个作为租户的vpc网络

Openstack create public network

这里的物理设备可以通过这条命令来查看

cat /etc/kolla/neutron-server/ml2_conf.ini

OpenStack Neutron ml2 配置

创建子网: OpenStack Create Public network subnet

外部子网要和实际规划一致,这里用 192.168.30.0/24,能通到外网。

实验环境图省事,外部网络和 management 用了同一个网段。生产环境最好分开,别把管理网直接当成浮动 IP 池。

这里配置了一下dhcp可以分配的池子以及DNS服务器:

OpenStack Create Public network subnet details

创建用户的子网:

OpenStack User Network

这是租户子网,可以和外部网段不一样,网络类型选 VXLAN。这里用 10.230.0.0/24,网关 10.230.0.254。

OpenStack User Network Subnet

DHCP池和DNS服务器配置:

OpenStack User Network Subnet Details

创建路由器,给虚拟机上网和绑浮动 IP 用:

OpenStack Create Router

这里需要注意的是外部网络选择我们刚刚创建的外部网络,并且开启SNAT。

接下来配置路由器,先回到网络拓扑: OpenStack Create Router Topology

创建接口: OpenStack 路由器添加接口

这里的网络选择我们之前创建的用户网络,IP可以手动设置也可以使用dhcp来分配这里之前创建用户网络的时候dhcp是开启的这里就不设置了:

OpenStack 路由器接口选择子网

之后的拓扑结构:

OpenStack Network Topology

这里用 CirrOS 举例,在 Web 界面上传镜像。

OpenStack Images inferface

根据步骤填写具体的信息,要注意镜像的属性,可以根据实际的需要来去设置:

OpenStack Create Images Details

创建完成后就能看到 CirrOS 镜像:

OpenStack Create Image Done

这里要先给安全组放行icmp和22的端口用于后续ping测试和ssh连接:

openstack security group rule create --proto icmp default
openstack security group rule create --proto tcp --dst-port 22 default

OpenStack Launch Instance

选择镜像: OpenStack Launch Sources

选择规格: OpenStack Launch Flavor

选择网络: OpenStack Launch Network 然后点击创建

OpenStack VM Booting

创建完成之后 OpenStack VM Stats

添加浮动 IP

目前没有可用的浮动ip可以选择添加一个: 创建新的浮动 IP

分配新的浮动 IP

获取到之后选择分配: 管理浮动 IP 分配之后就可以看到 对应的浮动ip地址: 绑定浮动 IP 后的虚拟机

Cinder 用 LVM + iSCSI 时,宿主机上的 iscsid 会干扰容器里的 iSCSI。把宿主机的服务关掉,再重启容器:

systemctl disable iscsid.socket --now
  • 做离线部署:本地 registry 加内部 pip 源
  • 接外置 Ceph,替掉 LVM
  • 补测其他组件,比如 Octavia、Heat