OpenStack Metadata Service分析

1、为什么Metadata Service

OpenStack Metadata Service 提供 instance 的配置信息(这些信息被统称为 metadata)。instance 启动时向 Metadata Service 请求并获得自己的 metadata,instance 的 cloud-init根据 metadata 完成个性化配置工作。

2、Metadata Service架构

nova-api-metadata

nova-api-metadata是nova-api的子服务,它是metadata的实际提供者,虚拟机的启动时,可以选择通过nova-api-metadata的REST API来获取metadata信息
nova-api-metadata服务运行在控制节点上,服务端口8775(可以通过nova的配置修改)

开启metadata服务

nova-api-metadata与nova-api服务是合并在一起的,可以通过nova.conf的enabled_apis配置来指定是否启用nova-api-metadata

neutron-metadata-agent

nova-api-metadata走管理网络,虚拟机走业务网络,所以虚拟机无法直接和nova-api-metadata进行通信,在这个时候就需要借助到运行在网络节点上的neutron-metadata-agent服务。

在网络节点上运行两个组件 l3 agent和dhcp agent,他们会创建一个haproxy进程,运行在各自的namespace中,用来接收虚拟机发送的metadata请求,并将该请求通过Unix Domain Socket的方式转发给neutron-metadata-agent服务,再由neutron-metadata-agent转发给nova-api-metadata。

整个流程可以总结为:
a、instance将metadata请求发送给router或者dhcp agent创建的haproxy进程
b、haproxy进程通过Unix Domian Socket将请求发送给neutron-metadata-agent
c、neutron-metadata通过内部管理网络将请求发送给nova-api-metadata服务

3、L3 agent or DHCP agent

上述描述中提到,L3 agent和dhcp agent均可以创建haproxy进程,进而实现metadata请求的转发,那么两种方案该如何选择呢?

事实上,两者各有各的应用场景,甚至两种方案可以并存,下文将详细分析两者的区别。
说在前面,l3-agent 和 dhcp-agent 访问 metadata 的实现方法是不同的。

对于 169.254.169.254:
a、l3-agent 用 iptables 规则来转发。
b、dhcp-agent 则是将此 IP 配置到自己的 interface 上。

4、L3 agent实现分析

创建一个网络test1,启用dhcp,暂时不连接到router,然后启动一个instance,然后观察instance的启动日志:

从上面的启动log中,我们可以发现,intance从dhcp获取到ip地址之后,向169.254.169.254发送了request请求,但是20次均失败
那么169.254.169.254到底是什么?

事实上,这个ip地址就是metadata service的ip地址,instance在启动的时候会向它发送metadata的请求。

现在我们发现,instance请求是失败的,这个是为什么呢?

上文提到,OpenStack通过L3 agent或者dhcp agent创建haproxy进程,进而实现metadata的转发,我们首先检查下网络节点上的haproxy进程。

发现并没有haproxy进程运行,这个也就解释了,为什么instance会请求失败。但是到底是哪里出了问题?

根本原因是:默认情况下,haproxy进程由L3 agent来创建(dhcp agent则是关闭状态),由于当前test1网络并没有挂载router上,所以没有创建haproxy进程。

创建router,并将test1挂载router上之后。我们发现haproxy进程已经在网络节点启动。

重启instance test1,看会发生什么变化。

根据instance日志显示,虚拟机已经成功从169.254.169.254获取到了metadata。
这个过程中到底发生了什么?

a、instance在启动之后,会向168.254.169.254的80端口发起metadata请求,根据
instance的路由可以发现,该请求会从instance的eth0发出,送往路由器上的qr-设备。

b、metadata请求到达路由,进入PREROUTING链,将目的地址为169.254.169.254,进入qr-口,目的port是80的请求,重定向到9697。

c、为什么是9697?
因为router创建的haproxy进程正是监听在9697端口上

d、在后面就简单了:haproxy进程将请求通过Unix Domain Socket转发给neutron-metadata-agent,后者再通过管理网关转发给nova-api-metadata。

5、DHCP agent实现分析

OpenStack默认通过L3 agent管理metadata的实现,进而和nova-api-metadata通信,但是并不是所有的环境都有L3 agent,比如直接使用物理router的场景,这样场景如何实现metadata呢?

答案就是DHCP agent

a、打开dhcp agent的metadata功能
vim /etc/neutron/dhcp_agent.ini

重启dchp agent服务

b、检查网络节点上的haproxy进程情况,会发现开启dhcp功能的网络,会创建一个对应的haproxy进程,并将169.254.169.254配置在对应的dhcp port上。


c、重启instance,instance会向169.254.169.254的80端口发送metadata请求,根据instance内部路由,请求会到达dhcp_port端口上。

c、metadata请求到达dhcp的namespace,会被haproxy进程监听到(haproxy进程在dhcp namespace中监听80端口)

d、后面流程和L3 agent完全相同:haproxy进程将请求通过Unix Domain Socket转发给neutron-metadata-agent,后者再通过管理网关转发给nova-api-metadata。

6、Instance 怎么获得自己的 Metadata

要从 nova-api-metadata 获得 metadata,需要指定 instance 的 id
而instance在启动的时候,是无法知道自己的id的,所以http请求中不会包含id,
instance id是neutron-metadata-agent添加进去的。对于L3 agent和DHCP agent
两种方案上实现又略有不同,下文会针对两者进行说明。

获取metadata流程如下:
instance -> haproxy-> neutron-metadata-agent -> nova-api-metadata

L3 agent
a、haproxy进程接受到metadata请求,在转发给neutron-metadata-agent之前,会将ip和router id添加到http的head中。
b、neutron-metadata-agent接受到请求后,会查询instance的id,然后将instance id添加到http的head中,然后转发给nova-api-metadata。
c、nova-api-metadata响应请求到指定的instance。

DHCP agent
a、haproxy进程接受到metadata请求,在转发给neutron-metadata-agent之前,会将ip和network id添加到http的head中。
b、neutron-metadata-agent接受到请求后,会查询instance的id,然后将instance id添加到http的head中,然后转发给nova-api-metadata。
c、nova-api-metadata响应请求到指定的instance。

这样,不管 instance 将请求发给 l3-agent 还是 dhcp-agent,nova-api-metadata 最终都能获知 instance 的 id,进而返回正确的 metadata。

相关文章