公共網(wǎng)絡(luò)：192.168.99.0/24 網(wǎng)段，外網(wǎng)用戶通過(guò)公共網(wǎng)絡(luò)上提供的服務(wù)來(lái)訪問(wèn)云。注意：在實(shí)際的生產(chǎn)環(huán)境中，公共網(wǎng)絡(luò)一般采用外網(wǎng) IP，因?yàn)槲覜](méi)有外網(wǎng) IP，所以用 192.168.99.0 網(wǎng)段模擬。將臺(tái)式機(jī)的一有線網(wǎng)卡 eth1 與 TP-Link 路由器相連即可。

　　管理＆存儲(chǔ)網(wǎng)絡(luò)：172.16.99.0/24 網(wǎng)段，管理網(wǎng)絡(luò)用于 OpenStack 各組件以及 DB、MQ 之間進(jìn)行通信；存儲(chǔ)網(wǎng)絡(luò)用于存儲(chǔ)節(jié)點(diǎn)和需要使用外部存儲(chǔ)的計(jì)算節(jié)點(diǎn)之間的通信。將臺(tái)式機(jī)的另一有線網(wǎng)卡 eth0 和筆記本電腦的有線網(wǎng)卡 eth0 連接到交換機(jī)即可。

　　服務(wù)網(wǎng)絡(luò)：10.0.0.0/8 網(wǎng)段，用于虛機(jī)內(nèi)部。

　　兩個(gè)節(jié)點(diǎn)的基本網(wǎng)絡(luò)配置如下：

　　清單 1. node1 的基本網(wǎng)絡(luò)配置

root@node1:/home/hua# cat /etc/network/interfaces   
auto lo   
iface lo inet loopback   
auto eth1   
iface eth1 inet dhcp   
up iptables -t nat -A POSTROUTING -s 172.16.99.0/24 -o eth1 -j MASQUERADE   
auto eth0   
iface eth0 inet static   
address 172.16.99.108   
netmask 255.255.255.0   
network 172.16.99.0   
broadcast 172.16.99.255  

　　清單 2. node2 的基本網(wǎng)絡(luò)配置

　　cat /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0   
HWADDR=00:21:86:94:63:27   
ONBOOT=yes   
BOOTPROTO=static   
USERCTL=yes   
PEERDNS=yes   
IPV6INIT=no   
NM_CONTROLLED=yes   
TYPE=Ethernet   
NETMASK=255.255.255.0   
IPADDR=172.16.99.109   
NETWORK=172.16.99.0   
GATEWAY=172.16.99.108   
DNS1=202.106.195.68   
DNS2=202.106.46.151  

　　我雖然只用了兩臺(tái)物理機(jī)來(lái)模擬實(shí)際生產(chǎn)環(huán)境的部署模型， 但文中的這種部署結(jié)構(gòu)是典型的，如果是大規(guī)模部署的話，只需要將控制節(jié)點(diǎn)上的每一個(gè)進(jìn)程（如 DB、MQ、glance、keystone、nova-api、nova-schedule、nova-network 等）分布部署在每一臺(tái)物理機(jī)即可。想要進(jìn)一步的 HA 的話，可以：

• 將 DB 配置成集群模式
• 將 MQ 配置成集群模式
• 采用 multi-host 模式，將 nova-network 同時(shí)安裝在計(jì)算節(jié)點(diǎn) (nova-compute) 上
• 將 nova-api、nova-schedule 這些無(wú)狀態(tài)的服務(wù)也同時(shí)部署在計(jì)算節(jié)點(diǎn)上，再加上負(fù)載均衡器分發(fā)負(fù)載
• 采用多網(wǎng)卡做 Bonding

　　NAT

　　node2 可以通過(guò) NAT 方式訪問(wèn)外網(wǎng)，數(shù)據(jù)流向如下：

　　1、node2 中需設(shè)置網(wǎng)關(guān)指向 node1 的 eth0，例：

GATEWAY=172.16.99.108  

 　　2、在 node1 中打開(kāi) ipv4 轉(zhuǎn)發(fā)功能，這樣，node1 會(huì)相當(dāng)于一臺(tái)路由器，在 eth0 收到來(lái)自 node2 的數(shù)據(jù)之后，會(huì)將數(shù)據(jù)包轉(zhuǎn)發(fā)到其他網(wǎng)卡 eth1，

sysctl -w net.ipv4.ip_forward=1  

　　3、在 node1 上設(shè)置 NAT 規(guī)則，這樣，從 node2（172.16.99.0/24 網(wǎng)段）發(fā)出的數(shù)據(jù)包看來(lái)起就像從 node1 的 eth1 發(fā)出的一樣：

iptables -t nat -A POSTROUTING -s 172.16.99.0/24 -o eth1 -j MASQUERADE 

　　Linux Bridge

　　網(wǎng)橋 ( Bridge ) 工作在二層，了解鏈路層協(xié)議，按幀轉(zhuǎn)發(fā)數(shù)據(jù)。就是交我們常說(shuō)的交換機(jī)，所以連接到網(wǎng)橋的設(shè)備處于同一網(wǎng)段。

　　圖 4. 網(wǎng)橋示例

　　上圖 4 顯示了 node1 網(wǎng)橋中的 VM1 與 node2 網(wǎng)橋中的 VM2 是如何通信的。在 openstack 中，這是典型的 multi-host 模式，即每一個(gè)計(jì)算節(jié)點(diǎn)均部署了網(wǎng)絡(luò)服務(wù)來(lái)提供網(wǎng)關(guān)服務(wù)。Linux Bridge 充當(dāng)了交換機(jī)的功能，而將 sysctl -w net.ipv4.ip_forward 設(shè)置為 1 也相當(dāng)于 node1 同時(shí)充當(dāng)了一個(gè)路由器（路由器的實(shí)質(zhì)就是一個(gè)具有多個(gè)網(wǎng)卡的機(jī)器，因?yàn)樗亩嗑W(wǎng)卡同時(shí)具有這些不同網(wǎng)段的 IP 地址，所以它能將一個(gè)網(wǎng)絡(luò)的流量路由轉(zhuǎn)發(fā)到另一個(gè)網(wǎng)絡(luò)）。

　　網(wǎng)橋，交換機(jī)，是用來(lái)連接兩個(gè) LAN 的。 是根據(jù) MAC 與端口的映射進(jìn)行轉(zhuǎn)發(fā)的，而在虛機(jī)的網(wǎng)卡都是知道的，若從轉(zhuǎn)發(fā)數(shù)據(jù)庫(kù)知道目的 MAC 地址，以太網(wǎng)幀就只會(huì)正確的網(wǎng)橋端口傳輸，否則，就會(huì)擴(kuò)散到網(wǎng)橋設(shè)備的所有端口。

　　因?yàn)榫W(wǎng)橋工作在第二層，所以 eth0.1, tap0, tap1 這些網(wǎng)卡均不需要設(shè)置 IP（因?yàn)閷?duì)于上層路由器來(lái)說(shuō)，它們是同一個(gè)子網(wǎng)，只需要將 IP 設(shè)置在 br1 上即可）。同時(shí)， 對(duì) Linux 而言，網(wǎng)橋是虛擬設(shè)備，因此，除非將一個(gè)或多個(gè)真實(shí)設(shè)備綁定到網(wǎng)橋設(shè)備上，否則它就無(wú)法接收或傳輸任何東西。所以需要將一個(gè)真實(shí)設(shè)備（如 eth0）或者真實(shí)設(shè)備的 vlan 接口（如 eth0.1) 加入到網(wǎng)橋。對(duì)于前一種情況，將 eth0 加入到網(wǎng)橋之后，eth0 便不再具有 IP，這時(shí)候它與 tap0 這些虛擬網(wǎng)卡均通過(guò) br1 處于 10.0.1.0/24 網(wǎng)絡(luò)，當(dāng)然我們也可以為網(wǎng)橋 br1 設(shè)置一個(gè)別名讓它也具有 172.16.99.0/24 網(wǎng)管網(wǎng)段的 IP 地址。）

　　下面，我們來(lái)實(shí)現(xiàn)這個(gè)示例網(wǎng)橋，在 node1 與 node2 上分別執(zhí)行下述腳本（對(duì)重要命令的描述請(qǐng)參見(jiàn)注釋）：

　　清單 3. node1 與 node2 的 Linux Bridge 配置腳本

#!/bin/sh   
TAP=tap0   
BRIDGE=br1   
IFACE=eth0   
MANAGE_IP=172.16.99.108   
SERVICE_IP=10.0.1.1   
GATEWAY=10.0.1.1   
BROADCAST=10.0.1.255   
# 設(shè)置物理網(wǎng)卡為混雜模式  
ifdown $IFACE   
ifconfig $IFACE 0.0.0.0 promisc up   
# 創(chuàng)建網(wǎng)橋，并物理網(wǎng)卡加入網(wǎng)橋，同時(shí)設(shè)置網(wǎng)橋的 IP 為服務(wù)網(wǎng)絡(luò)網(wǎng)段  
brctl addbr $BRIDGE   
brctl addif $BRIDGE $IFACE   
brctl stp $BRIDGE on   
ifconfig $BRIDGE $SERVICE_IP netmask 255.255.255.0 broadcast $BROADCAST   
route add default gw $GATEWAY   
# 在網(wǎng)橋上設(shè)置多 IP，讓它同時(shí)具有管理網(wǎng)段的 IP   
ifconfig ${BRIDGE}:0 $MANAGE_IP netmask 255.255.255.0 broadcast 172.16.99.255 

　　注意，上述黑體的一句在 node2 中需要作相應(yīng)修改，其余不變，如下：

MANAGE_IP=172.16.99.109  

　　VLAN

　　圖 4 同樣適用于 VLAN 網(wǎng)絡(luò)，下面我們來(lái)實(shí)現(xiàn)它。在 node1 與 node2 上分別執(zhí)行下述腳本：

　　清單 4. node1 與 node2 的 VLAN 配置腳本

MAC=c8:3a:35:d7:86:da   
IP=10.0.1.1/24   
ip link add link eth1 name eth1.1 type vlan id 1   
ip link set eth1.1 up   
brctl addbr br1   
brctl setfd br1 0   
brctl stp br1 on   
ip link set br1 address $MAC   
ip link set br1 up   
brctl addif br1 eth1.1   
ip addr add $IP dev br1  

　　注意，上述黑體的一句在 node2 中需要作相應(yīng)修改，其余不變，如下：

MAC= c8:3a:35:d7:86:db  

　　測(cè)試

　　我們采用 QEMU 創(chuàng)建虛擬機(jī)來(lái)進(jìn)行測(cè)試，其中網(wǎng)絡(luò)部分的配置為：

　  <interface type='bridge'> 
　　   <mac address='52:54:00:00:01:89'/> 
 　　  <source bridge='br1'/> 
 　　  <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/> 
　  </interface> 

　　我們使用一個(gè)現(xiàn)成的鏡像，下載地址：

curl http://wiki.qemu.org/download/linux-0.2.img.bz2 -o /bak/kvmimages/linux-0.2.img 

　　在 node1 與 node2 上分別用下列配置定義兩個(gè)虛機(jī)，注意，下面打粗體的部分（<mac address='52:54:00:00:01:89'/>）在兩個(gè)節(jié)點(diǎn)中請(qǐng)?jiān)O(shè)置不一樣的值。

　　cat /etc/libvirt/qemu/test.xml

　　清單 5. node1 與 node2 的虛機(jī)定義文件

 <domain type='qemu'>   
 <name>VM1</name> 
 <uuid></uuid>   
 <memory>393216</memory>   
 <currentMemory>393216</currentMemory>   
 <vcpu>1</vcpu>   
 <os>   
 <type arch='i686' machine='pc-1.0'>hvm</type>   
 <boot dev='hd'/>   
 </os>   
 <features>   
 <acpi/>   
 </features>   
 <clock offset='utc'/>   
 <on_poweroff>destroy</on_poweroff>   
 <on_reboot>restart</on_reboot>   
 <on_crash>destroy</on_crash>   
 <devices>   
 <emulator>/usr/bin/qemu-system-i386</emulator>   
 <disk type='block' device='disk'>   
 <driver name='qemu' type='raw'/>   
 <source dev='/bak/kvmimages/linux-0.2.img'/>   
 <target dev='hda' bus='ide'/>   
 <address type='drive' controller='0' bus='0' unit='0'/>   
 </disk>   
 <controller type='ide' index='0'>   
 <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>   
 </controller>   
 <interface type='bridge'>   
 <mac address='52:54:00:00:01:89'/>   
<source bridge='br1'/>   
 <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>   
 </interface>   
 <input type='tablet' bus='usb'/>   
 <input type='mouse' bus='ps2'/>   
 <graphics type='vnc' port='-1' autoport='yes' listen='127.0.0.1'>   
 <listen type='address' address='127.0.0.1'/>   
 </graphics>   
 <video>   
 <model type='cirrus' vram='9216' heads='1'/>   
 <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>   
 </video>   
 <memballoon model='virtio'>   
 <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>   
 </memballoon>   
 </devices>   
 </domain>  

　　然后用上述配置創(chuàng)建虛機(jī)（virsh define /etc/libvirt/qemu/test.xml ），接著啟動(dòng)虛機(jī)（ virsh start test ），最后設(shè)置虛機(jī)的 IP 和默認(rèn)網(wǎng)關(guān)， 如下：

　　VM1：

ifconfig eth0 10.0.1.2 netmask 255.255.255.0 broadcast 10.0.1.255  
route add default gw 10.0.1.1 

　　VM3：

ifconfig eth0 10.0.1.3 netmask 255.255.255.0 broadcast 10.0.1.255  
route add default gw 10.0.1.1 

　　這時(shí)候在一虛機(jī)上 ping 另一虛機(jī) , 如果能夠 ping 通，成功。若想要 ping 外網(wǎng)的話，還需在 /etc/resolv.conf 文件中添加域名，如下圖 5 所示：

　　圖 5. 驗(yàn)證實(shí)驗(yàn)是否成功

 #p#

　　OpenStack 云中網(wǎng)絡(luò)拓?fù)渑渲檬纠?/strong>

##### nova-network #####   
network_manager=nova.network.manager.VlanManager   
public_interface=eth1   
vlan_interface=eth0   
network_host=node1   
fixed_range=10.0.0.0/8   
network_size=1024   
dhcpbridge_flagfile=/etc/nova/nova.conf   
dhcpbridge=/usr/bin/nova-dhcpbridge   
force_dhcp_release=True   
fixed_ip_disassociate_timeout=30   
my_ip=172.16.99.108   
routing_source_ip=192.168.99.108 

iptables -t nat -A POSTROUTING -s 172.16.99.0/24 -o eth1 -j SNAT --to 192.168.99.108