GlusterFS 3.4.2 安装记录-白红宇

GlusterFS 3.4.2 安装记录

阅读量：4303 次

发布时间：2019-05-27

本文共 4684 字，大约阅读时间需要 15 分钟。

之前一个偶然的机会，老师让学习GlusterFS，便简单学习了一遍，搭建了一个简单的集群环境，在这里简单记录下来。

分区：http://www.duyumi.net/301.html

系统环境：centos6.4 glusterfs3.4.2

三台虚拟机，两台作为集群节点，一台作为客户端节点，两台集群节点分配两块硬盘，一块装系统，一块用于glusterfs的存储磁盘。客户端节点一块磁盘即可。

一、系统安装：

先对集群节点进行安装。

1.下载地址：http://download.gluster.org/pub/

2、rpm安装：

下载RPM包，运行 rpm -ivh glusterfs-*.rpm

3、tar安装：

下载tar压缩包，解压后进行编译：（编译过程中会出现一些依赖关系错误，缺少什么就安装什么即可）

(1) ./configure

(2)make

（3）make install

4.启动gluser服务以及自启动设置：

service glusterd start

chkconfig glusterd on

二、集群规划与配置：

1.系统配置：

两节点都一样的配置。

先设置主机名：/etc/hosts

节点一：192.168.30.159 server1

节点二：192.168.30.160 server2

然后设置DNS：/etc/resolve.conf

关闭防火墙：service iptables stop； chkconfig iptables off。

设置selinux：

/etc/selinux/config： SELINUX=disabled

设置ip:/etc/sysconfig/network-scripts/

2.磁盘配置,选用一块20g大小的磁盘（大小不定）：

查看磁盘：parted -l

（/dev/sda 为系统盘，/dev/sdb为将使用的磁盘。）

先对磁盘进行分区（整块磁盘作为一个分区使用）：

[root@server1 ~]# fdisk /dev/sdb

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to

switch off the mode (command 'c') and change display units to

sectors (command 'u').

Command (m for help): n

Command action

e extended

p primary partition (1-4)

Partition number (1-4):

Value out of range.

Partition number (1-4): 1

First cylinder (1-2610, default 1):

Using default value 1

Last cylinder, +cylinders or +size{K,M,G} (1-2610, default 2610):

Using default value 2610

Command (m for help): w

格式化分区： mkfs.ext4 -L /NODE1 /dev/sdb1

（节点一：NODE1 节点二：NODE2）

挂载磁盘：

创建磁盘挂载目录：mkdir /NODE1

挂载新磁盘：mount -L /NODE1 /NODE1 （使用label来挂载）

写入配置文件：/etc/fstab设置自启动：

LABEL=/NODE2 /NODE2 ext4 defaults 0 0

自动挂载：mount -a

查看挂载情况：df -h

3.组建集群：

添加集群（任一节点都可添加其他节点到集群中），选择server1作为当前集群节点：

gluster peer probe server2

查看集群状态：

gluster peer status

删除集群节点：

gluster peer detach server2

三。卷操作(gluster的文件系统）任一节点上操作都行：

三种基本卷类型：（1）哈希卷（默认）

（2）复制卷（replica）

（3）条带卷（stripe）

复合卷：哈希+复制哈希+条带复制+条带哈希+复制+条带

卷的网络类型：TCP（默认） RDMA

创建卷时先确定：卷类型，创建卷的brick列表，网络类型

1、查看卷信息：

gluster volume info

2、创建新的卷：

gluster volume create help 查看参数：(缺省状态默认创建哈希卷，网络类型为TCP）

（1）创建哈希卷dht1(两节点上分别创建一个brick）：

gluster volume create dht1 transport tcp server1:/NODE1/dht_brick1(brick名） server2:/NODE2/dht_brick2

gluster volume info :

需要使用卷先启动卷：

gluster volume start dht1

查看卷状态：

gluster volume status dht1

（2）创建复制卷afr1:（两个brick同时生成相同的文件）

gluster volume create afr1 replica 2 server1:/NODE1/afr_brick1 server2:/NODE2/afr_brick2

gluster volume info arf1

启动卷：

gluster volume start afr1:

（3）创建条带卷：

gluster volume create stp1 stripe 2 server1:/NODE1/stp_brick1 server2:/NODE2 /stp_brick2

启动并查看状态：

（4）创建复合卷（哈希+复制）dht_afr_1（两对brick分别存在于两个节点，每对brick是复制卷，一一组成复制关系）：

gluster volume create dht_afr_1 replica 2 server1:/NODE1/dht_afr_brick1 server2:/NODE2/dht_afr_brick1 server1:/NODE1/dht_afr_brick2 server2:/NODE2/dht_afr_brick2

启动并查看信息：

（Brick1和Brick2组成复制关系，Brcik3和Brick4组成复制关系）

创建哈希+条带卷dht_stp_1:

gluster volume create dht_stp_1 stripe 2 server1:/NODE1/dht_stp_brick1 server2:/NODE2/dht_stp_brick1 server1:/NODE1/dht_stp_brick2 server2:/NODE2/dht_stp_brick2

启动并查看信息：

（Brick1和Brick2组成一对条带关系，Brick3和Brick4组成一对条带关系）

四。卷的挂载和访问（通过客户端挂载和访问）

（客户端所安装的gluster与集群节点有所不同，可以同样源码安装所有的glusterfs软件，也可以选择单纯针对客户端的软件）：

1.客户端gluster安装：

官网下载相应的rpm包安装：

下载以下包即可实现一个基本的客户端功能：

安装好后同样配置系统：

先设置主机名：/etc/hosts

然后设置DNS：/etc/resolve.conf

关闭防火墙：service iptables stop； chkconfig iptables off。

设置selinux：

/etc/selinux/config： SELINUX=disabled

2.卷的挂载：

为了挂载卷，先创建相应卷的挂载目录/mnt/dht1 /mnt/afr1 /mnt/stp1 /mnt/dht_afr_1：

mkdir /mnt/dht1 /mnt/afr1 /mnt/stp1 /mnt/dht_afr_1

然后挂载目录(这里选择挂载到server1的卷上，也可选择server2）：

mount -t glusterfs(挂载卷类型） server1:/dht1 /mnt/dht1

同样挂载其他的目录：

mount -t glusterfs server2:/afr1 /mnt/afr1

mount -t glusterfs server1:/dht_afr_1 /mnt/dht_afr_1

mount -t glusterfs server2:/stp1 /mnt/stp1

这样就挂载好了。

3.访问卷：

（1）访问哈希卷：

在/mnt/dht1中创建两个文件hello和test，会以哈希的算法分配到server1和server2上：

创建好后可以在server1和server2查看卷：

server1中：

server2中：

可以看到刚好每个brick分配到一个文件，即使删掉文件或者修改文件内容，同时还是存在于之前分配到的brick上。哈席卷即以文件为分配单位，每一个文件随机分配到某一个brick上,这种卷容量和性能最好，可以把所有的容量利用起来，但如果一个brick down掉后，这一brick中的文件就不能被访问了，不具有高可用性的功能。

如果在客户端上创建目录，两个brick都会有目录，但是目录中的文件还是按照哈希算法随机分配到各brick上：

server1上：

server2上：

（2）访问复制卷：

在客户端的复制卷的目录中创建一个文件hello和目录demo（会在两个节点的brick中都生成相同的文件和目录）：

server1上：

server2上：

可以看出两个brick形成复制关系，这样一个brick down掉后，另一个brick中的文件还存在，还可访问，如果某一节点的文件丢失或者被修改，可以通过设置恢复，但是容量会只是哈希卷的一半：

（3）访问条带卷（每个节点中生成的目录空间和目录是相同的，但是文件中的内容是不一样的，会分片存在于不同的brick，每一128K的文件内容分片存在于不同的brick）：

在客户端上创建一个小文件 test：

server1上：

server2上：

会发现server1和server2的brick中生成相同的文件test，但是server1中有完整的文件内容，server2中为空文件，因为创建的文件小于128K，所以分片之后，内容都存到server1中，server2中没有内容。如果大于128K，分成无数个大小为128K的片，第一片存到第一个节点，第二片存到第二个节点，如此分布到所有的节点上。