1、nfs 工作原理
NFS 是NetworkFile System的缩写,即网络文件系统。一种使用于分散式文件系统的协定。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。
FS在文件传送或信息传送过程中依赖于RPC协议。RPC,远程过程调用 (RemoteProcedure Call) 是能使客户端执行其他系统中程序的一种机制。NFS本身是没有提供信息传输的协议和功能的,但NFS却能让我们通过网络进行资料的分享,这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPCSERVER。所以只要用到NFS的地方都要启动RPC服务,不论是NFSSERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAMPORT的对应。可以这么理解RPC和NFS的关系:NFS是一个文件系统,而RPC是负责负责信息的传输。
2、nfs 服务安装
yum -y installnfs-utils rpcbind
3、开机自启动
service rpcbind start
service nfs start
4、nfs 守护进程
nfsd:它是nfs的守护进程,管理客户端是否能够登录到服务器。
mountd:是rpc按照守护进程,主要功能是管理NFS的文件系统,当客户端顺利通过nfsd登录到nfs服务器后,在使用nfs服务所提供的文件前,还必须通过文件使用权限的验证,它会读取nfs的配置文件/etc/exports 来对比客户端的权限。
portmap: 主要功能是进行端口映射工作。当客户端尝试连接并使用RPC服务器提供的服务(如NFS服务)时,portmap会将所管理的与服务对应的端口提供给客户端,从而使客户可以通过该端口向服务器请求服务。
5、nfs配置
nfs 服务器的配置相对较为简单,只需要在相对应的配置文件中进行设置,然后启动nfs服务即可。
nfs常用的目录:
/etc/exports nfs服务的主要配置文件
/usr/sbin/exportfs nfs服务的管理命令
/usr/sbin/showmount 客户端的查看命令
/var/lib/nfs/etab 记录nfs分享出来的完整权限设定值
/var/lib/nfs/xtab 记录曾经登录过的客户端信息
nfs服务的配置文件是/etc/exports,这个文件是nfs的主要配置文件,不过系统并没有默认值。所以这个文件不一定会存在,可能需要手动创建。然后写入配置。
/etc/exports文件内容格式:
<输出目录> [客户端1 选项(访问权限,用户映射,其他)] [客户端2 选项(访问权限,用户映射,其他)]
a. 输出目录:
输出目录是指NFS系统中需要共享给客户机使用的目录;
b. 客户端:
客户端是指网络中可以访问这个NFS输出目录的计算机
客户端常用的指定方式
· 指定ip地址的主机:192.168.0.200
· 指定子网中的所有主机:192.168.0.0/24 192.168.0.0/255.255.255.0
· 指定域名的主机:david.bsmart.cn
· 指定域中的所有主机:*.bsmart.cn
· 所有主机:*
c. 选项:
选项用来设置输出目录的访问权限、用户映射等。
NFS主要有3类选项:
访问权限选项
· 设置输出目录只读:ro
· 设置输出目录读写:rw
用户映射选项
· all_squash:将远程访问的所有普通用户及所属组都映射为匿名用户或用户组(nfsnobody);
· no_all_squash:与all_squash取反(默认设置);
· root_squash:将root用户及所属组都映射为匿名用户或用户组(默认设置);
· no_root_squash:与rootsquash取反;
· anonuid=xxx:将远程访问的所有用户都映射为匿名用户,并指定该用户为本地用户(UID=xxx);
· anongid=xxx:将远程访问的所有用户组都映射为匿名用户组账户,并指定该匿名用户组账户为本地用户组账户(GID=xxx);
其它选项
· secure:限制客户端只能从小于1024的tcp/ip端口连接nfs服务器(默认设置);
· insecure:允许客户端从大于1024的tcp/ip端口连接服务器;
· sync:将数据同步写入内存缓冲区与磁盘中,效率低,但可以保证数据的一致性;
· async:将数据先保存在内存缓冲区中,必要时才写入磁盘;
· wdelay:检查是否有相关的写操作,如果有则将这些写操作一起执行,这样可以提高效率(默认设置);
· no_wdelay:若有写操作则立即执行,应与sync配合使用;
· subtree:若输出目录是一个子目录,则nfs服务器将检查其父目录的权限(默认设置);
· no_subtree:即使输出目录是一个子目录,nfs服务器也不检查其父目录的权限,这样可以提高效率;
6、nfs状态查询
service portmap status
service nfs status
7、修改服务器配置
[root@l-ct1 ~]# cat /etc/exports
/root172.16.100.0/24(rw,sync,no_root_squash)
/root 172.16.100.1(rw,sync,no_root_squash)
[root@l-ct1 ~]# exportfs
/root 172.16.100.0/24
8、创建访问端目录和权限
[root@l-ct1 ~]# mkdir /data/
chmod o+w /data
8/
###查看挂载
[root@oldboy ~]# cat /proc/mounts
9、挂载常用命令介绍
mount 挂载
nfs:
fg 前台,尝试挂载
bg 后台,持续挂载,不会影响操作。尽量放在后台。用bg。
soft 不尝试挂载,在失败一定次数后就放弃。
hard 模式一直尝试挂载。死皮烂打。
intr 超时过多才终止,针对hard模式
rsize 读区块大小。
wsize 写区块大小。
10、修改服务端配置文件,将目录共享给这172.16.100.0/24网段。
[root@l-test1 home]# cat /etc/exports
/home/david 172.16.100.0/24(rw)
11、重启nfs 服务,必要时候也要重启portmap 服务。
/etc/init.d/nfs restart
12、showmount 查询命令:
showmount -e 查看自己的默认共享服务,前提dns能够解析自己。不然容易报错。
Export list for l-test1:
/home/david 172.16.100.0/24
showmount -a //显示已经与客户端连接上的目录信息
13、客户端使用命令
showmount -e 172.16.100.101 //查询nfs共享状态。
Export list for 172.16.100.101:
/home/david 172.16.100.0/24
showmount -e NFS服务器IP 查询nfs共享状态。
14、客户端挂载
简单,默认值:mount 172.16.100.101:/home/david/ /test/
复杂:mount -t nfs -o bg,hard,intr,rsize=101072,wsize=131072 172.16.100.101:/data1/ /data1
suid ,nosuid //当挂载文件系统上有任何suid的程序,只要使用nosuid 就能够取消设置suid的功能。
user,nouser //是否允许用户进行文件的挂载与卸载功能?如果要保护文件系统,最好不要提供用户进行的挂载与卸载。
auto,noauto // 自动挂载功能,指的是mount -a 时会不会被挂载的项目,如果不需要这个分区随时被挂载,可以设置为noauto。
async //写到缓冲区
sync //写到磁盘
atime //时间戳,
notime //高并发情况下使用。
accesstime //访问时间
changetime //属性时间改变
modifytime //内容改变时间
defaults //是fstab力美默认值。包括rw、suid、dev、exec、auto、nouser and async,默认情况下,大部分都是默认值。一般情况下,网络不用defautls,本地也不用。
nodirtime //目录时间戳
remount //只读,当系统故障,或者进入single或者rescue模式,会发现文件系统经常变成只读文件,不允许修改,此命令就派上用途。具体命令:remount -o remount,rw /,表示将文件系统重新挂载,并且可写。single 或者rescue 模式修复系统时候这个命令十分重要。*****
mount|grep nfs //查看挂载
15、更改服务器端的权限
chmod 777 -R /home/david/ //测试方便,根据生产需求。
16、查看权限设置
cat /var/lib/nfs/etab
/home/david 172.16.100.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,anonuid=65534,anongid=65534,sec=sys,rw,root_squash,no_all_squash)
You have new mail in /var/spool/mail/root
默认就有sync,wdelay,hide 等等,no_root_squash 是让root保持权限,root_squash 是把root映射成nobody,no_all_squash 不让所有用户保持在挂载目录中的权限。所以,root建立的文件所有者是nfsnobody。
关于权限的分析
1. 客户端连接时候,对普通用户的检查
a. 如果明确设定了普通用户被压缩的身份,那么此时客户端用户的身份转换为指定用户;
b. 如果NFS server上面有同名用户,那么此时客户端登录账户的身份转换为NFS server上面的同名用户;
c. 如果没有明确指定,也没有同名用户,那么此时 用户身份被压缩成nfsnobody;
2. 客户端连接的时候,对root的检查
a. 如果设置no_root_squash,那么此时root用户的身份被压缩为NFS server上面的root;
b. 如果设置了all_squash、anonuid、anongid,此时root 身份被压缩为指定用户;
c. 如果没有明确指定,此时root用户被压缩为nfsnobody;
d. 如果同时指定no_root_squash与all_squash 用户将被压缩为 nfsnobody,如果设置了anonuid、anongid将被压缩到所指定的用户与组;
17、卸载:
umount /test/
18、自动挂载
cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Thu Apr 27 19:26:00 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=174376f4-1cfa-4e69-a47b-b77b749366c9 / ext4 defaults 1 1
UUID=56cac11e-10c7-4667-9c31-46003dc9dffe /boot ext4 defaults 1 2
UUID=c4751dd3-b7fa-418e-a6ad-5f2c0b7c8706 swap swap defaults 0 0
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
172.16.100.101:/home/david/ /test/ nfs defaults 0 0
You have new mail in /var/spool/mail/root
18、相关命令
1、exportfs
如果我们在启动了NFS之后又修改了/etc/exports,是不是还要重新启动nfs呢?这个时候我们就可以用exportfs 命令来使改动立刻生效,该命令格式如下:
# exportfs [-aruv]
-a 全部挂载或卸载 /etc/exports中的内容
-r 重新读取/etc/exports 中的信息 ,并同步更新/etc/exports、/var/lib/nfs/xtab -u 卸载单一目录(和-a一起使用为卸载所有/etc/exports文件中的目录) -v 在export的时候,将详细的信息输出到屏幕上。具体例子:
# exportfs -au 卸载所有共享目录 # exportfs -rv 重新共享所有目录并输出详细信息2、nfsstat
查看NFS的运行状态,对于调整NFS的运行有很大帮助。
3、rpcinfo
查看rpc执行信息,可以用于检测rpc运行情况的工具,利用rpcinfo -p 可以查看出RPC开启的端口所提供的程序有哪些。
4、showmount
-a 显示已经于客户端连接上的目录信息
-e IP或者hostname 显示此IP地址分享出来的目录5、netstat
可以查看出nfs服务开启的端口,其中nfs 开启的是2049,portmap 开启的是111,其余则是rpc开启的。
最后注意两点,虽然通过权限设置可以让普通用户访问,但是挂载的时候默认情况下只有root可以去挂载,普通用户可以执行sudo。
NFS server 关机的时候一点要确保NFS服务关闭,没有客户端处于连接状态!通过showmount -a 可以查看,如果有的话用kill killall pkill 来结束,(-9 强制结束)
6、查看挂载
[root@l-test1 home]# cat /proc/mounts
19、nfs优缺点:
访问量大可以用moosefs(mfs)
优点:简单,容易掌握,数据能看到,部署简单。可靠,服务稳定。
缺点:
单点故障,
高并发、效率、性能有局限(2000PV/日)
客户端认证基于IP和主机名的。权限
基于明文的。不对数据进行完整性验证。
多台挂载的时候维护较为麻烦。
时间同步和异步(解耦)的概念。
应用建议:
2000万pv/天。前端用cdn来抵挡流量。
cdn挡住90%的流量。
20、案列
1、fstab 修改错误导致系统无法启动故障修复案例
方法:维护或者救援模式:mount -o rw,remount /
然后修改/etc/fstab
2、文件系统只读故障修复案例
方法:维护或者救援模式:mount -o rw,remount /