添加用户
由于每台服务器都需要连接到 NAS,而且可能很多用户在不同的服务器上都有账号,这样的话就会导致 uid 冲突(不同服务器上不同用户的 uid 可能是一样的),因此,针对不同情况需要用到不同添加用户的方法:
- 该用户为新同学,说明他之前在其他服务器上没有账号,因此,先在 NAS 上为他开一个账号确保 uid 唯一性,再根据这个 uid 去其他的服务器上进行开号
- 该用户在其他服务器上有账号,那就直接根据他的 uid 进行开号,无需再经过一遍 NAS
开号方式使用命令 useradd
,默认情况下直接 useradd user1
就可以了,用户目录为 /home/user1
,但是考虑到服务器硬盘容量有限,最好将其划分到具有更大空间的目录如 /data
,因此使用如下命令进行自定义添加用户
$ useradd -u [uid] -d /data/user1 -m -s /bin/bash user1
选项 | 含义 |
---|---|
-u UID | 手工指定用户的 UID,注意 UID 的范围(不要小于 500)。 |
-d 主目录 | 手工指定用户的主目录。主目录必须写绝对路径,而且如果需要手工指定主目录,则一定要注意权限; |
-c 用户说明 | 手工指定/etc/passwd文件中各用户信息中第 5 个字段的描述性内容,可随意配置; |
-g 组名 | 手工指定用户的初始组。一般以和用户名相同的组作为用户的初始组,在创建用户时会默认建立初始组。一旦手动指定,则系统将不会在创建此默认的初始组目录。 |
-G 组名 | 指定用户的附加组。我们把用户加入其他组,一般都使用附加组; |
-s shell | 手工指定用户的登录 Shell,默认是 /bin/bash; |
-e 曰期 | 指定用户的失效曰期,格式为 “YYYY-MM-DD”。也就是 /etc/shadow 文件的第八个字段; |
-o | 允许创建的用户的 UID 相同。例如,执行 “useradd -u 0 -o usertest” 命令建立用户 usertest,它的 UID 和 root 用户的 UID 相同,都是 0; |
-m | 建立用户时强制建立用户的家目录。在建立系统用户时,该选项是默认的; |
-r | 创建系统用户,也就是 UID 在 1~499 之间,供系统程序使用的用户。由于系统用户主要用于运行系统所需服务的权限配置,因此系统用户的创建默认不会创建主目录。 |
表格引自 http://c.biancheng.net/view/844.html
更新 CUDA
先装 CUDA [下载地址],老版本的 CUDA 不用删掉,直接让管理员将 cuda 软连接到最新的 CUDA 就行了,以防有些代码需要低版本 CUDA
再装驱动 [驱动下载地址],安装过程会提示说检测到老版本驱动,直接卸载就行了
常用命令
命令 | command |
---|---|
查看 GPU 使用状态 | nvidia-smi 、 gpustat -i (需 pip install gpustat) |
查看进程 | top、htop、ps -ef | grep [pid] |
查看服务器磁盘容量 | df -h |
查看自己占用服务器的容量 | du -h |
查看当前目录下文件个数 (不包含子目录) | ls -l | grep “^-“ | wc -l |
查看端口占用 (Linux) | lsof -i:PORT (没有空格) |
查看端口占用 (Windows) | 查看所有开放端口: netstat -ano 查看占用端口程序的 PID:netstat -aon | findstr “PORT” 查看占用端口的 PID 所对应的程序:tasklist | findstr “PID” 杀死占用端口的进程:taskkill /T /F /PID “PID” |
换源
pip 源
vim ~/.pip/pip.conf
[global]
index-url = https://pypi.doubanio.com/simple
trusted-host = pypi.doubanio.com
conda 源
vim ~/.condarc
channels:
- defaults
show_channel_urls: true
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
迁移 conda 环境
有时候我们需要在机器上重新建一个 conda 环境,但是又不想重新装包,毕竟 pytorch 和 cuda 版本都跟之前的环境是一样的,所以可以直接从之前的环境中复制一份成为新环境,conda 是支持这样做的,以下命令就将 BBB 环境拷贝了一份成为 AAA 环境。
conda create -n AAA --clone BBB
如果涉及不同服务器之间装环境的话也一样,可以先将旧的环境拷贝到新的电脑,然后通过下面的命令创一个新的环境
conda create -n AAA --clone ~/path
可以使用 conda info -e
来查询机器上的所有 conda 环境以及对应所在的位置。
安装 anaconda 后默认用的是别人的环境
具体表现为我在 253 上面装完 anaconda 之后显示的 base 环境是师兄的,然后我能新建环境,但是我不能切换到我的环境,一直报错
mmdet /home/kevin/.conda/envs/mmdet
/home/kevin/anaconda3
base * /home/whqsx/anaconda3
torch_1.6 /home/whqsx/anaconda3/envs/torch_1.6
kevin@LabServer:~$ conda activate mmdet
CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'.
If your shell is Bash or a Bourne variant, enable conda for the current user with
$ echo ". /home/whqsx/anaconda3/etc/profile.d/conda.sh" >> ~/.bashrc
or, for all users, enable conda with
$ sudo ln -s /home/whqsx/anaconda3/etc/profile.d/conda.sh /etc/profile.d/conda.sh
The options above will permanently enable the 'conda' command, but they do NOT
put conda's base (root) environment on PATH. To do so, run
$ conda activate
in your terminal, or to put the base environment on PATH permanently, run
$ echo "conda activate" >> ~/.bashrc
Previous to conda 4.4, the recommended way to activate conda was to modify PATH in
your ~/.bashrc file. You should manually remove the line that looks like
export PATH="/home/whqsx/anaconda3/bin:$PATH"
^^^ The above line should NO LONGER be in your ~/.bashrc file! ^^^
上官网仓库找报错问题,只需要用一行代码就可以解决这个问题
source ~/anaconda3/etc/profile.d/conda.sh
conda activate my_env
挂载 NAS
其实就是将 NAS 上的目录映射到本地一个目录,所以新建一个目录叫做 /NAS_REMOTE
,用 apt 先安装 nfs-utils
,在 sudo vim /etc/fstab
在最底下添加一行 (前面是被挂载的目录,后面是本地挂载目录)
172.31.233.218:/share/CACHEDEV1_DATA/Public /NAS_REMOTE nfs defaults 0 0
之后再运行 sudo mount -a
,就能将 NAS 挂载上,以后重启机器的话也要运行一下这个命令进行挂载
挂载其他服务器 https://cshihong.github.io/2018/10/16/NFS%E6%9C%8D%E5%8A%A1%E5%99%A8%E6%90%AD%E5%BB%BA%E4%B8%8E%E9%85%8D%E7%BD%AE/
[root@localhost ~] sudo yum install -y nfs-utils
#安装nfs服务
[root@localhost ~] sudo yum install -y rpcbind
#安装rpc服务
[root@localhost ~] sudo systemctl start rpcbind #先启动rpc服务
[root@localhost ~] sudo systemctl enable rpcbind #设置开机启动
[root@localhost ~] sudo systemctl start nfs-server nfs-secure-server
#启动nfs服务和nfs安全传输服务
[root@localhost ~] sudo systemctl enable nfs-server nfs-secure-server
[root@localhost /] sudo firewall-cmd --permanent --add-service=nfs
success #配置防火墙放行nfs服务
[root@localhost /] sudo firewall-cmd --reload
successs
根目录满了怎么办
进入根目录,输入下列命令找到是哪个文件夹比较耗容量,一般都是 var/log
或者 /var/cache
sudo du -sh *
但是我们需要经常清理这些目录,比较麻烦,一劳永逸的方案是在 /var 中建立 cache、log… 的软链接,链接到一个磁盘比较充足的目录中。
批量 kill 进程
用 grep 配合 awk 可以轻易做到,awk '{print $2}'
表示输出第二列结果,在 ps 命令中就是进程的 id 号
ps -ef | grep xxx | grep -v grep | awk '{print $2}' | xargs kill -9
莫名其妙占用显存
有时候明明没人用卡,但是卡的显存却被占用了很多,也找不到卡上的进程,这是因为上一个用卡的人的程序退出了,但是又没完全退出,让这个用户输入下面命令就可以清空显存( 里面的 X 是 GPU 的 id 号 ),不过要注意,可能导致该用户所有 GPU 进程全部被终结,所以最好让该用户在没有使用 GPU 的时候输入命令
fuser -v /dev/nvidiaX | awk "{print $2}" | xargs kill -9
86只能被233网段的机器连接
有时候重启了 233.86 之后,会出现 ssh 连接不上的情况,但是 233.xx 的 ip 可以连接上,这是因为 86 用的默认网卡是一张有问题的卡(不知道是谁设置的),默认走的是这张网卡,使用 ip route
命令可以看到,如果第一行的 default 不是连接到学校内网的网卡的话,就是有问题的,需要用 ifconfig <网卡名> down
把这块网卡关掉,然后再 ip route
查看,第一行 default 变了的话就是成功了
根目录列表无法显示
具体表现为,在根目录输入 ls
命令之后一直卡死,按 CTRL+C
都退不出去,没错,我说的就是 189 服务器。然后就输入 df -h
想看看服务器的磁盘使用情况,依然卡死,无法退出。于是查看一下本地的磁盘使用,输入 df -hl
有正常的输出,那就说明本地的文件系统没有问题,那么就可能是挂载了其他服务器上的磁盘,因为其他服务器出了问题,导致 ls
的时候一直在等待这个服务器的响应。于是输入 mount
查看服务器是否有挂载其他服务器文件夹,出来两个文件系统,一个是我们的 NAS,一个是师兄自己的 NAS,分别 ping 他们的 ip,都能 ping 通,所以不存在机器关机的问题,然后分别进入这两个文件夹,发现师兄的 NAS 可以正常进入,而我们的 NAS 进不去,并且一直卡着,那么问题找到了,我们的 NAS 出了问题。
怎么解决呢,一个好的办法就是将他取消挂载,但是用 umount -f /NAS_REMOTE
的话会说 device is busy
,要用 umount -l /NAS_REMOTE
,这样就可以取消挂载,可以列出根目录列表了。随后检查一下 NAS,发现没有什么异常,在其他服务器取消挂载后再挂上去也一样正常,但是在 189 输入 sudo mount -a
重新挂载 NAS 后又会卡死,目前暂时未解决这个问题,估计重启后就可以了。
造成这种现象的原因是 nfs 服务器/网络挂了,nfs 客户端默认采用 hard-mount 选项,而不是 soft-mount。他们的区别是:
- soft-mount: 当客户端加载 NFS 不成功时,重试 retrans 设定的次数.如果 retrans 次都不成功,则放弃此操作,返回错误信息 “Connect time out”
- ard-mount: 当客户端加载 NFS 不成功时,一直重试,直到 NFS 服务器有响应。hard-mount 是系统的缺省值。
reference:
https://blog.csdn.net/Bronze5/article/details/79113378
https://blog.csdn.net/qq_36270681/article/details/104408077
https://blog.csdn.net/BrotherDong90/article/details/51735632
A100 突然之间用不了GPU
经常在 A100 上发生,突然之间用不了 GPU 了,具体表现为,torch 的 torch.cuda.is_available()
为 False,并且运行英伟达的示例程序也 return 一个错误代码。花了些时间找出这是什么造成的,这是 A100 独有的问题,因为它需要一个 fabricmanager
服务,但是这个服务经常会突然崩掉,所以我们又得将这个服务重新安装,然后再 enable 它,GPU 就能够正常使用了。
distribution=$(. /etc/os-release;echo $ID$VERSION_ID | sed -e 's/\.//g') \
&& wget https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/cuda-$distribution.pin \
&& sudo mv cuda-$distribution.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/7fa2af80.pub \
&& echo "deb http://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | sudo tee /etc/apt/sources.list.d/cuda.list \
&& sudo apt-get update
sudo apt-cache madison cuda-drivers-fabricmanager-450
sudo apt-get install -y cuda-drivers-fabricmanager-450
reboot
systemctl start nvidia-fabricmanager.service
systemctl enable nvidia-fabricmanager.service
服务器频繁重启
很勾巴烦,服务器好端端的自己重启,具体表现为 ping 不到 ip,ssh 断连,一段时间开机后恢复。开始以为是 GPU 出了什么问题,没人用 GPU 就会重启,然后发现用了 GPU 还是重启,于是找客服远程看看,最终还是没解决,不过学到了一些查看 Linux 系统日志的知识,记录一下。
首先,last
命令可以输出之前登陆过系统的用户的名字和登录时长,并且可以看到系统重启的时间。最后三行表示的是登陆时间、退出时间以及持续时间,注意倒数第二行,如果是正常重启的话就是 down
,电源强制重启的话就显示 crash
,可以看到我们这里很多个 crash
,所以系统可能有点问题。
lzr pts/3 172.29.3.101 Tue Aug 31 11:46 still logged in
lzr pts/2 172.29.3.101 Tue Aug 31 11:46 still logged in
lzr pts/1 172.31.71.85 Tue Aug 31 11:33 still logged in
lzr pts/0 172.29.3.101 Tue Aug 31 11:00 still logged in
reboot system boot 3.10.0-1160.6.1. Tue Aug 31 18:56 - 20:13 (01:16)
lzr pts/12 172.29.3.101 Tue Aug 31 10:53 - 10:54 (00:00)
lzr pts/12 172.29.3.101 Tue Aug 31 10:53 - 10:53 (00:00)
lzr pts/12 172.29.3.101 Tue Aug 31 10:53 - 10:53 (00:00)
lzr pts/12 172.29.3.101 Tue Aug 31 10:53 - 10:53 (00:00)
lzr pts/12 172.29.3.101 Tue Aug 31 10:53 - 10:53 (00:00)
lzr pts/11 172.29.3.101 Tue Aug 31 10:47 - crash (08:09)
lzr pts/10 172.29.3.101 Tue Aug 31 09:43 - crash (09:13)
lzr pts/9 172.29.3.101 Tue Aug 31 03:10 - crash (15:46)
lzr pts/5 172.31.71.186 Mon Aug 30 21:39 - crash (21:17)
lzr pts/4 172.31.71.186 Mon Aug 30 21:37 - crash (21:19)
lzr pts/0 172.31.71.85 Mon Aug 30 21:13 - crash (21:43)
reboot system boot 3.10.0-1160.6.1. Tue Aug 31 05:03 - 20:13 (15:10)
lzr pts/6 172.31.71.85 Mon Aug 30 16:55 - 16:55 (00:00)
lzr pts/6 172.31.71.85 Mon Aug 30 16:55 - 16:55 (00:00)
lzr pts/5 172.31.71.85 Mon Aug 30 14:38 - crash (14:25)
guanhua_ pts/4 172.31.108.76 Mon Aug 30 14:02 - crash (15:01)
lzr pts/1 172.31.71.186 Mon Aug 30 10:41 - crash (18:22)
lzr pts/0 172.31.71.186 Mon Aug 30 10:40 - crash (18:22)
知道系统有问题之后我们可以去查看系统日志,一般在 /var/log/messages
里面,ubuntu 的话在 /val/log/syslog
里面,这个文件记录了系统的一些情况,但是看着也没啥能跟重启有关的问题。
Aug 31 20:15:18 localhost systemd: sshd.service start operation timed out. Terminating.
Aug 31 20:15:18 localhost systemd: Failed to start OpenSSH server daemon.
Aug 31 20:15:18 localhost systemd: Unit sshd.service entered failed state.
Aug 31 20:15:18 localhost systemd: sshd.service failed.
Aug 31 20:15:26 localhost kernel: NFSD: client 172.31.234.159 testing state ID with incorrect client ID
Aug 31 20:15:26 localhost kernel: NFSD: client 172.31.234.159 testing state ID with incorrect client ID
Aug 31 20:16:00 localhost systemd: sshd.service holdoff time over, scheduling restart.
Aug 31 20:16:00 localhost systemd: Stopped OpenSSH server daemon.
Aug 31 20:16:00 localhost systemd: Starting OpenSSH server daemon...
Aug 31 20:16:01 localhost dbus[1413]: [system] Activating service name='org.fedoraproject.Setroubleshootd' (using servicehelper)
Aug 31 20:16:01 localhost systemd: Created slice User Slice of root.
Aug 31 20:16:01 localhost systemd: Started Session 633 of user root.
Aug 31 20:16:01 localhost systemd: Removed slice User Slice of root.
Aug 31 20:16:01 localhost dbus[1413]: [system] Successfully activated service 'org.fedoraproject.Setroubleshootd'
Aug 31 20:16:02 localhost setroubleshoot: failed to retrieve rpm info for /usr/local/lib/libnss-2.1.2.so
因为我们这种情况可能是系统崩溃,所以还可以去查看系统崩溃报告,在 /var/crash/xxx
里面有系统崩溃时的内核报告,给出了崩溃时的 core dump,这东西得专业的人来看才看得懂。
[49827.892064] Call Trace:
[49827.892891] <IRQ>
[49827.893018] [<ffffffffc1a1d15c>] ? os_get_current_tick+0x2c/0x60 [nvidia]
[49827.894890] [<ffffffffc1e7cd3c>] ? _nv035997rm+0x2c/0x90 [nvidia]
[49827.895801] [<ffffffffc1a4e761>] ? _nv009219rm+0x6d1/0x710 [nvidia]
[49827.896702] [<ffffffffc1a4f57c>] ? _nv036101rm+0x2c/0x120 [nvidia]
[49827.897638] [<ffffffffc1a98883>] ? _nv032953rm+0x33/0x1a0 [nvidia]
[49827.898519] [<ffffffffc1a0d470>] ? nvidia_frontend_ioctl+0x40/0x40 [nvidia]
[49827.899451] [<ffffffffc22d84e6>] ? rm_run_rc_callback+0x86/0xd0 [nvidia]
[49827.900332] [<ffffffffc1a0dfdc>] ? nvidia_rc_timer_callback+0x3c/0x60 [nvidia]
[49827.901210] [<ffffffffc1a0d47d>] ? nv_timer_callback_typed_data+0xd/0x10 [nvidia]
[49827.902003] [<ffffffffac8abd58>] ? call_timer_fn+0x38/0x110
[49827.902868] [<ffffffffc1a0d470>] ? nvidia_frontend_ioctl+0x40/0x40 [nvidia]
[49827.903660] [<ffffffffac8ae1ed>] ? run_timer_softirq+0x24d/0x300
[49827.904438] [<ffffffffac8a4b95>] ? __do_softirq+0xf5/0x280
[49827.905199] [<ffffffffacf984ec>] ? call_softirq+0x1c/0x30
[49827.905954] [<ffffffffac82f715>] ? do_softirq+0x65/0xa0
[49827.906709] [<ffffffffac8a4f15>] ? irq_exit+0x105/0x110
[49827.907447] [<ffffffffacf99a88>] ? smp_apic_timer_interrupt+0x48/0x60
[49827.908171] [<ffffffffacf95fba>] ? apic_timer_interrupt+0x16a/0x170
[49827.908876] <EOI>
在知道服务器是由于崩溃导致重启之前,我怀疑过系统是不是被黑客入侵了然后留了个定时关机脚本,我查看 crontab
里面发现没有,然后我又觉着网络上行流量好大,是不是黑客留下了某个程序在一直往外面发送文件,于是我查询有没有根据进程名显示流量占用量的程序,然后找到了 nethogs
这个工具,最终发现,这么大的流量是因为我将服务器的一个目录映射成了 NFS 服务器,它在和客户端进行数据传输。
查询了 google 上的相关问题,很少有人出现我这种情况,但是出现这种情况的都是电源出了问题,所以我猜测也应该是电源出了问题,要么就是机房电压不稳。打电话让工程师过来机房看了一下,发现有根电源线已经快掉了,然后给他插紧了,应该是这个原因导致的。
给服务器加硬盘
TODO,还没有试过
[Linux服务器增加硬盘操作记录 | Yunfeng’s Simple Blog (vra.github.io)](https://vra.github.io/2017/02/24/linux-add-disk/) |
PyCharm无法列出目录
有一天,skh 的电脑莫名其妙出现这个问题,网上查都查不到是什么原因
[2021/9/17 23:26] Upload to kevin@172.31.233.142:22 (3)
[2021/9/17 23:28] Upload to kevin@172.31.233.142:22 (3) failed: could not list the contents of folder "sftp://172.31.233.142/". (Timeout expired)
[2021/9/18 21:17] Upload to kevin@172.31.233.142:22 (3)
[2021/9/18 21:19] Upload to kevin@172.31.233.142:22 (3) failed: could not list the contents of folder "sftp://172.31.233.142/". (Timeout expired)
我想起上次师妹好像也有这个问题,也没解决,然后众人和 skh 搞了一晚上,尝试过卸载 PyCharm,未果,就差重装系统了。大伙们都以为是 skh 的 PyCharm 有问题,他本人也如是觉着,走前我用我的 PyCharm 上传文件到服务器,结果发现也出了这个错误,竟然出现了机传机现象!而且用 PyCharm 的都中招了!起初人们以为这只是一个小 bug,直到自己的 PyCharm 也打不开了才不得不重视起来,连夜找 VSCode 的替代方案,结果发现 VSCode 还确实能够做到一份代码同步到多个服务器上,这个我以后专门写一份教程。第二天,在我和 jlchen 讨论出一个曲线救国的 VSCode 环境配置之前,我觉得 VSCode 多台服务器远程开发还是有缺点,还是 PyCharm 更香,于是我又去找了上面那个报错的原因,其中一份解决方案里面提到了根目录,如果要将 remote 资源列出来的话,要从根目录列,这时候我突然想起来!我有台服务器用作 NAS 存数据了,所以很多服务器上都挂了我的这个 NAS,但是我这台 NAS 在昨天下午被意外关机了,一直没有开机。上次我在 189 上就有这个问题,最后把挂载的服务器取消挂载就行了,没想到这次可能又是这个问题,只不过换了种形式,我马上去实验室服务器上 ls /
列一下根目录,果然,卡住了!这波不是 PyCharm 的锅,是我的锅,把 NAS 卸载就行了,继续拥抱 PyCharm。
重启机器后硬盘丢失
有时机器重启或者关机后,再次开机就找不到某块硬盘了,这时候我们需要手动去挂载他,找到丢失的硬盘的位置,然后再挂载,主要是找到硬盘编号比较重要,一般是 sdb,sda 之类的代号,可以通过 sudo fdisk -l
查找,如果是未挂载的硬盘是查看不到里面的文件的。
sudo mount /dev/sdb /mnt/nas/
查看内存占用
输入 ps aux | sort -k4nr | head -n 5
查看占用内存最多的前 5 个进程,或者也可以通过 top
命令后按住 M
来对内存占用进行排序,两个都可以。利用 ps -aux
或者 top
命令也可以查看到具体的占用多少 G 内存,举个例子,这是 top
命令的界面,%MEM
就是内存的占用量,对 250508
这个进程来分析一下,它的占用率是 2.1%,我们服务器内存大概是 504G,得出这个进程占用了大约 10.6G 的内存
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
250508 wubizhu 20 0 92.497g 0.010t 88056 S 0.0 2.1 0:32.10 python
250593 wubizhu 20 0 92.498g 0.010t 87900 S 0.0 2.1 0:29.64 python
225884 xjheng 20 0 49.620g 0.010t 6.367g S 4.8 2.0 57:06.42 python
83813 xjheng 20 0 52.932g 6.760g 3.045g R 101.9 1.3 205:04.84 python
252689 zxdong 20 0 14.935g 4.106g 83604 D 2.6 0.8 22:00.05 python
252681 zxdong 20 0 14.935g 4.106g 83608 D 30.4 0.8 22:18.04 python
13646 xjheng 20 0 17.928g 4.022g 1.127g D 22.7 0.8 1:29.93 python
验证一下说法,通过 ps -aux | grep 250508
得到下面结果,第六列 10944660
就是占用的物理内存,单位是 k,所以这里统计出的是 10.9G,跟我们算出来的差不多
wubizhu 250508 1.8 2.0 96990572 10944660 pts/131 Sl+ 11:50 0:42 python xx.py
通过 cat /proc/250508/status
也能得到进程的内存占用量,VmRSS
就是物理内存使用量,单位也是 k
Name: python
Umask: 0002
State: S (sleeping)
Tgid: 250508
Ngid: 250508
Pid: 250508
PPid: 38642
TracerPid: 0
Uid: 1074 1074 1074 1074
Gid: 1074 1074 1074 1074
FDSize: 128
Groups: 1074
NStgid: 250508
NSpid: 250508
NSpgid: 38642
NSsid: 9950
VmPeak: 97005580 kB
VmSize: 96990572 kB
VmLck: 0 kB
VmPin: 0 kB
VmHWM: 10961980 kB
VmRSS: 10944656 kB
BMC 相关 (TODO)
BMC是一个独立于服务器系统的小型操作系统,作用是方便服务器远程管理、监控、安装、重启等操作。BMC接通电源即启动运行,由于独立于业务程序不受影响,避免了因死机或者重新安装系统而进入机房。
BMC只是一个集成在主板上的芯片(也有通过PCIE等各种形式插在主板上),对外表现形式只有一个标准RJ45网口,拥有独立IP。普通维护只需使用浏览器访问IP:PORT登录管理页面,服务器集群一般使用BMC指令进行大规模无人值守操作。
一般服务器BMC网口是独立的,仔细看印有BMC字样。但是也有小型服务器BMC网口和通信网口是二合一的。
当然也有不叫BMC的,只要遵守IPMI协议,都是类似的。
https://www.cnblogs.com/lianyg/p/9370625.html
显卡监控
因为之前服务器上经常有人一下就用很多卡,导致别人没卡跑,所以我写了个监控脚本在我管理的服务器上,每个人最多能占用两张卡的显存,超过的话就将程序给 kill 了,维护一个良好的秩序。
import os
import re
import time
users = 'root,florence,jeffin,jinziqi,jlchen,kevin,lmm,luocheng,weizeng,wubizhu,xiaox,xjheng,yuxuan,zsting,zxdong'.split(',')
def execCmd(cmd):
r = os.popen(cmd)
text = r.read()
r.close()
return text
while True:
info = execCmd('gpustat -cpu | grep python | awk \'{for(i=13;i<=NF;i++) printf $i""FS;print ""}\'')
pc_info = info.split('\n')
pc_info = [x for x in pc_info if x != '']
user_dict = dict([(user.strip(), dict()) for user in users ])
for i, mem_info in enumerate(pc_info):
one_card_info = mem_info.split(' ')
one_card_info = [x for x in one_card_info if x != '']
for val in one_card_info:
user = val[:re.search(':', val).span()[0]]
gpu_mem = val[re.search('\(', val).span()[1]: -2]
pid = val[re.search('/', val).span()[1] : re.search('\(', val).span()[0]]
if pid in user_dict[user].keys():
user_dict[user][pid] += int(gpu_mem)
else:
user_dict[user][pid] = int(gpu_mem)
for user, info in user_dict.items():
user_mem = 0
for pid, mem in info.items():
user_mem += mem
if user_mem > 81074:
os.system(f'kill {pid}')
t = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
print(f'==> {t} | Killed {user}: {pid}')
time.sleep(10)
服务器被黑应急响应
- 首先查看进程是哪个用户造成的,看看该任务是否有 crontab 定时任务,不要急着把程序 kill 掉,有 crontab 的话把 crontab 里面的东西删掉,把脚本文件也删掉
- 用 last 命令查看这个用户从哪个 ip 登录上服务器的,指不定是学校的内鬼或者其他肉鸡
- 改密码,把弱密码给改了,通常爆破弱密码登录的可能性十分大,很多人用的都是默认和 id 一样的密码
- 如果是新建的用户则删除用户,并且禁止该用户通过 ssh 登录服务器,如果知道 ip 的话顺便把 ip 也给禁了
- 毕了业的师兄师姐的账号 userdel ,删除用户之后东西都还在,只是不能通过 id 登录了
sudo vim /etc/ssh/sshd_config
(在里面添加一行 DenyUsers user1 user2)
sudo systemctl restart sshd.service
(重启 sshd 使改动生效)
sudo journalctl -xe
(查看重启日志)
查看最近用户登录情况
命令 | 日志文件 | 功能 |
---|---|---|
last |
/var/log/wtmp | 所有成功登录/登出的历史记录 |
lastb |
/var/log/btmp | 登录失败尝试 |
lastlog |
/var/log/lastlog | 最近登录记录 |
如果想清除记录的话直接 echo > /var/log/wtmp
写入空文件就行
This account is currently unavailable
症状:用某个用户的 id 和密码进行 ssh 登陆,然后就报了这个错误,开始以为是这个用户被删除了,然后看了一下并没有,后来查了一下,发现这用户被禁止登陆了,cat /etc/passwd | grep user
,发现他的 shell 是 /sbin/nologin
,将其改成 /bin/bash
就可以了,所以学到了一招,以后想禁止哪个用户登陆直接修改他的 shell 为 /sbin/nologin
就行了。
233 网段多台服务器没关机但是连不上
这个很难发现,233网段好多台机器都连不上了,但是有些又是好的,具体情况是有些机器网口没有亮灯,有些闪烁橙色灯,重启了也不行,所以怀疑就是网络问题,经过万总的经验,判断出来网口连着的交换机灯没有亮,判断是这台交换机有问题,然后换了一台好的交换机还是不行,这时想起来我们连着的交换机可能是这条线路汇总的总交换机,总的都没用,插其他的肯定也不行,最后就将那台交换机给开机了,然后这条线上的所有机器都好了。
安全相关
- 除非有特殊需要,否则禁止普通用户的 docker 权限!
- 设置密码时不要太简单,应使用大小写字母加数字加特殊字符的组合
- 校外访问如需用到内网穿透服务(如 frp,ngork 等),配置连接时应使用加密协议
某运维工程师的记录 https://zhuanlan.zhihu.com/p/441837141
批量修改用户密码
修改 UID 从 1000 到 2000 的用户密码,以 username:password
形式保存到文件中。
log=chpw.log
> $log
for username in `awk 'FS=":" {if ($3 >= 1000 && $3 < 2000) print $1}' /etc/passwd`; do
password=`openssl passwd $RANDOM`
echo $password | passwd --stdin $username &> /dev/null
echo -e "$username:$password" >> $log
done
然后用 chpasswd < chpw.log
来修改就行了,记得把脚本和 log 删除掉
TODO
设置 ip 白名单内的 ip 才能使用密码登陆,其他不能登陆
https://www.jianshu.com/p/5a13d6b0fa0a
远程日志 rsyslog,rootkit 检测工具 rkhunter