本文章使用的版本为frp_0.61.0_linux_amd64

工作原理

frp 主要由两个组件组成：客户端(frpc) 和 服务端(frps)。通常情况下，服务端部署在具有公网 IP 地址的机器上，而客户端部署在需要穿透的内网服务所在的机器上。

由于内网服务缺乏公网 IP 地址，因此无法直接被非局域网内的用户访问。用户通过访问服务端的 frps，frp 负责根据请求的端口或其他信息将请求路由到相应的内网机器，从而实现通信。

需求

我有一台配有公网ip的服务器，以及两台linux电脑，分别称为电脑a和电脑b。

我希望使用电脑a，在非局域网环境下，也能使用ssh访问电脑b。

服务端配置

• 假定我的服务器的ip为6.6.6.6
• 安装目录位于: /home/ubuntu/frp/frp_0.61.0_linux_amd64
• frps.toml文件为服务端的配置文件,内容如下

  #服务绑定的IP与端口
  bindAddr = "0.0.0.0"
  bindPort = 7000
  #web dashboard配置
  webServer.addr = "0.0.0.0"
  webServer.port = 7001
  webServer.user = "admin" # change
  webServer.password = "admin" # change
  #启用prometheus监控指标
  enablePrometheus = true
  #token权限验证，需与客户端配置一致
  auth.method = "token"
  auth.token = "simpletoken"
  #日志配置
  log.to = "/home/ubuntu/frp/frp_0.61.0_linux_amd64/frps/logs/frps.log"
  log.level = "info"
  log.maxDays = 3
  

启动服务端

• 命令行方式启动:

  ./frps -c ./frps.toml

• 使用systemd方式启动

  1. 配置文件/etc/systemd/system/frps.service,具体内容如下

  [Unit]
  # 服务名称，可自定义
  Description = frp server
  After = network.target syslog.target
  Wants = network.target
  
  [Service]
  Type = simple
  # 启动frps的命令，需修改为您的frps的安装路径
  ExecStart = /home/ubuntu/frp/frp_0.61.0_linux_amd64/frps -c /home/ubuntu/frp/frp_0.61.0_linux_amd64/frps.toml
  
  [Install]
  WantedBy = multi-user.target
  

  2. 启动服务
     • systemctl daemon-reload
     • systemctl start frps

客户端配置

• 我将电脑b作为客户端
• 安装目录位于: /home/ubuntu/Desktop/frp_0.61.0_linux_amd64
• frpc.toml文件为服务端的配置文件,内容如下

  serverAddr = "6.6.6.6"
  serverPort = 7000 #要和frps.toml的bindPort一致
  auth.method = "token"
  auth.token = "simpleToken"
  
  #日志配置
  log.to = "/home/ubuntu/Desktop/frp_0.61.0_linux_amd64/logs/frpc.log"
  log.level = "info"
  log.maxDays = 3
  
  [[proxies]]
  name = "ssh"
  type = "tcp"
  localIP = "127.0.0.1"
  localPort = 22
  remotePort = 6000
  

启动客户端

• 命令行方式启动:

  ./frpc -c ./frpc.toml

• 使用systemd方式启动

  1. 配置文件/etc/systemd/system/frpc.service,具体内容如下

  [Unit]
  Description = frp client
  After = network.target syslog.target
  Wants = network.target 
  
  [Service]
  Type = simple
  # 启动frps的命令，需修改为您的frpc的安装路径
  ExecStart = /home/ubuntu/Desktop/frp_0.61.0_linux_amd64/frpc -c /home/ubuntu/Desktop/frp_0.61.0_linux_amd64/frpc.toml
  
  [Install] 
  WantedBy = multi-user.target
  

  2. 启动服务
     • systemctl daemon-reload
     • systemctl start frpc

访问

• 命令: ssh -o Port=6000 ubuntu@6.6.6.6 -i ~/my_key.pem
• 注释
  • 这里的Port为frpc.toml中设置的remotePort
  • -i ~/my_key.pem ，我是用来ssh连接6.6.6.6的
  • 这里的ubuntu为电脑b的用户名
  • 登录上后如果需要密码,那尝试输入电脑b的密码
• 可以这样配置~/.ssh/config

  Host 电脑b
    HostName 6.6.6.6
    Port 6000
    User ubuntu
    IdentityFile ~/.ssh/my_key.pem
  

参考

• fatedier/frp: A fast reverse proxy to help you expose a local server behind a NAT or firewall to the internet.
• 文档 | frp
• 请问frpc里面可以设置多个server_addr吗？ · Issue #1607 · fatedier/frp
• 使用Frp配置内网访问（穿透） - hovin - 博客园
• 使用 frp 访问群晖 NAS - Power’s Wiki

1. 将公钥添加到 ~/.ssh/authorized_keys
2. 添加权限: chmod 600 ~/.ssh/authorized_keys, chmod 700 ~/.ssh
3. 登录: ssh username@server_ip

Github相关

• 作用：use SSH to perform Git operations in repositories on GitHub.com

• 步骤:

  1. Generating a new SSH key and adding it to the ssh-agent - GitHub Docs

  ssh-keygen -t ed25519 -C "your_email@example.com" 2. Generating a new SSH key and adding it to the ssh-agent - GitHub Docs 3. Testing your SSH connection: ssh -T git@github.com 4. Adding a new SSH key to your GitHub account - GitHub Docs

使用端口转发来远程连接内网的机器

• 涉及到三台机器，身边的电脑a，具有公网ip的机器b，远程需要被访问的电脑c
• 核心思想: 使用一台能被双方访问得到的公网机器作为代理
• 步骤:
  1. 电脑c需要执行ssh -oPort=22 -CNfg -R 40000:localhost:22 root@公网ip -oPort
  2. 使用电脑a通过ssh登陆到机器b，再通过ssh连接本地40000端口，这样就相当于连接到了电脑c的22端口
• 参考: SSH 端口转发

持续部署

• webfactory/ssh-agent: GitHub Action to setup ssh-agent with a private key这个action可以用来在GitHub Action进行ssh连接。
• 不过考虑到安全问题，最好是是利用SSHD来限制可执行的指令, 具体参见安全地使用 SSH 进行持续部署 - Cmj’s Blog

id_rsa和 xx.pem的区别和联系

• id_rsa 是一个私钥文件，通常用于 SSH 认证
• xx.pem 文件则通常是 PEM 格式，可能包含私钥、公钥或证书，广泛用于 SSL/TLS,可以用于多种加密场景

参考

• 如何优雅地在你的Windows主力机上通过SSH远程控制你的服务器（centos） - 知乎
• 群晖 NAS 实现 SSH 免密码登录 | LEGALGEEK
• VS Code Remote-ssh 远程控制Windows主机 + 免密登录 + 内网穿透_vscode 免密ssh 连接 windows-CSDN博客
• 史上最全 SSH 暗黑技巧详解 | plantegg

最近刚好有将stable-difussion服务运行在服务器的需求，首先考虑的是amazon，但最便宜的那款一小时都要1美元多，偶然间发现腾讯云有活动高性能应用服务HAI_GPU云服务器_腾讯云，价格如下

• GPU 基础型算力套餐
  • 显存大小：16 GB
  • 算力大小：8+TFlops SP
  • CPU：8 核，内存：32GB
  • 1.2元每h
  • 学生特惠，150元买250 小时 GPU基础型算力套餐
• 这参数其实就是NVIDIA T4 Tensor Core GPU for AI Inference | NVIDIA Data Center

这价格快比电费还便宜了，于是买了一张150元的现金券来体验下。

需求

我想使用该服务器跑一个被我魔改后的stable-difussion-webui，而它提供了一键部署Stable Difussion WebUI的选项。

如果能使用这装好的python环境，那我能省事很多。而且我也好奇这是怎么做的。以下是我的过程。

ssh连接

第一步肯定是得连接上去。

但在腾讯云 - 控制台并不能找到连接的按钮，还以为不提供,找文档找到了高性能应用服务 连接 Linux 算力-操作指南-文档中心-腾讯云。

看到方式一，很熟悉啊，于是就去做了。

(写这篇文章的时候我又看了遍这个文档，发现还有方式二：通过 Terminal 连接算力)，然后我才发现它提供的JupyterLab有项目的基础介绍。所以其实我下面写的这些很大一部分其实人都写得很明白了,╮(╯-╰)╭ ）

找到python依赖的安装位置

一进去先ls,发现有个miniconda3,答案就呼之欲出了，请ChatGPT写了个简单的cheatsheet:

# 创建一个新的 Conda 环境
conda create --name myenv python=3.8

# 激活环境
conda activate myenv

# 停用环境
conda deactivate

# 列出所有 Conda 环境
conda env list

node运行装在conda的python

我需要用node去调用python，可以这样做

const workDir = "/root/my-stable-diffusion-webui";
let webUIProcess;

const url = process.env.URL;

const initWebGUI = _ => {
    return new Promise(resolve => {
        console.log('initWebGUI start');
        process.chdir(workDir);
        webUIProcess = spawn('/root/miniconda3/bin/python', ['launch.py', '--xformers', '--api','--nobrowser']);

        webUIProcess.stdout.on('data', (data) => {
            console.log(`stdout: ${data}`);

            return resolve();
        });
        webUIProcess.stderr.on('data', (data) => {
            const errorMessage = data.toString();
            console.error(`stderr: ${errorMessage}`);

            // Check for errors, assuming warnings do not contain 'error'
            if (/error/i.test(errorMessage)) {
                console.log('Kill process...', webUIProcess.pid);
                webUIProcess.kill();  // Kill the current process
                console.log('Process', webUIProcess.pid, ' killed.');
            }
        });
    });
}

值得一提的是，因为该服务器将依赖将依赖全安装在了base这个环境下，所以路径就是/root/miniconda3/bin/python

基础环境配置

1. nvm安装
   • nvm-sh/nvm: Node Version Manager - POSIX-compliant bash script to manage multiple active node.js versions
   • wget -qO- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.0/install.sh | bash
2. redis安装: apt-get install redis

下载所需的底模和lora文件

1. 因为我本地已经有相应的文件，于是我首先想的是上传。先是用的Cyberduck,但连接失败，检查了下端口，也有开放，不知道啥原因，于是放弃
2. 尝试直接使用sftp,sftp username@your_server_ip ,确实可行，于是请请ChatGPT写了个简单的cheatsheet:

# 连接到服务器
sftp username@your_server_ip

# 切换到远程目录
cd /home/root/

# 使用 lpwd 查看本地工作目录，lcd 切换本地目录：

# 上传本地文件
put C:\path\to\example.txt

# 使用 get 命令从远程服务器下载文件到本地：
get remotefile.txt


# 退出 sftp 会话
exit

但发现速度不尽如人意，于是放弃

3. 这时候就可以将思维逆转过来。既然不能上传，那我就下载啊。我需要的底模文件是在【SDXL】 Pixel Art | Base - v1.0 | Stable Diffusion Checkpoint | Civitai，当我直接复制下载链接，使用wget会报错，需要认证。查文档查到了Civitai’s Guide to Downloading via API - Civitai Education。最终能运行的命令类似于: curl -L -H "Content-Type: application/json" -H "Authorization: Bearer your_token" https://civitai.com/api/download/models/311399 -o SDXLPixelArtBase_v10.safetensors

4. lora文件我则将上传到了s3上。它有个share with presigned URL,于是我想当然地使用，但发现还是报错。最后还是直接用的Object URL

5. 后来发现文档中推荐的下载是这样写的:

   • 建议将基础模型文件转存至与HAI实例同地域的COS桶中，再在HAI实例中拉取COS文件，速度最快
   • 国内地域HAI实例可能存在网络不稳定情况，推荐启用“学术加速”；国外地域HAI实例下载模型、插件速度更快

   好一个“学术加速”

运行时报错

• import - no module named ‘dotenv’ python 3.8 - Stack Overflow

  pip install python-dotenv

pm2使用

再再请ChatGPT写了个简单的cheatsheet:

# 安装
npm install pm2 -g

# 指定env文件 
pm2 start "node --env-file=.env app.js"

# 查看 PM2 中正在运行的进程
pm2 list

# 查看应用程序日志
pm2 logs my-app

# 停止应用程序：
pm2 stop my-app

# 重启应用程序：
pm2 restart my-app

# 删除应用程序：
pm2 delete my-app

# 检查日志
pm2 logs app

# 实时监控
pm2 monit

怎么开机自启的

服务跑着跑着爆显存了，感觉问题可能出在这个服务器运行了两个stable-difussion-webui，重启后发现还是有，那么它是怎么做到开机自启的呢？

我先后检查了以下几处（还是请ChatGPT帮的忙）:

1. systemctl

systemctl list-unit-files --type=service --state=enabled
systemctl list-units --type=service --state=running

这个命令将列出所有在系统启动时启用的服务。

2. 检查 /etc/init.d/ 在一些较旧的系统或特定的服务中，可以通过检查 /etc/init.d/ 目录来查看初始化脚本：

ls /etc/init.d/

这些脚本通常用于传统的 init 系统，在启动时运行。

4. cron

sudo crontab -l
sudo crontab -u <username> -l

cat /etc/crontab
cat /etc/cron.*/*

5. 检查 rc.local

sudo vim /etc/rc.local

以上检查都无果后，我想起了查看当前进程:

# 显示当前终端中的所有进程：
ps -ef

# 比较可疑的包括
root           1       0  0 12:35 ?        00:00:00 /usr/bin/dumb-init -- /usr/local/bin/application_init.s
root           7       1  0 12:35 pts/0    00:00:00 /bin/bash /usr/local/bin/application_init.sh
root          16       7  0 12:35 pts/0    00:00:00 /usr/bin/python3 /usr/bin/supervisord -c /etc/superviso
root          18      16  0 12:35 pts/0    00:00:00 /bin/bash /usr/local/bin/launch_jupyter.sh
root          19      16  0 12:35 pts/0    00:00:00 sshd: /usr/sbin/sshd -D [listener] 0 of 10-100 startups
root          20      16  0 12:35 pts/0    00:00:00 /bin/bash /usr/local/bin/launch_stable_diffusion_webui.
root          21      18  0 12:35 pts/0    00:00:04 /root/miniconda3/bin/python3 /root/miniconda3/bin/jupyt
root          22      18  0 12:35 pts/0    00:00:00 tee -a /var/log/jupyter_service.log
root          23      20  1 12:35 pts/0    00:01:03 python3 -u launch.py --skip-prepare-environment --xform
root          24      20  0 12:35 pts/0    00:00:00 tee -a /var/log/sd_service.log
root        1225      68  0 12:50 pts/1    00:00:00 vim /etc/systemd/system/supervisord.service
root        1994      21  0 13:29 ?        00:00:00 /root/miniconda3/bin/python3 -m ipykernel_launcher -f /

于是找到了supervisord

supervisord的使用

1. 请ChatGPT写了个简单的介绍:

supervisord 是一个流行的进程控制系统，用于管理和监控 Unix-like 操作系统上的进程。它提供了一种简单的方式来启动、停止、重启和监控进程。supervisord 是 supervisor 的守护进程，而 supervisor 是用于管理进程的客户端工具。

2. 用whereis supervisord找到了配置文件的位置，是在/etc/supervisord.conf,

   [program:stable_diffusion_webui]
   command=/usr/local/bin/launch_stable_diffusion_webui.sh
   autostart=true
   autorestart=false
   numprocs=1
   redirect_stderr=true
   startretries=1
   startsecs=300
   stdout_logfile=/dev/stdout
   stdout_logfile_maxbytes=0
   stdout_events_enabled=true
   stderr_events_enabled=true
   stopasgroup=true
   killasgroup=true
   

3. 那么刚才的问题得到了解答，开机自启的是supervisor.service，然后supervisor将stable_diffusion_webui给启动了
4. /usr/local/bin/launch_stable_diffusion_webui.sh这个文件内容是

   #!/bin/bash
   source /mnt/application_env.txt
   cd /root/stable-diffusion-webui/ && python3 -u launch.py --skip-prepare-environment --xformers --listen --enable-insecure-extension-access --port=$STABLE_DIFFUSION_WEBUI_PORT 2>&1 | tee -a /var/log/sd_service.log`
   

开机自启

找到了它开机自启动服务的办法，那么就可以利用它来实现我想要的开机自启。

1. 先写了个脚本/usr/local/bin/check_and_start_pm2.sh:

#!/bin/bash

# 进入程序目录
cd /path/to/SD-server/stable-difussion-server/

# 检查 pm2 中是否已有名为 "app" 的程序
if ! pm2 list | grep -q 'app'; then
    # 如果没有，启动 pm2 进程
    pm2 start "node --env-file=.env app.js" --name app
else
    echo "PM2 process 'app' is already running."
fi

2. 给权限chmod +x /usr/local/bin/check_and_start_pm2.sh
3. 改/etc/supervisord.conf

   [program:stable_diffusion_webui]
   command=/usr/local/bin/check_and_start_pm2.sh
   autostart=true
   autorestart=true
   numprocs=1
   redirect_stderr=true
   startretries=1
   startsecs=300
   stdout_logfile=/dev/stdout
   stdout_logfile_maxbytes=0
   stdout_events_enabled=true
   stderr_events_enabled=true
   stopasgroup=true
   killasgroup=true
   

4. 重新加载 supervisord 配置

   supervisorctl reread
   supervisorctl update
   

5. 这里我还踩到了自己挖的一个坑，/usr/local/bin/check_and_start_pm2.sh文件首行我是写#!/bin/bash，但我nvm是在zsh上装的，于是pm2在bash环境下就识别不到，再加上就行了。 export PATH=$PATH:/root/.nvm/versions/node/v20.16.0/bin

体验

之前用过好几家国内的云服务器，最大的感受是ui很糟糕，然后就是费劲折腾的网络。

但这次体验却着实不赖，因为有了“学术加速”，呵呵。

特别鸣谢

感谢ChatGPT! 它省去了不少我查文档的功夫。

安装

• Windows11 + Linux (Ubuntu22.04) 双系统最简安装详细避坑版_win11安装linux双系统-CSDN博客
• Ubuntu 22.04.4 LTS (Jammy Jellyfish)
• 踩坑到怀疑人生后，最后放弃使用24.04，回退到22.04,原本寸步难行的泥泞沼泽也成了康庄大道,赞美Jammy Jellyfish。

安装wifi驱动

无果。我使用的主版官网上只提供了win11或win10的驱动。网上找的几种办法，包括更新内核，都没能成功。放弃。

• 更新内核后报错 bad shim signature & load the kernel first How to fix “bad shim signature & load the kernel first” errors on my triple boot setup? : r/linux4noobs

安装显卡驱动

1. 菜单栏找到 Additional drivers,点击安装
2. nvidia-smi 检查是否安装成功

查看配置

1. 查看ubuntu服务器的配置（cpu+显卡+内存+硬盘）_ubuntu查看服务器配置-CSDN博客

中文输入法

参考以下几篇

• Ubuntu中文设置与安装中文输入法（超详细）_ubuntu中文输入法安装-CSDN博客
• 各位 Linux 用的输入法都是？ - V2EX
• iDvel/rime-ice: Rime 配置：雾凇拼音 | 长期维护的简体词库

代理

• 求助， Linux 如何使用全局代理？ - V2EX
• ShellCrash
  • juewuy/ShellCrash: Run sing-box/mihomo as client in shell
• v2rayA
  • v2rayA/v2rayA: A web GUI client of Project V which supports VMess, VLESS, SS, SSR, Trojan, Tuic and Juicity protocols. 🚀
  • V2RayA——新一代Linux客户端安装配置教程 | SKY博客
  • Debian / Ubuntu - v2rayA
  • Debian / Ubuntu - v2rayA
    1. wget -qO - https://apt.v2raya.org/key/public-key.asc | sudo tee /etc/apt/keyrings/v2raya.asc
    2. echo "deb [signed-by=/etc/apt/keyrings/v2raya.asc] https://apt.v2raya.org/ v2raya main" | sudo tee /etc/apt/sources.list.d/v2raya.list
    3. sudo apt update
    4. sudo apt install v2raya v2ray
    5. sudo systemctl start v2raya.service
• dae
  • V2 上关于 dae（大鹅）（ebpf）的讨论还是比较少啊，完美的旁路科学方案了吧？ - V2EX
  • dae/docs/zh/how-it-works.md at main · daeuniverse/dae
  • dae/docs/zh at main · daeuniverse/dae
  • [Bug Report] Ubuntu 启动不起来 · Issue #468 · daeuniverse/dae
• electron-ssr
  • shadowsocksrr/electron-ssr: Shadowsocksr client using electron
  • linux配置SSR | Victrid’s Personal Site
• clash
  • 配置透明代理，实现无感上网 | Victrid’s Personal Site

ps: 在这上折腾最久，最终使用的是v2raya。

ssh

sudo apt update && sudo apt upgrade
sudo apt install openssh-server
sudo systemctl enable --now ssh

• Connecting to GitHub with SSH - GitHub Docs

杂

• Weird error when shutting down after update : r/archlinux
• 查看Linux系统架构的命令，查看linux系统是哪种架构：AMD、ARM、x86、x86_64、pcc 或 查看Ubuntu的版本号 - 掘金

steam

之前看SteamDeck用的系统是Linux魔改，以为现在Linux上跑游戏很成熟了，但自己实际体验后，发现支持Linux的还不算多。

• cmd1;cmd2 首先运行命令1，然后运行命令2
• cmd1&&cmd2 仅在命令1成功结束时才运行命令2
• cmd1||cmd2 仅当命令1失败时才运行命令2
• 执行多次，或循环执行

  #for i in {1..5}; do  // while true; do
  >  command 
  >done
  

bash

• 可以利用 TAB 补全查看所有可用的命令选项(连按两次 TAB 键)
• ~/.bashrc是 Bash shell 在每次启动时都会自动执行的一个脚本文件,可以用于设置环境变量、别名和一些其他 Bash shell 配置。
  • source /opt/rh/devtoolset-9/enable 更新gcc版本
  • export PS1=’[][\W]$ []’ 修改PS1变量，让其更加简洁。PS1的默认设置为\[\][\u@\h \W]\$ \[\]

管道

输出流

• 在Unix/Linux系统中，每个进程都有两个默认的输出流，即标准输出（文件描述符1，stdout）和标准错误输出（文件描述符2，stderr）
• 用|连接两个命令，以前面一个命令的输出作为后面命令的输入
• strace -f gcc a.c 2>&1 | vim - This will pipe both stdout and stderr to vim. The - argument tells vim to read from stdin.
• strace pmap 152 |& vim - |& : This is a shorthand for 2>&1 | in bash and zsh. It passes both standard output and standard error of one command as input to another.
• find / -newermt "2022-12-31 23:00" ! -newermt "2023-01-01 01:00" 2>/dev/null
  • 查找 2022年12月31日23:00 到 2023年1月1日1:00 期间发生变动的文件
  • 2>/dev/null 丢弃错误信息

crontab

• crontab -e
• 注意：crontab运行的环境并不包含docker命令。需要指定完整的路径。

进程

ps

• ps: 显示当前终端窗口关联的进程
• ps aux: 显示所有用户的详细进程列表，包括进程的PID（进程ID）、CPU利用率、内存使用等信息

lsof

• lsof -i:端口号:查看端口占用情况
• lsof -nP -iTCP -sTCP:LISTEN

• -n inhibits the conversion of network numbers to host names for network files. Inhibiting conversion may make lsof run faster.It is also useful when host name lookup is not working properly.

• -P inhibits the conversion of port numbers to port names for network files. Inhibiting the conversion may make lsof run a little faster. It is also useful when port name lookup is not working properly.

others

• kill -9 PID:杀掉对应的进程

tar

• tar cvf file.tar *.c creates a tar file called file.tar which is the Archive of all .c files in current directory.
• tar xvf file.tar extracts files from Archives.
• ztells tar command that creates tar file using gzip 即tar.gz

find

• 配合grep查找文件内关键字

  seq 1 10 | xargs -n2 -P5 sh -c 'find / -type f -mindepth $1 -maxdepth $2 -exec grep -inl "keyword" {} 2>/dev/null \;' _

• find查找指定时间段内变动的文件

  find / -newermt "2022-12-31 23:00" ! -newermt "2023-01-01 01:00" 2>/dev/null

• 查找根目录下的所有可执行文件，但排除/usr目录

  find / -path /usr -prune -o -type f -executable

查看信息

• 查看架构 arch
• 查看内核版本
  • uname -r
  • uname -a
  • cat /proc/version

杂项

• sudo passwd root: 修改root用户的密码
• su 切换用户，默认为切换到root用户
• strace 追踪程序系统调用
• touch 新建文件,内容为空
• cat
  • cat filename To view a single file
  • cat [filename-whose-contents-is-to-be-copied] > [destination-filename] Copy the contents of one file to another file.
  • cat file1 >> file2 Cat command can append the contents of one file to the end of another file.
• sort -nk 6 依第6列升序排列
• grep (global regular expression) 用于查找文件里符合条件的字符串或正则表达式
• which 查找安装路径 如which docker
• alias
  • alias name='command line'
  • 列出目前所有的别名设置 alias
  • 持久化: 添加到~/.bashrc即可
• Retrieve Contents over HTTP without curl or wget

参考链接

• find命令在应急中的高效排查技巧 – Zgao’s blog

1. 在The Linux Kernel Archives下载所需的内核代码
2. 解压缩 tar xvf linux-5.10.203.tar.xz （以linux-5.10.203.tar.xz为例）
3. cd linux-5.10.203
4. cp -v /boot/config-$(uname -r) .config
5. make menuconfig 进行配置
6. make -j$(nproc) 2> error.log 并发编译,并记录错误信息
7. make modules
8. make modules_install
9. make install
10. reboot
11. 在GRUB菜单选择编译好的内核
12. 可使用uname -r 查看内核版本，进行验证

脚本

我编写了一个脚本，用于自动化内核编译

#!/bin/bash

# 设置在出现错误或使用未定义的变量时立即退出
set -e
set -u

# 获取当前时间戳
timestamp=$(date +"%Y%m%d%H%M%S")

# 配置内核
# make menuconfig

# 创建日志文件，带有时间戳
log_file="compile_log_${timestamp}.txt"
touch "$log_file"

# 编译内核，将标准错误输出记录到日志文件并显示在终端
make -j$(nproc) INCREMENTAL=1 2> >(tee -a "$log_file" >&2) || { echo "Make failed"; exit 1; }

# 编译内核模块
make modules 2> >(tee -a "$log_file" >&2)

# 安装内核模块
make modules_install 2> >(tee -a "$log_file" >&2)

# 安装内核
make install 2> >(tee -a "$log_file" >&2)

# 更新 GRUB 配置（如果使用 GRUB 引导）
# update-grub 2> >(tee -a "$log_file" >&2)

添加新的系统调用

hello

方法一：

1. 编辑arch/x86/entry/syscalls/syscall_64.tbl,添加 441 64 hello sys_hello
2. 在include/linux/syscalls.h中添加函数声明

   /* test */
   asmlinkage long sys_hello(void);
   

3. 在kernel/sys.c中末尾添加如下代码

   /* test */
   SYSCALL_DEFINE0(hello)
   {
           printk("hello,world! \n");
           return 1;
   }
   

方法二：

摘自How to add system call (syscall) to the kernel, compile and test it? - DEV Community

1. 在/usr/src/linux-5.15.142建立新文件夹(以linux-5.15.142为例) mkdir hello && cd hello
2. vim hello.c

#include <linux/kernel.h>

asmlinkage long sys_hello(void) 
{
        //printk prints to the kernel’s log file.
        printk("Hello world\n");
        return 0;
}

3. vim Makefile

obj-y := hello.o

4. go to the parent directory (kernel source main directory)
5. add our new syscall directory to Makefile,search for core-y,and add hello/ to the end of this line.
6. 同方法一第一步
7. 同方法一第二步

hide

1. 编辑include/linux/sched.h 文件，在task_struct新增

        /* wyd: store the old pidS */
        pid_t old_pid;

        /* wyd: 0:hide */
        int hide;

2. 修改kernel/fork.c中的copy_process函数

        /* wyd: init the append values */
        p->hide =0;
        p->old_pid = p->pid;

3. 编辑arch/x86/entry/syscalls/syscall_64.tbl,添加 442 common hide sys_hide
4. 在include/linux/syscalls.h中添加函数声明

asmlinkage int sys_hide(pid_t pid,int on);

5. 在kernel/sys.c中末尾添加如下代码

此代码有问题，仅作为示例

SYSCALL_DEFINE2(hide,pid_t,pid, int,on)
{
        struct task_struct *p;
        struct task_struct *me = NULL;
        p = &init_task;
        do
        {
                if(p->old_pid == pid)
                {
                        me = p;
                        break;
                }
        }while((p = next_task(p)) && (p!= &init_task)):
        if(current->uid != 0 || me == NULL)
                return 0;
        if (on ==1)
        {
                me->pid =0;
                me->hide =1;
        }
        else
        {
                if(me->hide ==1)
                {
                        me->pid = me->old_pid;
                        me->hide = 0;
                }
        }
        return 0;
}

1. 修改fs/proc/base.c中proc_pid_lookup的代码，添加

        if (task->hide==1)
                goto out;

GRUB

默认启动的内核

1. 打开 GRUB 配置文件： sudo vim /etc/default/grub
2. 找到 GRUB_DEFAULT 行，并更改其值为你想要设置的默认内核的索引,保存并关闭。如 GRUB_DEFAULT=2
3. 更新 GRUB 配置 sudo update-grub

报错及解决

缺少xxx工具

可以在编译之前先安装编译所需要的所有工具 sudo apt-get install git fakeroot build-essential ncurses-dev xz-utils libssl-dev bc flex libelf-dev bison

No rule to make target ‘debian/certs/debian-uefi-certs.pem

我参考了Stack Overflow上的回答，执行以下两条命令

sudo scripts/config --disable SYSTEM_TRUSTED_KEYS
sudo scripts/config --disable SYSTEM_REVOCATION_KEYS

sed: can’t read modules.order: No such file or directory

参考Gentoo Forums :: 阅读主题 - sed: can’t read modules.order: No such file or directory

发现原来是刚才的make -j$(nproc)指令并没有执行成功。

No space left to place

我的选择是重装虚拟机，在设置的时候加大硬盘

看到两篇似乎可行的操作

• 编译内核时，磁盘爆满的问题-CSDN博客

BTF: .tmp_vmlinux.btf: pahole (pahole) is not available

参考compilation - BTF: .tmp_vmlinux.btf: pahole (pahole) is not available - Stack Overflow

sudo apt install dwarves

Warning: os-prober will not be executed to detect other bootable partitions.

• 具体描述： make install最后得到，

  Warning: os-prober will not be executed to detect other bootable partitions.
  Systems on them will not be added to the GRUB boot configuration.
  Check GRUB_DISABLE_OS_PROBER documentation entry.
  done
  

  看网上的教程，这时候直接重启就可以进到GRUB菜单，但我没有。原因应该是以上导致的。
• 解决： 我的解决方法是在电脑开机的时候(出现操作系统的开机画面之前)，按F4键进入GRUB菜单

VMware开启了共享文件夹却不显示

在/mnt 文件夹下执行 vmhgfs-fuse /mnt/hgfs

参考链接

• Linux内核编译很简单，6步编译一个自己的内核_0基础编译内核教程-CSDN博客
• linux - Compiling kernel gives error No rule to make target ‘debian/certs/debian-uefi-certs.pem’ - Stack Overflow
• Gentoo Forums :: 阅读主题 - sed: can’t read modules.order: No such file or directory
• Linux内核编译_linux内核编译后多大-CSDN博客
• Ubuntu磁盘扩充_ubuntu扩展磁盘空间-CSDN博客
• process - Hiding processes on Unix/Linux - Unix & Linux Stack Exchange
• Speeding Up Linux Kernel Builds With ccache
• How to add system call (syscall) to the kernel, compile and test it? - DEV Community
• Adding a New System Call — The Linux Kernel documentation

另存为

• :saveas ~/some/path/: save your file to that locationvim

查找

• 光标停留在想要查找的单词的任意一个字母上面， 然后输入Shift + * ，即可快速选中该单词，并且可以通过 n 或 N 进行上一个或下一个的匹配。

cmd模式

• :!cmd execute a shell command from within Vim
  • !gcc % 编译
  • !xxd 将当前文件转换为十六进制表示并显示在终端中
  • %!xxd 将当前文件的内容通过管道传递给外部命令xxd，并将其输出替换为当前文件的内容
• :set nu 显示行号
• :set wrap
• :%!grep execve
• :%! grep -v ENOENT
• :%s/term/another_term/g 替换

浏览器 vimium

1. 标记
   • m + m 创建一个新的标记
   • ```+m 跳转到标记的位置
2. g
   • g + u 访问当前网址的上一层（目录的上一层）
   • g + U 访问当前网址的首页
3. 标签页

• x 关闭标签页
• X 恢复最近关闭的标签页

vscode插件Vim

注释

• g + c 单行注释
• g + C 多行注释

宏使用

1. 在normal模式下输入qa(当然也可以输入qb, qc, etc，这里的a, b, c是指寄存器名称，vim会把录制好的宏放在这个寄存器中)
2. 录制操作
3. normal模式下输入q，结束宏录制。

跳转

• % 跳转到与当前括号所匹配的位置
• f< Jump forward and land on the < character
• t> Jump forward and land right before the < character

杂

Vim Life

看Vim Life - Normal Mode，作者使用macro，实现了一个生命游戏。

esc的替代

• 默认的代替Esc键的组合键是CTRL C 或者 Ctrl+[

参考链接

• mudi24/keyborad-man
• vim重复操作的宏录制 - ini_always - 博客园
• Learn Vim For the Last Time

• ctrl + C 打断执行
• pwd 输出当前位置
• cmd1;cmd2 首先运行命令1，然后运行命令2
• cmd1&&cmd2 仅在命令1成功结束时才运行命令2
• cmd1||cmd2 仅当命令1失败时才运行命令2
• strace 追踪程序系统调用
• touch 新建文件,内容为空
• cat
  • cat filename To view a single file
  • cat [filename-whose-contents-is-to-be-copied] > [destination-filename] Copy the contents of one file to another file.
  • cat file1 >> file2 Cat command can append the contents of one file to the end of another file.
• 管道；用|连接两个命令，以前面一个命令的输出作为后面命令的输入
  • strace -f gcc a.c 2>&1 | vim - This will pipe both stdout and stderr to vim. The - argument tells vim to read from stdin.
  • strace pmap 152 |& vim - |& : This is a shorthand for 2>&1 | in bash and zsh. It passes both standard output and standard error of one command as input to another.
• sort -nk 6 依第6列升序排列
• 执行多次，或循环执行

  #for i in {1..5}; do  // while true; do
  >  command 
  >done
  

• crontab的使用
  • crontab -e
  • 注意：crontab运行的环境并不包含docker命令。需要指定完整的路径。
• lsof -i:端口号查看端口占用情况
• kill -9 PID 杀掉对应的进程
• grep (global regular expression) 用于查找文件里符合条件的字符串或正则表达式
• which 查找安装路径 如which docker
• ls -l 详细信息
• ~/.bashrc是 Bash shell 在每次启动时都会自动执行的一个脚本文件,可以用于设置环境变量、别名和一些其他 Bash shell 配置。
  • source /opt/rh/devtoolset-9/enable 更新gcc版本
  • export PS1=’[][\W]$ []’ 修改PS1变量，让其更加简洁。PS1的默认设置为\[\][\u@\h \W]\$ \[\]
• tar
  • tar cvf file.tar *.c creates a tar file called file.tar which is the Archive of all .c files in current directory.
  • tar xvf file.tar extracts files from Archives.
  • ztells tar command that creates tar file using gzip 即tar.gz
• 可以利用 TAB 补全查看所有可用的命令选项(连按两次 TAB 键)

汇编相关

• objdump -d filename print the assembler content of the sections capable of execution.
• objdump -s filename print the complete content of all the sections of the file

gcc

• gcc - E a.c 对a.c进行宏展开
• 升级gcc版本到gcc9 CentOS7 升级gcc版本到gcc9 source /opt/rh/devtoolset-9/enable
• -static 静态编译，省去动态链接相关的系统调用

vim

• cmd模式
  • :!cmd execute a shell command from within Vim
    • !gcc % 编译
    • !xxd 将当前文件转换为十六进制表示并显示在终端中
    • %!xxd 将当前文件的内容通过管道传递给外部命令xxd，并将其输出替换为当前文件的内容
  • :set nu 显示行号
  • :set wrap
  • :%!grep execve
  • :%! grep -v ENOENT
  • :%s/term/another_term/g 替换
• visual模式 按v进入
  • y 复制选中内容
  • d 删除
• u undo

gdb

• 编译时要带-g
• bt :but trace

参考链接

• Cat command in Linux with examples
• CentOS7 升级gcc版本到gcc9
• 操作系统：设计与实现 (2022 春季学期)
• Linux 定时执行shell 脚本
• tar command in Linux with examples