From 52a6ddc2fd5e4b358a1db973c553eea3ab7df766 Mon Sep 17 00:00:00 2001 From: chn Date: Sat, 22 Mar 2025 14:25:52 +0800 Subject: [PATCH] =?UTF-8?q?=E5=B0=86=E5=85=B6=E5=AE=83=E5=9C=B0=E6=96=B9?= =?UTF-8?q?=E7=9A=84=E4=BF=A1=E6=81=AF=E8=BF=81=E7=A7=BB=E8=BF=87=E6=9D=A5?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- content/docs/server/config/_index.md | 1 + content/docs/server/config/hpcstat.md | 66 +++++++++++++++++++++++++ content/docs/server/job/lsf.md | 9 ++++ content/docs/server/link/_index.md | 64 +++++++++++++++++++++++- content/docs/server/qa/_index.md | 62 ++++++++++++++++++++++- content/docs/stuff/lottery/幸运抽奖.exe | 4 +- data/icons.yaml | 3 +- 7 files changed, 204 insertions(+), 5 deletions(-) create mode 100644 content/docs/server/config/hpcstat.md diff --git a/content/docs/server/config/_index.md b/content/docs/server/config/_index.md index 50bdc1c..9947f6f 100644 --- a/content/docs/server/config/_index.md +++ b/content/docs/server/config/_index.md @@ -18,5 +18,6 @@ title: "服务器配置" {{< card link="link" title="连接参数" icon="link" >}} {{< card link="hardware" title="硬件和队列" icon="cpu" >}} {{< card title="安装的软件" subtitle="咕" icon="atom" >}} + {{< card link="hpcstat" title="hpcstat 扩展功能" icon="tools" >}} {{< /cards >}} diff --git a/content/docs/server/config/hpcstat.md b/content/docs/server/config/hpcstat.md new file mode 100644 index 0000000..e61f9c6 --- /dev/null +++ b/content/docs/server/config/hpcstat.md @@ -0,0 +1,66 @@ +--- +weight: 3 +title: "hpcstat 扩展功能" +--- + +`jykang@hpc.xmu.edu.cn` 是许多人共用了一个账户（尽管是使用不同密钥认证的）。 +这导致所有基于 linux 账户的工具都只能把这些人当作同一个人来对待， + 许多功能都无法实现（例如，区分现在登陆的是谁，分用户统计核时，等）。 + +原则上来说，这个问题是没法彻底解决的。但是康老师又要求我去尽量解决这个问题（例如，统计每个人的核时、每个人登陆的时间等）。 +因此我写了一个程序（起名叫 `hpcstat`）来尽量解决这些问题。 + +在解决掉这些棘手的问题之后，我也顺便加了一些额外的功能（列在下面）来方便我自己的使用。 +如果你有需要，也可以使用。 + +{{< callout type="warning" >}} + 很多功能通过“滥用”`TERM` 变量来实现。 + 如果 `TERM` 变量的格式设置得不正确，PuTTY 登陆后一些程序会无法正常工作（但也不会造成更严重的问题）， + 因此尝试时应该仔细且小心，并且在尝试之前记下原来的 `TERM` 变量以便出错后恢复。 +{{< /callout >}} + +## 设置子账户 + +一个老师拿到密钥后，可能会将它分发给多个不同的学生。 +如果希望区分不同学生（统计不同学生的使用情况，或者给不同学生设置不同的环境）， + 可以修改 `TERM` 变量，加上 `hpcstat_subaccount:your_name:` 前缀， + 以此来进一步区分使用同一个密钥的不同用户。 + +对于 PuTTY 来说，`TERM` 变量在 Connection -> Data -> Ternimal-type string 中修改。 +例如，如果原本的 `TERM` 变量是 `xterm`，那么修改后的 `TERM` 变量可以是 `hpcstat_subaccount:chn:xterm`。 +`TERM` 变量只在交互式登陆时有效，因此无法在 WinSCP 中使用。 + +如果设置了这个参数，那么会额外统计不同子账户的使用情况（登陆次数、投递的任务、占用的核时，等）。 +是否设置这个参数都不影响按密钥统计的功能（即，按照密钥统计的核时，是所有使用这个密钥的用户的总和，无论是否设置了这个参数）。 +如果有需要（例如，希望为某个子账户设置特别的环境，同时又不希望影响到他人），也可以做到（通过测试 `HPCSTAT_SUBACCOUNT` 环境变量）。 + +子账户的统计结果仅供参考，这个统计结果显然很容易造假 + （如果 A 和 B 都使用同一个密钥登陆，那么显然 B 可以在 TERM 中填入 A 的名字以假装自己是 A，把自己用的核时都算到 A 头上）。 + +## PuTTY 登陆时自动跳转: + +如果您希望在登陆时自动跳转到自己的目录下，可以在 `TERM` 中再增加以下前缀：`chn_cd:your_path:`。 + +例如，将 `TERM` 变量修改为 `chn_cd:linwei/chn:xterm`，那么使用 PuTTY 登陆后会自动跳转到 `linwei/chn` 目录下。 + +如果同时使用了 `hpcstat_subaccount` 和 `chn_cd`，那么 `hpcstat_subaccount` 必须在 `chn_cd` 之后， + 例如 `chn_cd:linwei/chn:hpcstat_subaccount:chn:xterm`。 + +## 任务进度微信通知: + +用微信打开下面的链接： + +``` +https://wxpusher.zjiecode.com/wxuser/?type=1&id=75864#/follow +``` + +您应该会被引导去关注一个公众号（WxPusher 消息推送平台）。关注这个公众号之后会收到一条包含 UID 的消息。 +然后把下面的信息发给我： +* 您的 UID +* 您使用的密钥的指纹（用 PuTTY 登陆时会提示） +* 如果使用了子账户（在 `TERM` 中设置了 `hpcstat_subaccount`），还需要告诉我您设置的子账户名 + +之后您投递的任务有新进度（例如，开始运行、运行结束）时就会通过这个公众号收到通知。 + +需要注意的是，这个 UID 会被明文写到 jykang 上的文件里。 +也就是说存在这样的风险：有权限登陆 jykang 的人都有权限通过这个公众号给您发消息。 diff --git a/content/docs/server/job/lsf.md b/content/docs/server/job/lsf.md index 011914e..9ccf71c 100644 --- a/content/docs/server/job/lsf.md +++ b/content/docs/server/job/lsf.md @@ -92,6 +92,15 @@ bkill 114514 怕被滥用，我还是不写了，好奇的自己去看官方文档吧。

+## 其它扩展功能 + +下面这些功能不是 LSF 本身的功能，它只在 `jykang@hpc.xmu.edu.cn` 上提供。 + +* 任务提交/开始/完成时，发送微信或者 Telegram 通知。 +* 分密钥/子账户统计使用的核时。 + +如何设置这些功能，见 [服务器配置-hpcstat 扩展功能](../../config/hpcstat)。 + [^1]: 其实这个不能叫“图形用户界面（gui）”，应该叫“文本用户界面（tui）”。但后者会让不熟悉的人误解，所以这里还是叫“图形界面”。 [^2]: 平时使用的 `bsub` 其实是原本的 `bsub` 的一个包装，为的是追踪每个任务是由谁（按照 SSH Agent 区分）投递的， 说白了就是为了给多人共用一个账户还要区分不同用户这种奇怪设计擦屁股而不得不做的。 diff --git a/content/docs/server/link/_index.md b/content/docs/server/link/_index.md index 4984774..8853d5b 100644 --- a/content/docs/server/link/_index.md +++ b/content/docs/server/link/_index.md @@ -219,4 +219,66 @@ SMB 就是 Windows 共享文件夹或者共享打印机的那个协议，客户 ### 使用 SSH 在服务器之间建立连接 -待补充。 +要在两个服务器之间传输文件： + +1. 登陆第一个服务器时，启用 SSH agent forwarding；或者将自己的密钥保存到第一个服务器上。具体操作参考上述内容。 +2. 在那之后，就可以直接从第二个服务器下载文件到第一个服务器上，例如（假如你已登陆 `srv1`）： + +```bash +rsync -rlP srv2.chn.moe:~/myfile.txt . +``` + +这样就可以了。 + +要借助第一个服务器登陆第二个服务器，既可以像上面那样先登陆第一个，然后再登陆第二个，也可以用一个命令完成（本质是一样的）： + +```bash +ssh -J srv1.chn.moe srv2.chn.moe +``` + +我管理的服务器之间有 wireguard 相连，可以临时借助它绕过厦大 VPN 连接进来，例如： + +```bash +ssh -J vps6.chn.moe wireguard.srv2.chn.moe +``` + +上面这个功能在 PuTTY 中大概这样设置： + +1. 首先设置一个名为 `vps6` 的会话。 + 1. 在 Session 页，填入 `vps6.chn.moe` 作为 Host Name。 + 2. 在 Connection -> SSH -> Auth -> Credentials 页，在 “Private key file for authentication“ 选择密钥文件。 + 3. 在 Connection -> Data 页，在 “Auto-login username” 填写用户名。 + 4. 回到 Session 页，在 “Saved Sessions” 填入 `vps6` 并点击 “Save” 保存配置。 +2. 再设置一个名为 `wireguard.srv2` 的会话。 + 1. 在 Session 页，填入 `wireguard.srv2.chn.moe` 作为 Host Name。 + 2. 在 Connection -> SSH -> Auth -> Credentials 页和 Connection -> Data 页，需要修改的设置与在 `vps6` 会话中相同。 + 3. 在 Connection -> Proxy 页，设置 Proxy type 为 `SSH to proxy and use port forwarding`，Proxy hostname 为 `vps6`。 + 4. 回到 Session 页，在 “Saved Sessions” 填入 `wireguard.srv2` 并点击 “Save” 保存配置。 + +之后双击双击 `wireguard.srv2` 会话即可连接到学校的服务器。 + +在 WinSCP 中大概这样设置： + +1. 在登陆界面，点击 “新建站点”。 +2. 设置 “文件协议” 为 `SCP`，“主机名” 为 `wireguard.srv2.chn.moe`，并输入用户名。 +3. 然后点击右下角 “高级” 继续修改设置。 +4. 在 连接 -> 隧道 页，勾选 “通过 SSH 隧道进行连接”，主机名填写 `vps6.chn.moe`，选择密钥文件，并填写用户名。 +5. 在 SSH -> 验证 页，选择密钥文件。 +6. 点击 “确定”，再点击 “保存”。 + +### 使用 SSH 转发端口 + +SSH 转发端口的功能分三种： +将本地某个端口转发到远程、将远程的某个端口转发到本地（就是前者反过来），以及在本地建立一个 SOCKS 代理，让所有流量都通过远程服务器（所谓的动态转发）。 + +比如，我在校外，需要下载某个厦大买了的论文（或者用厦大的 IP 做什么别的事情）， + 就可以连接到厦大的服务器（用什么办法都可以，比如用厦大 VPN，或者通过别的机器跳转），然后在本地建立一个 SOCKS 代理： + +```bash +ssh -D 4324 jykang@hpc.xmu.edu.cn +``` + +之后在浏览器或系统中设置 SOCKS 代理为 `127.0.0.1:4324`，就可以通过厦大的 IP 访问了。 + +用 PuTTY 也可以设置这个功能。我记得我写过这个功能的教程，但是找不到了，有需要的就自己摸索吧。 + diff --git a/content/docs/server/qa/_index.md b/content/docs/server/qa/_index.md index 21cc848..91da637 100644 --- a/content/docs/server/qa/_index.md +++ b/content/docs/server/qa/_index.md @@ -86,7 +86,67 @@ Windows 下不用教。Linux 下分两种情况： ## 自动启动 Pageant 并添加密钥 -待补充。 +如果您觉得每次打开 Pageant 都要手动添加密钥很麻烦，希望可以将这个过程自动化；并且熟悉 Windows 命令行的使用，可以编写一个批处理文件。 +将下方代码用记事本保存，然后将扩展名从 `.txt` 改为 `.bat`，之后每次双击该文件即可启动 Pageant 并自动添加密钥： + +```bash +"C:\ProgramData\chocolatey\bin\PAGEANT.EXE" "Z:\.ssh\id_rsa.ppk" +``` + +其中第一个引号内为 Pageant 的路径，第二个引号内为您的密钥文件的路径。也可以将该批处理文件放入开机启动项中，使得 Pageant 在开机时自动启动。 + +因为每个人的密钥文件以及 Pageant 的路径都可能不同，所以这里无法提供通用的批处理文件。 + +## 为什么不转发 agent 就无法区分不同密钥？ + +如果你好奇为什么不使用 Pageant 就无法区分使用不同密钥的登陆： + +SSH 连接并不是直接由 jykang 用户处理的， + 而是由一个名为 `sshd` 的程序处理，它通常以 `root` 用户的身份运行。 +在完成认证后，`sshd` 会将 Windows 电脑发来的信息解密后转发给以 `jykang` 用户运行的进程， + 并将以 `jykang` 用户运行的进程的输出加密后发回给 Windows 电脑。 +我们只能控制 `jykang` 用户运行的进程，但这里拿不到任何关于密钥的信息。 + +```mermaid +flowchart TB + subgraph "Run on windows" + A[(密钥文件)] -.->|从硬盘读取| B["SSH client (putty, WinSCP, etc.)"] + end + subgraph "Run on hpc by root" + C["SSH server (sshd)"] + end + B <--> |"认证信息 & 加密的数据"| C + subgraph "Run on hpc by jykang" + D["Other programs (bash, VASP, etc.)"] + end + C <--> |"解密后的数据(不包含密钥信息)"| D +``` + +Pageant 程序就是所谓的“SSH agent”。“SSH agent forwarding” 就是将到 Pageant 的连接通过已经建立的 SSH 连接转发给远程服务器， + 使得远程服务器可以与 Pageant 通信，进而读取密钥信息。 +“SSH agent forwarding” 典型的用途是在远程服务器上使用本地的密钥再次登陆其他服务器，而不是为了区分使用不同密钥的登陆。 + +```mermaid +flowchart TB + subgraph "Run on windows" + A[(密钥文件)] -.->|从硬盘读取| E["SSH agent (pageant)"] + E <-->|认证信息| B["SSH client (putty, WinSCP, etc.)"] + end + subgraph "Run on hpc by root" + C["SSH server (sshd)"] + end + B <--> |"认证信息 & 加密的数据"| C + subgraph "Run on hpc by jykang" + D["Other programs (bash, VASP, etc.)"] + end + C <--> |"解密后的数据(不包含密钥信息)"| D + E <-...-> |"通过已经建立的 SSH 连接转发密钥信息"| D +``` + +事实上，linux 的管理（统计用户使用的资源，等）非常依赖于不同的用户，即用高权限的用户去管理低权限的用户。 +大家都使用同一个账户的情况下，很多管理的功能没有现成的解决方案（要自己手写代码、思考如何设计），甚至完全无法实现。 +整这个东西真的挺麻烦的。我也嫌麻烦（而且我要做的事情比大多数用户多得多）。要不是康老师一定要我做，我才不会做。 +如果你嫌这些麻烦，与其埋怨我，不如去建议自己的导师去自己申请一个账号用。 [^1]: MPI 是按照绝对路径来搜索可执行文件的。 NixOS 的特性导致不同参数编译的 VASP 会被放在不同的目录下，因此会在其它节点上启动与最先启动的节点相同、但不是针对这些节点优化的 VASP。 diff --git a/content/docs/stuff/lottery/幸运抽奖.exe b/content/docs/stuff/lottery/幸运抽奖.exe index 19a30e6..e6d5d46 100644 --- a/content/docs/stuff/lottery/幸运抽奖.exe +++ b/content/docs/stuff/lottery/幸运抽奖.exe @@ -1,3 +1,3 @@ version https://git-lfs.github.com/spec/v1 -oid sha256:2508722fdbecd8df45b4bce468637ee4842c8cda0a5c9950c34b853a5c06c56f -size 66758909 +oid sha256:242649834f26c861757be46cc4002d46e99036b030d50820ae1ea8e2b512fcbf +size 66953962 diff --git a/data/icons.yaml b/data/icons.yaml index 036e0fe..948e969 100644 --- a/data/icons.yaml +++ b/data/icons.yaml @@ -9,4 +9,5 @@ queue: present: cpu: -atom: \ No newline at end of file +atom: +tools: \ No newline at end of file