8000 GitHub - ssqzr/bsos: 部署操作系统和应用的脚本 · GitHub
[go: up one dir, main page]

Skip to content
ssqzrPublic

About

部署操作系统和应用的脚本

Resources

Stars

1 star

Watchers

1 watching

Forks

Latest commit

 

History

310 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
< 7438 /td>
 

Repository files navigation

文档

背景说明

我一直使用的是 Manjaro 发行版和 KDE 的窗口管理器。

我的显示器是 27寸 的,全屏显示一个应用有点多余,显示两个应用分别占据屏幕的一半又显得小。

使用 KDE 内置的平铺窗口有点吃力,也试过了 KDE 的平铺窗口的插件,大多都没有维护了。

于是我发现了 Hyprland 这个平铺窗口管理器。

是的,我又重装了系统。

接下来我就遇到了所有人重装系统都会遇到的问题:需要重新安装所有软件以及配置所有软件。

这花费了我很多时间。

于是,这个脚本就一步一步的孵化出来了。

关键需求点

开发语言

使用 Bash 进行开发。

刚开始安装完操作系统后,基本上全部的发行版都会默认安装 Bash ,如果使用其他的开发语言,还需要先部署相应的语言开发环境。

并且我们部署应用的时候,最常用的最方便的还是直接使用命令行的方式。

因此 Bash 成为了我唯一的选择。

无人值守

由于安装过程耗时,如果全程需要人员陪同,盯着显示器查看安装进度,那么安装体验将会非常差,这个和我直接敲命令进行安装又有什么区别呢?

所以安装过程无人值守是必须要满足的需求。

无人值守主要有如下几个难点:

  • 使用包管理器安装软件过程中需要输入密码

  • 使用包管理器安装软件过程中需要回答一切确认的问题

  • 软件的不固定的配置

提权

pacman 需要使用 root 权限, 普通用户需要使用 sudo 来提权运行。

pamac 、 flatpak 、 yay 都不应该直接使用 root 权限,而是使用普通用户直接运行,然后权限管理模块会要求进行校验身份,也就是运行后再请求管理员权限。

为了更符合平时的手动操作习惯,使用普通用户权限运行部署脚本,但是安装过程中肯定会遇到操作系统文件的场景,也就会遇到权限的问题。

如果每次遇到权限的问题都需要输入密码校验,那么整个安装过程需要全程值守,这个体验会非常差。

sudo 的 "-S, --stdin" 选项支持从标准输入读取密码。

sudo 的配置文件还支持配置用户或者用户组的无密码模式,也就是不需要输入密码密码就可以运行 sudo 命令。例如:

在 /etc/sudoers.d 目录下新建配置文件,例如:10-xx
%wheel ALL=(ALL) NOPASSWD: ALL (1)
wheel ALL=(ALL) NOPASSWD: ALL (2)
  1. wheel 组下用户都可以无密码使用 sudo

  2. wheel 用户可以无密码使用 sudo

使用 sudo 的权限问题采用无密码的方式解决,因此 pacman 的权限问题以及操作系统文件的权限问题可以解决了。

pamac 的权限问题需要先了解 Polkit组件 。因为这些包管理器使用的身份认证组件都是 Polkit 。

Polkit 也支持配置文件来定义认证规则,我们可以配置规则来绕过密码认证。

在 /etc/polkit-1/rules.d 目录下新建配置文件: 10-test.rules
polkit.addRule(function(action, subject) {
    if (action.id == "org.manjaro.pamac.commit" && subject.isInGroup("usergroup")) {
        return polkit.Result.YES;
    }
});
说明
  • 当认证的应用是 org.manjaro.pamac.commit 时,并且用户是属于 usergroup 组时,直接认证成功。

  • 通过 cli 调用 pamac 安装应用进行认证时会打印 action.id ,如果想知道其他应用的 action.id ,可以先运行程序在认证时会打印出来。

  • 将 usergroup 替换为当前用户所属的组

包管理器安装中的提问

很幸运,几乎所有的包管理器都支持无提问的命令行参数。

  • pacman "--noconfirm" 选项

  • pamac "--no-confirm" 选项

  • yay "--noconfirm" 选项

  • flatpak "-y, --assumeyes" 选项

软件不固定的应用配置

软件的部署除了安装到系统,最重要的还是软件的配置。大部分软件的大部分配置都是通用固定的,在安装前就可以确定下来。

但是一部分配置是不确定,可能需要根据用户、系统环境、软件依赖等因素来动态生成。

  • git 配置里的 username 和 email 等配置

  • Hyprland 的显示器配置,需要根据具体的显示器来配置

  • 字体的配置

  • 本地化的配置

  • 等等

这些配置大部分都是因人而异的,所以需要和用户交互询问他们应该怎么配置。

为了满足无人值守,我们需要将所有的交互尽可能提前,交互结束后就不再需要用户干预了。

我们增加了一个“安装向导”的流程来处理交互的问题。

每个应用都定义了“安装向导”的接口,如果没有需要交互的,保持默认实现就可以了。

安装流程会在准备工作结束后运行所有应用的“安装向导”接口来和用户交互。交互过程中得到的答复会保存到配置文件中,后面可以随时解析进行相应的操作。

依赖

软件通过包管理器进行安装时都自动安装其依赖的软件包,这些依赖的软件包一般都是其安装或者运行所必需的。

但是有部分场景,一些依赖的软件并不会自动安装:

  • 可选依赖,通过 CLI 安装时,可选依赖并不会自动安装

  • 通过源码安装的包,并不会自动安装其依赖

  • 少数软件包没有定义依赖的包,包管理器自然也不会自动安装其依赖

  • 软件的一些特性功能需要使用其他软件,但是这些软件并没定义在软件的依赖列表里

因此除了软件打包开发者自己定义的依赖关系,我们可能还需要手动增加其依赖。依赖主要包括:

  • 安装依赖

  • 运行时依赖

  • 特性依赖

每一个自定义的应用都需要实现 dependencies 和 features 两个接口:

  • dependencies 定义安装依赖、运行时依赖,这里面定义的软件会在安装当前软件前进行安装

  • features 定义特性依赖,这里面定义的软件会在安装当前软件后进行安装

软件之间的依赖并不是强依赖,是“使用上”的依赖。

fish 的 features 里有 pkgfile ,用于提供 command not found 的功能。

但是 pkgfile 并不依赖 fish 。 pkgfile 是一个相对独立的应用。

调试功能

除了日志记录,还需要提供日常开发需要的调试功能。

通过 CLI 命令行提供开发和调试需要的命令。

设计

框架图

link:doc/assets/bsos_architecture.excalidraw[role=include]

模块

  • CLI 用于解析命令行

  • Flow 安装流、卸载流等

  • app manager 用于处理单个应用的安装等功能实现

  • custom agent app manager 调用 trait 层的代理层

  • app trait 自定义应用ç 10000 š„接口实现层

  • package manager 包管理器的抽象层,用于统一使用 pacman 、 pamac 、 yay 、 flatpak 等抽象的 API 。

  • utils 工具包

  • dev 方便调试的 CLI 实现

utils 里模块的层级划分

下级层级可以引用上级。同级之间不能引用,不然容易循环引用。

层级关系
├── constant.sh
│   ├── debug.sh
│   └── print.sh
│       └── utest.sh
│           ├── array.sh
│           ├── string.sh
│           └── math.sh
│               └── log.sh
│                   └── parameter.sh
│                       ├── cmd.sh
│                       └── tui.sh
│                           ├── fs.sh
│                           ├── math.sh
│                           ├── cfg.sh
│                           ├── gsettings.sh
│                           ├── systemctl.sh
│                           ├── sed.sh
│                           ├── os.sh
│                           ├── hyprland.sh
│                           ├── fish.sh
│                           ├── swap.sh
│                           ├── flatpak.sh
│                           └── process.sh

调试

Note
还没处理

问题记录

为什么不选择 NixOS

这里就不过多介绍 NixOS 了,直接看官方的介绍就可以了。

然后我查阅了一下优缺点:

  • NixOS 的优缺点

  • OS as Code - 我的 NixOS 使用体会

  • NixOS: 选择与放弃

  • NixOS 基于 Ubuntu ,我以前是 Ubuntu 的粉丝,不过现在不是了,是 Archlinux 的粉丝。

    • Ubuntu 对 snap 的处理我不是很认同,甚至将 snap 作为默认的软件包管理。

    • Archlinux 的滚动更新。我期望一直用的是最新的版本,我认为往往新版本解决了更多的问题和支持更多的特性。

  • 如何让路径依赖的程序正常工作, NixOS 安装和运行程序的方式和其他发行版有差异,因此程序使用上会有学习成本,并且出现问题时可能搜索不到解决方案。

    • NixOS 放弃了 FHS 了

    • NixOS 会通过以下方式确保有路径依赖的软件正常运行

      • 包装脚本

      • 构建过程中的路径替换

      • 符号链接

  • NixOS 对程序配置的处理,不单单需要了解程序本身的配置,还需要学习 NixOS 的配置。

我没有使用过 NixOS ,都是从网上了解的,这一些理解是很片面的,甚至是错误的。

由于部分软件编译安装不能指定安装目录,所以需要自己修改编译脚本使之支持。一般我们不用太担心这个问题,因为已经有很多人做出了贡献,我们只需要安装即可。

但是我仍然担心这个问题带来的时间成本。

  • 不常用的软件可能还是需要自己处理编译问题。

  • 因为安装路径不是默认的,可能导致程序部分功能使用有问题,需要修改程序代码才可以解决。

  • 遇到使用上的问题,网上可能搜不到解决方案,因为在其他发行版上是不会有问题的。

这些问题将需要花费大量的时间,有时候甚至无法靠自己解决。所以我就放弃了 NixOS 。

但是我是非常看好 NixOS 的,期望后面可以使用它。

不要使用 pamac 做为 AUR 的包管理器

卸载的问题

卸载应用时需要卸载其依赖的应用,也就是 dependencies 和 features 里定义的应用列表。

但是其依赖的应用可能也被其他应用依赖着。因此卸载一个应用时不能直接递归卸载其依赖的应用,需要检测它是否可以被卸载。

  1. 根据卸载的应用列表和它们定义的依赖关系列出将卸载的应用列表

  2. 如果依赖某个应用的所有应用都在卸载列表里,那么这个应用就是可以卸载的。

  3. 如果还有其他应用依赖这个应用但是并不在卸载列表里,那么这个应用就不能卸载,不然将导致其他应用使用异常。

目前的卸载功能使用以及测试都比较少,所以没有花费太多的时间在卸载上。现在卸载一个应用还是会递归卸载其依赖,这个是为了方便测试全新安装。

Important
后面需要提供更安全的卸载流程。

快速使用

命令行参数

❯ ./src/main.sh -h

main.sh [OPTIONS] <SUBCOMMAND> [SUBCOMMAND OPTIONS]

OPTIONS:

    --reuse-cache[=yes/no]                                      启用复用缓存
                                                                    不指定参数或者 --reuse-cache=false 表示不启用
                                                                    --reuse-cache 或者 --reuse-cache=yes 表示启用

    --check-loop[=yes/no]                                       启用检查循环依赖
                                                                    不指定参数或者 --check-loop=false 表示不启用
                                                                    --check-loop 或者 --check-loop=yes 表示启用

    -h, --help                                                  显示帮助信息

SUBCOMMAND:
    install                                                     安装
        --app=[PACKAGE_MANAGER:]APP_NAME,...                    安装的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                    没有指定 PACKAGE_MANAGER 时,默认是:custom
        --exclude-app=[PACKAGE_MANAGER:]APP_NAME,...            排除的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                    没有指定 PACKAGE_MANAGER 时,默认是:custom
        --continue-after-guide[=yes/no]                         安装向导完成后是否直接继续,不直接继续会弹框询问是否继续

    uninstall                                                   卸载
        --app=[PACKAGE_MANAGER:]APP_NAME,...                    安装的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                    没有指定 PACKAGE_MANAGER 时,默认是:custom
        --exclude-app=[PACKAGE_MANAGER:]APP_NAME,...            排除的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                    没有指定 PACKAGE_MANAGER 时,默认是:custom

    upgrade                                                     升级
        --app=[PACKAGE_MANAGER:]APP_NAME,...                    安装的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                    没有指定 PACKAGE_MANAGER 时,默认是:custom
        --exclude-app=[PACKAGE_MANAGER:]APP_NAME,...            排除的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                    没有指定 PACKAGE_MANAGER 时,默认是:custom

    fixme                                                       修复安装时不能解决的问题
                                                                    可能因为当时环境受限的原因,需要在特定环境下才可以执行的步骤。
        --app=[PACKAGE_MANAGER:]APP_NAME,...                    安装的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                    没有指定 PACKAGE_MANAGER 时,默认是:custom
        --exclude-app=[PACKAGE_MANAGER:]APP_NAME,...            排除的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                    没有指定 PACKAGE_MANAGER 时,默认是:custom

    unfixme                                                     撤销修复
        --app=[PACKAGE_MANAGER:]APP_NAME,...                    安装的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                    没有指定 PACKAGE_MANAGER 时,默认是:custom
        --exclude-app=[PACKAGE_MANAGER:]APP_NAME,...            排除的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                    没有指定 PACKAGE_MANAGER 时,默认是:custom

    dev [DEV SUBCOMMAND] [DEV SUBCOMMAND OPTIONS]               开发协助命令
        create                                                  根据模板创建部署应用的实现代码
            --app=APP_NAME,APP_NAME,...                             创建的应用列表,使用 ',' 分割。参数可以指定多次。

        update                                                  更新模板
            --app=APP_NAME,APP_NAME,...                             更新模板的应用列表,使用 ',' 分割。参数可以指定多次。

        check_loop                                              检查 APP 之间是否循环依赖

        install                                                 测试应用的安装流程
            --app=[PACKAGE_MANAGER:]APP_NAME,...                    安装的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                        没有指定 PACKAGE_MANAGER 时,默认是:custom
            --exclude-app=[PACKAGE_MANAGER:]APP_NAME,...            排除的应用列表,使用 ',' 分割。参数可以指定多次。
                                                                        没有指定 PACKAGE_MANAGER 时,默认是:custom

        trait                                                   执行 APP 的 trait 函数
            --app=APP_NAME,APP_NAME,...                             应用列表,使用 ',' 分割。参数可以指定多次。
            --trait=TRAIT_NAME,TRAIT_NAME,...                       执行 trait 函数名列表,使用 ',' 分割。参数可以指定多次。

安装命令

# 运行整个部署流程,不使用缓存
./src/main.sh install

# 安装 [custom:]APP1 custom:APP2 pacman:APP3 及其它们依赖的应用
#       APP1 没有指定包管理器,默认是 custom ,也就是代码里自定义的安装管理器
#       custom:APP2 指定包管理器是 custom
#       pacman:APP3 通过 pacman 安装 APP3
# 排除如下软件部署: [custom:]APP4,custom:APP5,pacman:APP6
./src/main.sh --app=APP1,custom:APP2,pacman:APP3 --exclude-app=APP4,custom:APP5,pacman:APP6

# --reuse-cache 如果有缓存,使用已有缓存
# --check-loop 检查循环依赖
./src/main.sh install --reuse-cache --check-loop

升级命令

# 更新所有软件
./src/main.sh upgrade

调试命令

创建新的应用模板文件

# 创建 APP1 和 APP2 应用的 trait 文件
# 将创建目录 ./src/app/APP1 ,目录下生成其需要实现的 trait 脚本文件
./src/main.sh dev create --app=APP1


# 指定多个 APP
./src/main.sh dev create --app=APP1,APP2 --app=APP3 --app=APP4

更新模板

# 更新应用的模板文件
# 如果 src/template 目录下新增文件,可以使用这个命令将新增的文件拷贝到 src/app 所有目录下。
./src/main.sh dev update

检测应用之间是否循环依赖

# 更新应用的模板文件
./src/main.sh dev check_loop

运行应用的 trait 方法

# 更新应用的模板文件
./src/main.sh dev trait --app=APP1,APP2 --trait=pre_install,install,post_install

# 1. 将运行 APP1 的 pre_install 、 install 、 post_install 的 trait 方法。
# 2. 将运行 APP2 的 pre_install 、 install 、 post_install 的 trait 方法。

安装应用

# 更新应用的模板文件
./src/main.sh dev install --app=APP1,APP2

# 将运行 APP1 和 APP2 的整个安装流程
# 和 ./src/main.sh install 命令相比,减少了很多前置操作,节省测试时间
# 1. 不会安装全局依赖的包,详情搜索代码: __CORE_APPS
# 2. 不会安装优先需要安装的包,详情所有代码: __PRIOR_INSTALL_APPS
# 3. 不会检查循环依赖

TODO

About

部署操作系统和应用的脚本

Resources

Stars

1 star

Watchers

1 watching

Forks

Releases

Packages

Contributors

Languages

0