ConfZ – 基于Pydantic的配置管理
ConfZ
是一个基于pydantic的Python配置管理库。
它可以让你轻松地:
- 从配置文件、环境变量、命令行参数等加载配置
- 将加载的数据转换为所需格式并验证
- 以Python数据类似对象的方式访问结果,并获得完整的IDE支持
它还支持常见的用例,如:
- 多环境
- 单例模式和延迟加载
- 单元测试的配置更改
- 自定义配置源
更新:ConfZ 2已经发布,支持pydantic 2并改进了命名约定。 查看迁移指南。
:package: 安装
ConfZ
已发布在PyPI上,可以使用pip安装:
pip install confz
:rocket: 快速入门
使用ConfZ
的第一步是声明你的配置类和源,例如在config.py
中:
from confz import BaseConfig, FileSource
from pydantic import SecretStr, AnyUrl
class DBConfig(BaseConfig):
user: str
password: SecretStr
class APIConfig(BaseConfig):
host: AnyUrl
port: int
db: DBConfig
CONFIG_SOURCES = FileSource(file='/path/to/config.yml')
从现在开始,在任何其他文件中,你都可以直接访问你的配置:
from config import APIConfig
print(f"API服务运行在 {APIConfig().host},端口 {APIConfig().port}。")
如你所见,配置既不需要显式加载,也不需要全局实例化。ConfZ
会在你第一次访问配置时,按照CONFIG_SOURCES
中定义的方式自动加载。由于采用了单例机制,这只会发生一次,之后你会得到一个缓存的、不可变的实例,行为与其他_pydantic_实例相同。
assert APIConfig() is APIConfig() # 由于单例机制,这是正确的
APIConfig().port = 1234 # 由于不可变性,这会引发错误
APIConfig().model_dump() # 调用pydantic的方法获取字典表示
注意: 虽然配置的隐式和隐藏加载可能起初会让人感到惊讶,感觉有点像Python的魔法,但它可以帮你减少大量样板代码。你不需要显式加载配置,然后将其传递给所有需要它的代码层,而是可以通过导入配置类并直接访问例如APIConfig().db.user
来从任何地方访问它。
更多配置源
ConfZ
在定义配置源方面非常灵活。你有多个环境吗?没问题:
from confz import BaseConfig, FileSource
class MyConfig(BaseConfig):
...
CONFIG_SOURCES = FileSource(
folder='/path/to/config/folder',
file_from_env='ENVIRONMENT'
)
现在你的配置文件可以在环境变量ENVIRONMENT
中定义,并相对于folder
。
你还可以提供一个列表作为配置源,例如从环境变量(包括.env文件)和命令行参数中读取:
from confz import BaseConfig, EnvSource, CLArgSource
class MyConfig(BaseConfig):
...
CONFIG_SOURCES = [
EnvSource(allow_all=True, file=".env.local"),
CLArgSource(prefix='conf_')
]
ConfZ
现在会尝试从与属性同名的环境变量或以conf_
开头的命令行参数中填充你的配置。递归模型也受支持,例如,如果你想控制上面API中的用户名,你可以设置环境变量DB.USER
或传递命令行参数--conf_db.user
。
显式加载
在某些情况下,配置不应该是全局单例,而应该显式加载并在本地传递。
可以在构造函数中直接定义源,而不是将CONFIG_SOURCES
定义为类变量:
from confz import BaseConfig, FileSource, EnvSource
class MyConfig(BaseConfig):
number: int
text: str
config1 = MyConfig(config_sources=FileSource(file='/path/to/config.yml'))
config2 = MyConfig(config_sources=EnvSource(prefix='CONF_', allow=['text']), number=1)
config3 = MyConfig(number=1, text='hello world')
如你所见,还可以提供额外的关键字参数。
注意: 如果既没有提供类变量CONFIG_SOURCES
,也没有提供构造函数参数config_sources
,BaseConfig
的行为就像一个普通的_pydantic_类。
更改配置值
在某些情况下,你可能想要更改配置值,例如在单元测试中。但是,如果你设置了CONFIG_SOURCES
类变量,这就不能直接进行。为了解决这个问题,每个配置类都提供了一个上下文管理器,可以临时更改你的配置:
from confz import BaseConfig, FileSource, DataSource
class MyConfig(BaseConfig):
number: int
CONFIG_SOURCES = FileSource(file="/path/to/config.yml")
print(MyConfig().number) # 将打印配置文件中的值
new_source = DataSource(data={'number': 42})
with MyConfig.change_config_sources(new_source):
print(MyConfig().number) # 将打印'42'
print(MyConfig().number) # 将再次打印配置文件中的值
早期验证
默认情况下,你的配置会在你第一次实例化类时加载,例如通过MyConfig().attribute
。这可以防止在导入配置类时产生副作用,如加载文件。如果配置类无法以正确格式填充所有必需字段,_pydantic_会在这一点上引发错误。为了确保这不会在不方便的时候发生,你也可以指示ConfZ
提前加载所有配置:
from confz import validate_all_configs
if __name__ == '__main__':
validate_all_configs()
# 你的应用程序代码
函数validate_all_configs
会实例化在你代码中任何(可达)位置定义的、设置了CONFIG_SOURCES
的所有配置类。
:book: 文档
现在你已经看到了ConfZ
可以使用的两种方式:使用类变量配置源,实现单例和延迟加载,或使用关键字参数配置源,允许直接加载配置值。在这两种情况下,从文件、命令行参数和环境变量定义配置源都非常灵活(而且可扩展),同时_pydantic_仍然确保一切最终符合你的期望。你还看到了如何在单元测试中临时更改配置,以及如何在代码早期验证单例配置类。
ConfZ
完整功能的文档可以在readthedocs上找到。
:information_source: 关于
ConfZ
由Zühlke开发和维护。
第一个版本由Silvan实现。
特别感谢Iwan的ConfMe,它启发了这个项目。
想为ConfZ
做贡献?查看贡献指南。