【教程】自动检测和安装Python脚本依赖的第三方库

转载请注明出处:小锋学长生活大爆炸[xfxuezhang.cn]

背景说明

        对于新python环境,要运行某个脚本,可能需要安装很多库,一般可以通过提供的requirements.txt来自动安装。但如果没有这个txt,那就得手动一个一个安装,非常的麻烦。

        通过捕捉ImportError错误,实际上可以从错误消息中提取缺失的模块名称,而一旦确定了缺失的模块名称,就可以使用 pip 自动安装它们了。

参考脚本

autoDependencyInstaller.py

import argparse
import subprocess
import sys
import re

def install_module(module_name, python_executable):
    try:
        subprocess.check_call([python_executable, "-m", "pip", "install", module_name])
        return True
    except subprocess.CalledProcessError:
        return False

def extract_imports(file_name):
    with open(file_name, 'r') as file:
        file_content = file.read()
        imports = re.findall(r'^(?:from\s+(\S+)|import\s+(\S+))(?:\s+|$)', file_content, re.MULTILINE)
        top_level_modules = {imp[0].split('.')[0] if imp[0] else imp[1].split('.')[0] for imp in imports}
        return list(top_level_modules)

def check_module(module, python_executable):
    try:
        subprocess.check_call([python_executable, "-c", f"import {module}"])
        return True
    except subprocess.CalledProcessError:
        return False

def check_and_install_modules(modules, python_executable):
    for module in modules:
        if check_module(module, python_executable):
            print(f"模块 '{module}' 已存在.")
        else:
            print(f"尝试安装模块: {module}")
            if not install_module(module, python_executable):
                correct_name = input(f"安装 '{module}' 失败。请输入正确的包名,或按 Enter 跳过: ").strip()
                if correct_name:
                    install_module(correct_name, python_executable)

def main():
    parser = argparse.ArgumentParser(description="自动检测和安装 Python 脚本依赖.")
    parser.add_argument("script", help="要检查依赖的 Python 脚本文件名")
    parser.add_argument("-p", "--python-path", help="Python 解释器的路径(可选)", default=sys.executable)
    args = parser.parse_args()

    modules_to_check = extract_imports(args.script)
    check_and_install_modules(modules_to_check, args.python_path)

if __name__ == "__main__":
    main()

        参数第一项表示目标py文件。第二项表示要用道德python路径,如果没有给,则默认使用当前环境下的python

        这个脚本只提取 Python 脚本中的 importfrom ... import 语句,然后在当前脚本中尝试导入它们。这样做的好处是,不会执行原始脚本的其他部分,只会检查依赖项是否存在。如果遇到任何 ImportError,则可以安装相应的缺失模块。这种方法更加安全和高效,因为它避免了不必要的脚本执行。

使用示例

python autoDependencyInstaller.py <目标py文件> <目标python路径>

比如:

python autoDependencyInstaller.py young_http.py
python autoDependencyInstaller.py young_http.py -p /home/sxf/miniconda3/envs/py39/bin/python

进阶使用

        把这个脚本打包:

pip install pyinstaller
pyinstaller -F -w autoDependencyInstaller.py

        生成的二进制文件在dist目录下,所以就可以非常方便的使用了:

./dist/autoDependencyInstaller young_http.py -p /home/sxf/miniconda3/envs/py39/bin/python

注意:对于打包的文件,必须提供-p,不然用的是二进制文件自己的环境,会出问题。

        或者可以直接这样,用$(which python)

./dist/autoDependencyInstaller young_http.py -p $(which python)

更进阶使用

        把这个文件放到系统目录下,就不用每次都找了:

sudo mv dist/autoDependencyInstaller /usr/sbin/

        以后就可以直接用了:

autoDependencyInstaller young_http.py -p /home/sxf/miniconda3/envs/py39/bin/python