python-openmind noarch 01665f37abd42c179a5196dc34a9a007a1cf4760c0d189c1a178be0870465f79 openMind is a magicain who takes you to experience the mystery and creativity of AI. openMind Library是一个大模型微调套件，通过命令行接口或SDK原生支持在昇腾NPU上进行微调、推理、评估和部署。通过简化使用流程，充分利用NPU的独特优势，为大模型应用提供高效、可扩展的解决方案。 **为什么使用 openMind Library？** 基于Transformers框架，openMind Library实现了高效的微调流程。它集成了PyTorch生态中常用的工具库功能，提供数据预处理、权重加载、低参微调、量化适配以及训练跟踪等全流程的一键式解决方案。此外，库内融合了针对昇腾NPU的优化算子，可大幅提升模型训练效率。 openMind Library提供了统一的Pipeline SDK，提供更快速、更高效的推理体验。 模型部署方面，openMind Library基于LMDeploy和MindIE，提供多后端部署支持，极大地简化了部署流程，使得模型部署更加便捷。 openMind Library目前支持的特性如下： - 模型类型：支持Qwen2，Qwen2.5系列模型，更多模型适配中 - 微调训练：SFT训练 - 高效微调：BF16微调，LoRA微调，4bit QLoRA微调 - 分布式训练：DDP，DeepSpeed - 微调加速：npu_fusion_attention融合算子，npu_rms_norm融合算子 - 训练监控：SwanLab - 推理：Transformers/Diffusers多backend，text-generation/text-to-image多任务 - 部署：LMDeploy，MindIE https://gitee.com/openmind-ai/openmind python-openmind src 1500c53f8eaa9040d06d44bd62a6a5b6f38cdcca2004d9a456689698e1f4709f openMind is a magicain who takes you to experience the mystery and creativity of AI. openMind Library是一个大模型微调套件，通过命令行接口或SDK原生支持在昇腾NPU上进行微调、推理、评估和部署。通过简化使用流程，充分利用NPU的独特优势，为大模型应用提供高效、可扩展的解决方案。 **为什么使用 openMind Library？** 基于Transformers框架，openMind Library实现了高效的微调流程。它集成了PyTorch生态中常用的工具库功能，提供数据预处理、权重加载、低参微调、量化适配以及训练跟踪等全流程的一键式解决方案。此外，库内融合了针对昇腾NPU的优化算子，可大幅提升模型训练效率。 openMind Library提供了统一的Pipeline SDK，提供更快速、更高效的推理体验。 模型部署方面，openMind Library基于LMDeploy和MindIE，提供多后端部署支持，极大地简化了部署流程，使得模型部署更加便捷。 openMind Library目前支持的特性如下： - 模型类型：支持Qwen2，Qwen2.5系列模型，更多模型适配中 - 微调训练：SFT训练 - 高效微调：BF16微调，LoRA微调，4bit QLoRA微调 - 分布式训练：DDP，DeepSpeed - 微调加速：npu_fusion_attention融合算子，npu_rms_norm融合算子 - 训练监控：SwanLab - 推理：Transformers/Diffusers多backend，text-generation/text-to-image多任务 - 部署：LMDeploy，MindIE https://gitee.com/openmind-ai/openmind python-openmind-hub noarch 35c2cd7f9591ef5aa876c7911235ab8c8d3824f6f2c462a97088d49028401fd5 Hub client SDK for openMind openMind Hub Client可以帮助您在不离开开发环境的情况下与社区进行交互。您可以轻松创建和管理仓库，下载和上传文件以及从模型库获取有用的模型和数据集元数据。 关于openMind Hub Client的安装步骤，推荐用户参考[《安装》](./docs/zh/install.md)文档，以确保顺利并正确地完成安装过程。 例如，下载[t5_small](https://modelers.cn/models/PyTorch-NPU/t5_small/)模型配置文件： ```py from openmind_hub import om_hub_download om_hub_download(repo_id="PyTorch-NPU/t5_small", filename="config.json") ``` 详见[《下载指南》](./docs/zh/basic_tutorial/download.md)。 访问私有仓库资源、创建仓库和上传文件等场景都需要使用访问令牌（即token）才能与社区进行交互。请[创建访问令牌](https://modelers.cn/my/tokens)并妥善保存，令牌内容仅会在创建时显示。 使用`upload_folder`为您的仓库上传文件，示例如下： ```py from openmind_hub import upload_folder upload_folder( repo_id="owner/repo", folder_path="./folder_to_upload", token="xxx", ) ``` + `token`：对目标仓库具有可写权限的访问令牌，必选。 + `repo_id`：文件要上传到的仓库，必选。 + `folder_path`：要上传目录的绝对路径或相对路径，上传的内容不包含该目录本身，必选。支持字符串或Path类型，如：`"./folder"`或`Path("./folder")`。 详见[《上传文件》](./docs/zh/basic_tutorial/upload.md)。 为保障使用过程安全，推荐用户参考[《安全声明》](./security_statement.md)了解相关安全信息，进行必要的安全加固。 https://gitee.com/openmind-ai/openmind-hub python-openmind-hub src b1135cba8ab122719faf43e7dba41e52d50cef574cf6a390dfe8b965b1f82cc9 Hub client SDK for openMind openMind Hub Client可以帮助您在不离开开发环境的情况下与社区进行交互。您可以轻松创建和管理仓库，下载和上传文件以及从模型库获取有用的模型和数据集元数据。 关于openMind Hub Client的安装步骤，推荐用户参考[《安装》](./docs/zh/install.md)文档，以确保顺利并正确地完成安装过程。 例如，下载[t5_small](https://modelers.cn/models/PyTorch-NPU/t5_small/)模型配置文件： ```py from openmind_hub import om_hub_download om_hub_download(repo_id="PyTorch-NPU/t5_small", filename="config.json") ``` 详见[《下载指南》](./docs/zh/basic_tutorial/download.md)。 访问私有仓库资源、创建仓库和上传文件等场景都需要使用访问令牌（即token）才能与社区进行交互。请[创建访问令牌](https://modelers.cn/my/tokens)并妥善保存，令牌内容仅会在创建时显示。 使用`upload_folder`为您的仓库上传文件，示例如下： ```py from openmind_hub import upload_folder upload_folder( repo_id="owner/repo", folder_path="./folder_to_upload", token="xxx", ) ``` + `token`：对目标仓库具有可写权限的访问令牌，必选。 + `repo_id`：文件要上传到的仓库，必选。 + `folder_path`：要上传目录的绝对路径或相对路径，上传的内容不包含该目录本身，必选。支持字符串或Path类型，如：`"./folder"`或`Path("./folder")`。 详见[《上传文件》](./docs/zh/basic_tutorial/upload.md)。 为保障使用过程安全，推荐用户参考[《安全声明》](./security_statement.md)了解相关安全信息，进行必要的安全加固。 https://gitee.com/openmind-ai/openmind-hub