python-openmind noarch 68953f386fe214da7dd0f8b1e210a828a3966284816b0ce112fc8bb37af02b60 openMind is a magicain who takes you to experience the mystery and creativity of AI. openMind Library是一个深度学习开发套件，支持模型训练、推理等流程，兼容PyTorch和MindSpore等主流框架。 关于openMind Library的安装步骤，推荐用户参考[《安装》](https://modelers.cn/docs/zh/openmind-library/install.html)文档，以确保顺利并正确地完成安装过程。 openMind Library的安装过程还依赖于openmind_accelerate与openmind_hub，用户在进行安装时，可以参考[openmind-accelerate环境准备](https://modelers.cn/docs/zh/openmind-library/basic_tutorial/pretrainer.html#%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87)与[openMind Hub Client安装](https://modelers.cn/docs/zh/openmind-hub-client/0.9/install.html)来进行操作。 `pipeline()`提供了使用预训练模型进行推理的全流程，使用`pipeline()`可以轻松实现对文本、图像、音频等多种模态数据的多种任务，如文本情感分析、图像分割、语音识别等。 本章以对文本的情感分析任务为例，展示如何使用`pipeline()`执行一个指定的任务。 首先，实例化一个pipeline对象并指定任务类型，本示例中指定为`sentiment-analysis`（所有支持的任务类型详见 [**pipeline当前支持的推理任务与默认模型**](https://modelers.cn/docs/zh/openmind-library/basic_tutorial/pipeline.html#pipeline%E5%BD%93%E5%89%8D%E6%94%AF%E6%8C%81%E7%9A%84%E6%8E%A8%E7%90%86%E4%BB%BB%E5%8A%A1%E5%8F%8A%E5%85%B6%E9%BB%98%E8%AE%A4%E6%A8%A1%E5%9E%8B)）。此方法未指定模型，pipeline使用任务对应的预定义默认模型进行推理。 ```python from openmind import pipeline classifier = pipeline("sentiment-analysis") ``` 在仅指定任务类型时，`pipeline()`会自动下载预定义默认预训练模型及分词器，本示例中的预训练模型和分词器用于情感分析，随后使用`classifier`对输入文本进行情感分析。 ```python classifier("Welcome to the openMind library!") ''' 输出： [{'label': 'POSITIVE', 'score': 0.999705970287323}] ''' ``` 当输入文本不只一条时，可以把所有输入放入到列表中，一次性传给`pipeline()`，`classifier`也将所有结果存储在一个字典列表内并返回： ```python results = classifier(["Welcome to the openMind library!", "Have a great experience using it!"]) for result in results: print(f"label: {result['label']}, with score: {round(result['score'], 4)}") ''' 输出： label: POSITIVE, with score: 0.9997 label: POSITIVE, with score: 0.9998 ''' ``` 其余openMind Library的基础功能可参考[快速入门](https://modelers.cn/docs/zh/openmind-library/quick_start.html)。 1. 在上传PR之前，请确保所有测试都通过。首先在本地运行如下命令。 ```shell ./ci/lint.sh ./ci/unit_test.sh HUB_TOKEN=your_hub_token ./ci/functional_test.sh ``` 2. 当您推送或更新PR（Pull Request）后，系统将自动触发CI（持续集成）构建和测试流程。若所有CI构建和测试均顺利通过，`ci-success`标记将自动添加到您的PR中。然而，若出现CI故障，您可以点击CI日志链接以详细查看失败原因，并在本地进行必要的修复。一旦您完成了修复并希望重新运行CI作业，只需在PR中留下评论`/recheck`即可。 3. 详细贡献指南请参考： https://gitee.com/modelers/openmind/blob/v0.9.1/docs/zh/developer_tutorial/contribution.md 为保障使用过程安全，推荐用户参考[《安全声明》](./security_statement.md)了解相关安全信息，进行必要的安全加固。 openMind Library使用木兰宽松许可证第2版（MulanPSL v2）。详见[LICENSE](http://license.coscl.org.cn/MulanPSL2)文件。 https://gitee.com/openmind-ai/openmind python-openmind src 5dbe5cf7cbda3c4dc1de20e5b7af11daf8fd150314e913f1e7a024e016263c73 openMind is a magicain who takes you to experience the mystery and creativity of AI. openMind Library是一个深度学习开发套件，支持模型训练、推理等流程，兼容PyTorch和MindSpore等主流框架。 关于openMind Library的安装步骤，推荐用户参考[《安装》](https://modelers.cn/docs/zh/openmind-library/install.html)文档，以确保顺利并正确地完成安装过程。 openMind Library的安装过程还依赖于openmind_accelerate与openmind_hub，用户在进行安装时，可以参考[openmind-accelerate环境准备](https://modelers.cn/docs/zh/openmind-library/basic_tutorial/pretrainer.html#%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87)与[openMind Hub Client安装](https://modelers.cn/docs/zh/openmind-hub-client/0.9/install.html)来进行操作。 `pipeline()`提供了使用预训练模型进行推理的全流程，使用`pipeline()`可以轻松实现对文本、图像、音频等多种模态数据的多种任务，如文本情感分析、图像分割、语音识别等。 本章以对文本的情感分析任务为例，展示如何使用`pipeline()`执行一个指定的任务。 首先，实例化一个pipeline对象并指定任务类型，本示例中指定为`sentiment-analysis`（所有支持的任务类型详见 [**pipeline当前支持的推理任务与默认模型**](https://modelers.cn/docs/zh/openmind-library/basic_tutorial/pipeline.html#pipeline%E5%BD%93%E5%89%8D%E6%94%AF%E6%8C%81%E7%9A%84%E6%8E%A8%E7%90%86%E4%BB%BB%E5%8A%A1%E5%8F%8A%E5%85%B6%E9%BB%98%E8%AE%A4%E6%A8%A1%E5%9E%8B)）。此方法未指定模型，pipeline使用任务对应的预定义默认模型进行推理。 ```python from openmind import pipeline classifier = pipeline("sentiment-analysis") ``` 在仅指定任务类型时，`pipeline()`会自动下载预定义默认预训练模型及分词器，本示例中的预训练模型和分词器用于情感分析，随后使用`classifier`对输入文本进行情感分析。 ```python classifier("Welcome to the openMind library!") ''' 输出： [{'label': 'POSITIVE', 'score': 0.999705970287323}] ''' ``` 当输入文本不只一条时，可以把所有输入放入到列表中，一次性传给`pipeline()`，`classifier`也将所有结果存储在一个字典列表内并返回： ```python results = classifier(["Welcome to the openMind library!", "Have a great experience using it!"]) for result in results: print(f"label: {result['label']}, with score: {round(result['score'], 4)}") ''' 输出： label: POSITIVE, with score: 0.9997 label: POSITIVE, with score: 0.9998 ''' ``` 其余openMind Library的基础功能可参考[快速入门](https://modelers.cn/docs/zh/openmind-library/quick_start.html)。 1. 在上传PR之前，请确保所有测试都通过。首先在本地运行如下命令。 ```shell ./ci/lint.sh ./ci/unit_test.sh HUB_TOKEN=your_hub_token ./ci/functional_test.sh ``` 2. 当您推送或更新PR（Pull Request）后，系统将自动触发CI（持续集成）构建和测试流程。若所有CI构建和测试均顺利通过，`ci-success`标记将自动添加到您的PR中。然而，若出现CI故障，您可以点击CI日志链接以详细查看失败原因，并在本地进行必要的修复。一旦您完成了修复并希望重新运行CI作业，只需在PR中留下评论`/recheck`即可。 3. 详细贡献指南请参考： https://gitee.com/modelers/openmind/blob/v0.9.1/docs/zh/developer_tutorial/contribution.md 为保障使用过程安全，推荐用户参考[《安全声明》](./security_statement.md)了解相关安全信息，进行必要的安全加固。 openMind Library使用木兰宽松许可证第2版（MulanPSL v2）。详见[LICENSE](http://license.coscl.org.cn/MulanPSL2)文件。 https://gitee.com/openmind-ai/openmind python-openmind noarch 4b0145e0d7fdd3c26225ea5f668fcb4a4dfd2009fe5beb2fd4623711c83a98c4 openMind is a magicain who takes you to experience the mystery and creativity of AI. openMind Library是一个大模型微调套件，通过命令行接口或SDK原生支持在昇腾NPU上进行微调、推理、评估和部署。通过简化使用流程，充分利用NPU的独特优势，为大模型应用提供高效、可扩展的解决方案。 **为什么使用 openMind Library？** 基于Transformers框架，openMind Library实现了高效的微调流程。它集成了PyTorch生态中常用的工具库功能，提供数据预处理、权重加载、低参微调、量化适配以及训练跟踪等全流程的一键式解决方案。此外，库内融合了针对昇腾NPU的优化算子，可大幅提升模型训练效率。 openMind Library提供了统一的Pipeline SDK，提供更快速、更高效的推理体验。 模型部署方面，openMind Library基于LMDeploy和MindIE，提供多后端部署支持，极大地简化了部署流程，使得模型部署更加便捷。 openMind Library目前支持的特性如下： - 模型类型：支持Qwen2，Qwen2.5系列模型，更多模型适配中 - 微调训练：SFT训练 - 高效微调：BF16微调，LoRA微调，4bit QLoRA微调 - 分布式训练：DDP，DeepSpeed - 微调加速：npu_fusion_attention融合算子，npu_rms_norm融合算子 - 训练监控：SwanLab - 推理：Transformers/Diffusers多backend，text-generation/text-to-image多任务 - 部署：LMDeploy，MindIE https://gitee.com/openmind-ai/openmind python-openmind src cbae8eb9f923a5220f5819ec36ea5711c17be324a57f98bca4be571f5809ff81 openMind is a magicain who takes you to experience the mystery and creativity of AI. openMind Library是一个大模型微调套件，通过命令行接口或SDK原生支持在昇腾NPU上进行微调、推理、评估和部署。通过简化使用流程，充分利用NPU的独特优势，为大模型应用提供高效、可扩展的解决方案。 **为什么使用 openMind Library？** 基于Transformers框架，openMind Library实现了高效的微调流程。它集成了PyTorch生态中常用的工具库功能，提供数据预处理、权重加载、低参微调、量化适配以及训练跟踪等全流程的一键式解决方案。此外，库内融合了针对昇腾NPU的优化算子，可大幅提升模型训练效率。 openMind Library提供了统一的Pipeline SDK，提供更快速、更高效的推理体验。 模型部署方面，openMind Library基于LMDeploy和MindIE，提供多后端部署支持，极大地简化了部署流程，使得模型部署更加便捷。 openMind Library目前支持的特性如下： - 模型类型：支持Qwen2，Qwen2.5系列模型，更多模型适配中 - 微调训练：SFT训练 - 高效微调：BF16微调，LoRA微调，4bit QLoRA微调 - 分布式训练：DDP，DeepSpeed - 微调加速：npu_fusion_attention融合算子，npu_rms_norm融合算子 - 训练监控：SwanLab - 推理：Transformers/Diffusers多backend，text-generation/text-to-image多任务 - 部署：LMDeploy，MindIE https://gitee.com/openmind-ai/openmind python-openmind-hub noarch ab2cc0f435a8cc2f5ada77e5b4f84ddc6cda2e95e5b0616abed5c3d629c826d8 Hub client SDK for openMind openMind Hub Client可以帮助您在不离开开发环境的情况下与社区进行交互。您可以轻松创建和管理仓库，下载和上传文件以及从模型库获取有用的模型和数据集元数据。 关于openMind Hub Client的安装步骤，推荐用户参考[《安装》](./docs/zh/install.md)文档，以确保顺利并正确地完成安装过程。 例如，下载[t5_small](https://modelers.cn/models/PyTorch-NPU/t5_small/)模型配置文件： ```py from openmind_hub import om_hub_download om_hub_download(repo_id="PyTorch-NPU/t5_small", filename="config.json") ``` 详见[《下载指南》](./docs/zh/basic_tutorial/download.md)。 访问私有仓库资源、创建仓库和上传文件等场景都需要使用访问令牌（即token）才能与社区进行交互。请[创建访问令牌](https://modelers.cn/my/tokens)并妥善保存，令牌内容仅会在创建时显示。 使用`upload_folder`为您的仓库上传文件，示例如下： ```py from openmind_hub import upload_folder upload_folder( repo_id="owner/repo", folder_path="./folder_to_upload", token="xxx", ) ``` + `token`：对目标仓库具有可写权限的访问令牌，必选。 + `repo_id`：文件要上传到的仓库，必选。 + `folder_path`：要上传目录的绝对路径或相对路径，上传的内容不包含该目录本身，必选。支持字符串或Path类型，如：`"./folder"`或`Path("./folder")`。 详见[《上传文件》](./docs/zh/basic_tutorial/upload.md)。 1. 在提交PR之前，请确保所有测试都通过。首先在本地运行如下命令。 ```shell ./ci/lint.sh ./ci/unit_test.sh HUB_TOKEN=your_hub_token ./ci/functional_test.sh ``` 2. 当您推送或更新PR（Pull Request）后，系统将自动触发CI（持续集成）构建和测试流程。若所有CI构建和测试均顺利通过，`ci-success`标记将自动添加到您的PR中。然而，若出现CI故障，您可以点击CI日志链接以详细查看失败原因，并在本地进行必要的修复。一旦您完成了修复并希望重新运行CI作业，只需在PR中留下评论`/recheck`即可。 为保障使用过程安全，推荐用户参考[《安全声明》](./security_statement.md)了解相关安全信息，进行必要的安全加固。 https://gitee.com/openmind-ai/openmind-hub python-openmind-hub src fb4ed72166b45c66b32aceb1277854d72cf9f633f0736a61ce8338473af5de3b Hub client SDK for openMind openMind Hub Client可以帮助您在不离开开发环境的情况下与社区进行交互。您可以轻松创建和管理仓库，下载和上传文件以及从模型库获取有用的模型和数据集元数据。 关于openMind Hub Client的安装步骤，推荐用户参考[《安装》](./docs/zh/install.md)文档，以确保顺利并正确地完成安装过程。 例如，下载[t5_small](https://modelers.cn/models/PyTorch-NPU/t5_small/)模型配置文件： ```py from openmind_hub import om_hub_download om_hub_download(repo_id="PyTorch-NPU/t5_small", filename="config.json") ``` 详见[《下载指南》](./docs/zh/basic_tutorial/download.md)。 访问私有仓库资源、创建仓库和上传文件等场景都需要使用访问令牌（即token）才能与社区进行交互。请[创建访问令牌](https://modelers.cn/my/tokens)并妥善保存，令牌内容仅会在创建时显示。 使用`upload_folder`为您的仓库上传文件，示例如下： ```py from openmind_hub import upload_folder upload_folder( repo_id="owner/repo", folder_path="./folder_to_upload", token="xxx", ) ``` + `token`：对目标仓库具有可写权限的访问令牌，必选。 + `repo_id`：文件要上传到的仓库，必选。 + `folder_path`：要上传目录的绝对路径或相对路径，上传的内容不包含该目录本身，必选。支持字符串或Path类型，如：`"./folder"`或`Path("./folder")`。 详见[《上传文件》](./docs/zh/basic_tutorial/upload.md)。 1. 在提交PR之前，请确保所有测试都通过。首先在本地运行如下命令。 ```shell ./ci/lint.sh ./ci/unit_test.sh HUB_TOKEN=your_hub_token ./ci/functional_test.sh ``` 2. 当您推送或更新PR（Pull Request）后，系统将自动触发CI（持续集成）构建和测试流程。若所有CI构建和测试均顺利通过，`ci-success`标记将自动添加到您的PR中。然而，若出现CI故障，您可以点击CI日志链接以详细查看失败原因，并在本地进行必要的修复。一旦您完成了修复并希望重新运行CI作业，只需在PR中留下评论`/recheck`即可。 为保障使用过程安全，推荐用户参考[《安全声明》](./security_statement.md)了解相关安全信息，进行必要的安全加固。 https://gitee.com/openmind-ai/openmind-hub python-openmind-hub noarch 2f4177467482073f39b160b51f0a546131a6c8c35bab823accbe92c9d7b9d32a Hub client SDK for openMind openMind Hub Client可以帮助您在不离开开发环境的情况下与社区进行交互。您可以轻松创建和管理仓库，下载和上传文件以及从模型库获取有用的模型和数据集元数据。 关于openMind Hub Client的安装步骤，推荐用户参考[《安装》](./docs/zh/install.md)文档，以确保顺利并正确地完成安装过程。 例如，下载[t5_small](https://modelers.cn/models/PyTorch-NPU/t5_small/)模型配置文件： ```py from openmind_hub import om_hub_download om_hub_download(repo_id="PyTorch-NPU/t5_small", filename="config.json") ``` 详见[《下载指南》](./docs/zh/basic_tutorial/download.md)。 访问私有仓库资源、创建仓库和上传文件等场景都需要使用访问令牌（即token）才能与社区进行交互。请[创建访问令牌](https://modelers.cn/my/tokens)并妥善保存，令牌内容仅会在创建时显示。 使用`upload_folder`为您的仓库上传文件，示例如下： ```py from openmind_hub import upload_folder upload_folder( repo_id="owner/repo", folder_path="./folder_to_upload", token="xxx", ) ``` + `token`：对目标仓库具有可写权限的访问令牌，必选。 + `repo_id`：文件要上传到的仓库，必选。 + `folder_path`：要上传目录的绝对路径或相对路径，上传的内容不包含该目录本身，必选。支持字符串或Path类型，如：`"./folder"`或`Path("./folder")`。 详见[《上传文件》](./docs/zh/basic_tutorial/upload.md)。 为保障使用过程安全，推荐用户参考[《安全声明》](./security_statement.md)了解相关安全信息，进行必要的安全加固。 https://gitee.com/openmind-ai/openmind-hub python-openmind-hub src 300bc6d6e2cd28264869a7d9f07790a594b361e4a9a3d0a5447ca81d3783c8db Hub client SDK for openMind openMind Hub Client可以帮助您在不离开开发环境的情况下与社区进行交互。您可以轻松创建和管理仓库，下载和上传文件以及从模型库获取有用的模型和数据集元数据。 关于openMind Hub Client的安装步骤，推荐用户参考[《安装》](./docs/zh/install.md)文档，以确保顺利并正确地完成安装过程。 例如，下载[t5_small](https://modelers.cn/models/PyTorch-NPU/t5_small/)模型配置文件： ```py from openmind_hub import om_hub_download om_hub_download(repo_id="PyTorch-NPU/t5_small", filename="config.json") ``` 详见[《下载指南》](./docs/zh/basic_tutorial/download.md)。 访问私有仓库资源、创建仓库和上传文件等场景都需要使用访问令牌（即token）才能与社区进行交互。请[创建访问令牌](https://modelers.cn/my/tokens)并妥善保存，令牌内容仅会在创建时显示。 使用`upload_folder`为您的仓库上传文件，示例如下： ```py from openmind_hub import upload_folder upload_folder( repo_id="owner/repo", folder_path="./folder_to_upload", token="xxx", ) ``` + `token`：对目标仓库具有可写权限的访问令牌，必选。 + `repo_id`：文件要上传到的仓库，必选。 + `folder_path`：要上传目录的绝对路径或相对路径，上传的内容不包含该目录本身，必选。支持字符串或Path类型，如：`"./folder"`或`Path("./folder")`。 详见[《上传文件》](./docs/zh/basic_tutorial/upload.md)。 为保障使用过程安全，推荐用户参考[《安全声明》](./security_statement.md)了解相关安全信息，进行必要的安全加固。 https://gitee.com/openmind-ai/openmind-hub