blob: 90a0d4bfc2081b7ac010bf5716f011930b7a28be (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
|
%global _empty_manifest_terminate_build 0
Name: python-phcli
Version: 4.0.0
Release: 1
Summary: pharbers dag scheduler config
License: MIT License
URL: https://pypi.org/project/phcli/
Source0: https://mirrors.nju.edu.cn/pypi/web/packages/9e/69/6bfefd18c5a256e2bbf7c973eb1b96c58bbaa017e181a528b08e7ff53d41/phcli-4.0.0.tar.gz
BuildArch: noarch
Requires: python3-boto3
Requires: python3-click
Requires: python3-pandas
Requires: python3-psycopg2
Requires: python3-pymysql
Requires: python3-pypinyin
Requires: python3-pyyaml
Requires: python3-requests
Requires: python3-sqlalchemy
Requires: python3-xlrd
%description
# phDagCommand
Pharbers Python 工具集合
## 打包和发布方式
```androiddatabinding
# pipy 打包发布方式
1. 修改 phcli/define_value.py 中 CLI_CLIENT_VERSION 的版本号
2. 修改 file/ph_max_auto/phDagJob-*.tmp 中的 install_phcli 版本号
并将 file/ph_max_auto/phDagJob-*.tmp 上传到 s3://ph-platform/*/template/python/phcli/maxauto/ 下
3. 修改 phcli/ph_max_auto/define_value.py 中新的模板文件版本
4. 打包
$ rm -rf build/ dist/
$ python setup.py sdist bdist_egg bdist_wheel
5. 上传
发布 pypi
$ python -m twine upload dist/*
将生成的 dist/phcli-XXX-py3.8.egg 添加到 s3://ph-platform/*/jobs/python/phcli/common/ 下
```
## 清洗打包流程
```
# zip 打包方式(scala 调用方式)
$ python setup.py sdist --formats=zip
```
## 安装方式
```androiddatabinding
$ pip install phcli
```
## 使用方法
```androiddatabinding
> phcli -h
```
# 更新文档
## 2.2.1 2021/1/29
1. 紧急修复 bug，在 .ipynb 中无法读取 ~/.profile 中的环境变量
## 2.2.0 2021/1/25
1. 新增 recall 召回功能，可撤回 publish 的 dag。``phcli maxauto recall --name dag_name``
## 2.1.0 2021/1/22
1. Jupyter Spark Session 更语义化的 App Name
2. 对 Jupyter R 的支持
3. 修复了 phcli maxauto dag 后，无法取参的问题
## 2.0.4
1. 修复 jupyter dag 时 timeout 参数的 bug
2. 修复 preset.write_asset 的 bug
## 2.0.3
1. phcli maxauto create 新增 option [--timeout]，指定 job 运行的超时时间（min），默认为 60 min。
## 2.0.0
1. 之前的 phcli maxauto --cmd XXX --option 改为 phcli maxauto XXX --option
2. phcli maxauto 新增两个 option，[--ide] 可选 c9(默认)，jupyter。[--runtime] 可选 python3(默认)，r。
3. phcli maxauto create 新增 option [--command] 可选 submit(默认)，script。
4. create/combine/dag 执行过程中出现目录已存在会提示是否覆盖。
5. phcli maxauto combine 新增参数 [--owner]，[--tag]，[--jobs]。
6. phcli maxauto submit 改为 phcli maxauto online_run
## 1.2.3
1. dag airflow list 完成
2. phcli 1.2.3 spark submit 中文乱码 bug 解决
3. phcli 1.2.2 修复 submit jar 问题
%package -n python3-phcli
Summary: pharbers dag scheduler config
Provides: python-phcli
BuildRequires: python3-devel
BuildRequires: python3-setuptools
BuildRequires: python3-pip
%description -n python3-phcli
# phDagCommand
Pharbers Python 工具集合
## 打包和发布方式
```androiddatabinding
# pipy 打包发布方式
1. 修改 phcli/define_value.py 中 CLI_CLIENT_VERSION 的版本号
2. 修改 file/ph_max_auto/phDagJob-*.tmp 中的 install_phcli 版本号
并将 file/ph_max_auto/phDagJob-*.tmp 上传到 s3://ph-platform/*/template/python/phcli/maxauto/ 下
3. 修改 phcli/ph_max_auto/define_value.py 中新的模板文件版本
4. 打包
$ rm -rf build/ dist/
$ python setup.py sdist bdist_egg bdist_wheel
5. 上传
发布 pypi
$ python -m twine upload dist/*
将生成的 dist/phcli-XXX-py3.8.egg 添加到 s3://ph-platform/*/jobs/python/phcli/common/ 下
```
## 清洗打包流程
```
# zip 打包方式(scala 调用方式)
$ python setup.py sdist --formats=zip
```
## 安装方式
```androiddatabinding
$ pip install phcli
```
## 使用方法
```androiddatabinding
> phcli -h
```
# 更新文档
## 2.2.1 2021/1/29
1. 紧急修复 bug，在 .ipynb 中无法读取 ~/.profile 中的环境变量
## 2.2.0 2021/1/25
1. 新增 recall 召回功能，可撤回 publish 的 dag。``phcli maxauto recall --name dag_name``
## 2.1.0 2021/1/22
1. Jupyter Spark Session 更语义化的 App Name
2. 对 Jupyter R 的支持
3. 修复了 phcli maxauto dag 后，无法取参的问题
## 2.0.4
1. 修复 jupyter dag 时 timeout 参数的 bug
2. 修复 preset.write_asset 的 bug
## 2.0.3
1. phcli maxauto create 新增 option [--timeout]，指定 job 运行的超时时间（min），默认为 60 min。
## 2.0.0
1. 之前的 phcli maxauto --cmd XXX --option 改为 phcli maxauto XXX --option
2. phcli maxauto 新增两个 option，[--ide] 可选 c9(默认)，jupyter。[--runtime] 可选 python3(默认)，r。
3. phcli maxauto create 新增 option [--command] 可选 submit(默认)，script。
4. create/combine/dag 执行过程中出现目录已存在会提示是否覆盖。
5. phcli maxauto combine 新增参数 [--owner]，[--tag]，[--jobs]。
6. phcli maxauto submit 改为 phcli maxauto online_run
## 1.2.3
1. dag airflow list 完成
2. phcli 1.2.3 spark submit 中文乱码 bug 解决
3. phcli 1.2.2 修复 submit jar 问题
%package help
Summary: Development documents and examples for phcli
Provides: python3-phcli-doc
%description help
# phDagCommand
Pharbers Python 工具集合
## 打包和发布方式
```androiddatabinding
# pipy 打包发布方式
1. 修改 phcli/define_value.py 中 CLI_CLIENT_VERSION 的版本号
2. 修改 file/ph_max_auto/phDagJob-*.tmp 中的 install_phcli 版本号
并将 file/ph_max_auto/phDagJob-*.tmp 上传到 s3://ph-platform/*/template/python/phcli/maxauto/ 下
3. 修改 phcli/ph_max_auto/define_value.py 中新的模板文件版本
4. 打包
$ rm -rf build/ dist/
$ python setup.py sdist bdist_egg bdist_wheel
5. 上传
发布 pypi
$ python -m twine upload dist/*
将生成的 dist/phcli-XXX-py3.8.egg 添加到 s3://ph-platform/*/jobs/python/phcli/common/ 下
```
## 清洗打包流程
```
# zip 打包方式(scala 调用方式)
$ python setup.py sdist --formats=zip
```
## 安装方式
```androiddatabinding
$ pip install phcli
```
## 使用方法
```androiddatabinding
> phcli -h
```
# 更新文档
## 2.2.1 2021/1/29
1. 紧急修复 bug，在 .ipynb 中无法读取 ~/.profile 中的环境变量
## 2.2.0 2021/1/25
1. 新增 recall 召回功能，可撤回 publish 的 dag。``phcli maxauto recall --name dag_name``
## 2.1.0 2021/1/22
1. Jupyter Spark Session 更语义化的 App Name
2. 对 Jupyter R 的支持
3. 修复了 phcli maxauto dag 后，无法取参的问题
## 2.0.4
1. 修复 jupyter dag 时 timeout 参数的 bug
2. 修复 preset.write_asset 的 bug
## 2.0.3
1. phcli maxauto create 新增 option [--timeout]，指定 job 运行的超时时间（min），默认为 60 min。
## 2.0.0
1. 之前的 phcli maxauto --cmd XXX --option 改为 phcli maxauto XXX --option
2. phcli maxauto 新增两个 option，[--ide] 可选 c9(默认)，jupyter。[--runtime] 可选 python3(默认)，r。
3. phcli maxauto create 新增 option [--command] 可选 submit(默认)，script。
4. create/combine/dag 执行过程中出现目录已存在会提示是否覆盖。
5. phcli maxauto combine 新增参数 [--owner]，[--tag]，[--jobs]。
6. phcli maxauto submit 改为 phcli maxauto online_run
## 1.2.3
1. dag airflow list 完成
2. phcli 1.2.3 spark submit 中文乱码 bug 解决
3. phcli 1.2.2 修复 submit jar 问题
%prep
%autosetup -n phcli-4.0.0
%build
%py3_build
%install
%py3_install
install -d -m755 %{buildroot}/%{_pkgdocdir}
if [ -d doc ]; then cp -arf doc %{buildroot}/%{_pkgdocdir}; fi
if [ -d docs ]; then cp -arf docs %{buildroot}/%{_pkgdocdir}; fi
if [ -d example ]; then cp -arf example %{buildroot}/%{_pkgdocdir}; fi
if [ -d examples ]; then cp -arf examples %{buildroot}/%{_pkgdocdir}; fi
pushd %{buildroot}
if [ -d usr/lib ]; then
find usr/lib -type f -printf "/%h/%f\n" >> filelist.lst
fi
if [ -d usr/lib64 ]; then
find usr/lib64 -type f -printf "/%h/%f\n" >> filelist.lst
fi
if [ -d usr/bin ]; then
find usr/bin -type f -printf "/%h/%f\n" >> filelist.lst
fi
if [ -d usr/sbin ]; then
find usr/sbin -type f -printf "/%h/%f\n" >> filelist.lst
fi
touch doclist.lst
if [ -d usr/share/man ]; then
find usr/share/man -type f -printf "/%h/%f.gz\n" >> doclist.lst
fi
popd
mv %{buildroot}/filelist.lst .
mv %{buildroot}/doclist.lst .
%files -n python3-phcli -f filelist.lst
%dir %{python3_sitelib}/*
%files help -f doclist.lst
%{_docdir}/*
%changelog
* Wed Apr 12 2023 Python_Bot <Python_Bot@openeuler.org> - 4.0.0-1
- Package Spec generated
|
