summaryrefslogtreecommitdiff
diff options
context:
space:
mode:
authorCoprDistGit <infra@openeuler.org>2023-05-29 12:04:28 +0000
committerCoprDistGit <infra@openeuler.org>2023-05-29 12:04:28 +0000
commit1f4c29423cf98d965e59aca84e0f1236792ee92d (patch)
tree54a37ea75f2e80743840cdc45435212e2a1edfc8
parenta2aae16758eb47e289b7004925d3d3b302b10987 (diff)
automatic import of python-biu
-rw-r--r--.gitignore1
-rw-r--r--python-biu.spec225
-rw-r--r--sources1
3 files changed, 227 insertions, 0 deletions
diff --git a/.gitignore b/.gitignore
index e69de29..e93b64b 100644
--- a/.gitignore
+++ b/.gitignore
@@ -0,0 +1 @@
+/Biu-0.2.5.tar.gz
diff --git a/python-biu.spec b/python-biu.spec
new file mode 100644
index 0000000..cf96a69
--- /dev/null
+++ b/python-biu.spec
@@ -0,0 +1,225 @@
+%global _empty_manifest_terminate_build 0
+Name: python-Biu
+Version: 0.2.5
+Release: 1
+Summary: A tiny web crawler framework.
+License: MIT
+URL: https://github.com/Windfarer/biu
+Source0: https://mirrors.nju.edu.cn/pypi/web/packages/99/5a/f3304b843a6db3d7349ca900c2e6ba2ed5b34ca14dea994f4aa2051db1ce/Biu-0.2.5.tar.gz
+BuildArch: noarch
+
+Requires: python3-gevent
+Requires: python3-requests
+Requires: python3-parsel
+
+%description
+
+# Biu
+A tiny web crawler framework
+
+## Features
+* 请使用 Python3.6 或更高版本
+* 并发基于 Gevent,因此你必须在脚本一开始`import biu`,或者自行 monkey patch
+* 请求基于 Requests,请求与请求结果的参数与 Requests 基本兼容
+* 页面解析基于 Parsel, 因此使用方法与 Scrapy 一致
+* 基本是一个缩水版的 Scrapy,用法与之非常类似
+* 更多高级功能请面向源代码编程,自行发掘
+
+## Installation
+```
+pip install biu
+```
+
+## Example
+```python
+import biu ## Must be the first line, because of monkey-included.
+
+
+class MySpider(biu.Project):
+ def start_requests(self):
+ for i in range(0, 301, 30):
+ # return 或者 yield 一个 biu.Request 就会去访问一个页面,参数与 requests 的那个基本上是兼容的
+ yield biu.Request(url="https://www.douban.com/group/explore/tech?start={}".format(i),
+ method="GET",
+ headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"},
+ callback=self.parse)
+
+ def parse(self, resp):
+ ## biu.Response 和 requests 的那个差不多,加了几个选择器上去
+ for item in resp.xpath('//*[@id="content"]/div/div[1]/div[1]/div'):
+ yield {
+ "title": item.xpath("div[2]/h3/a/text()").extract_first(),
+ "url": item.xpath("div[2]/h3/a/@href").extract_first(),
+ "abstract": item.css("p::text").extract_first()
+ }
+ # return 或者 yield 一个 dict, 就会当作结果传到result_handler里进行处理
+
+
+ def result_handler(self, rv):
+ print("get result:", rv)
+ # 在这把你的结果存了
+
+biu.run(MySpider(concurrent=3, interval=0.2, max_retry=5))
+
+```
+
+
+
+%package -n python3-Biu
+Summary: A tiny web crawler framework.
+Provides: python-Biu
+BuildRequires: python3-devel
+BuildRequires: python3-setuptools
+BuildRequires: python3-pip
+%description -n python3-Biu
+
+# Biu
+A tiny web crawler framework
+
+## Features
+* 请使用 Python3.6 或更高版本
+* 并发基于 Gevent,因此你必须在脚本一开始`import biu`,或者自行 monkey patch
+* 请求基于 Requests,请求与请求结果的参数与 Requests 基本兼容
+* 页面解析基于 Parsel, 因此使用方法与 Scrapy 一致
+* 基本是一个缩水版的 Scrapy,用法与之非常类似
+* 更多高级功能请面向源代码编程,自行发掘
+
+## Installation
+```
+pip install biu
+```
+
+## Example
+```python
+import biu ## Must be the first line, because of monkey-included.
+
+
+class MySpider(biu.Project):
+ def start_requests(self):
+ for i in range(0, 301, 30):
+ # return 或者 yield 一个 biu.Request 就会去访问一个页面,参数与 requests 的那个基本上是兼容的
+ yield biu.Request(url="https://www.douban.com/group/explore/tech?start={}".format(i),
+ method="GET",
+ headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"},
+ callback=self.parse)
+
+ def parse(self, resp):
+ ## biu.Response 和 requests 的那个差不多,加了几个选择器上去
+ for item in resp.xpath('//*[@id="content"]/div/div[1]/div[1]/div'):
+ yield {
+ "title": item.xpath("div[2]/h3/a/text()").extract_first(),
+ "url": item.xpath("div[2]/h3/a/@href").extract_first(),
+ "abstract": item.css("p::text").extract_first()
+ }
+ # return 或者 yield 一个 dict, 就会当作结果传到result_handler里进行处理
+
+
+ def result_handler(self, rv):
+ print("get result:", rv)
+ # 在这把你的结果存了
+
+biu.run(MySpider(concurrent=3, interval=0.2, max_retry=5))
+
+```
+
+
+
+%package help
+Summary: Development documents and examples for Biu
+Provides: python3-Biu-doc
+%description help
+
+# Biu
+A tiny web crawler framework
+
+## Features
+* 请使用 Python3.6 或更高版本
+* 并发基于 Gevent,因此你必须在脚本一开始`import biu`,或者自行 monkey patch
+* 请求基于 Requests,请求与请求结果的参数与 Requests 基本兼容
+* 页面解析基于 Parsel, 因此使用方法与 Scrapy 一致
+* 基本是一个缩水版的 Scrapy,用法与之非常类似
+* 更多高级功能请面向源代码编程,自行发掘
+
+## Installation
+```
+pip install biu
+```
+
+## Example
+```python
+import biu ## Must be the first line, because of monkey-included.
+
+
+class MySpider(biu.Project):
+ def start_requests(self):
+ for i in range(0, 301, 30):
+ # return 或者 yield 一个 biu.Request 就会去访问一个页面,参数与 requests 的那个基本上是兼容的
+ yield biu.Request(url="https://www.douban.com/group/explore/tech?start={}".format(i),
+ method="GET",
+ headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"},
+ callback=self.parse)
+
+ def parse(self, resp):
+ ## biu.Response 和 requests 的那个差不多,加了几个选择器上去
+ for item in resp.xpath('//*[@id="content"]/div/div[1]/div[1]/div'):
+ yield {
+ "title": item.xpath("div[2]/h3/a/text()").extract_first(),
+ "url": item.xpath("div[2]/h3/a/@href").extract_first(),
+ "abstract": item.css("p::text").extract_first()
+ }
+ # return 或者 yield 一个 dict, 就会当作结果传到result_handler里进行处理
+
+
+ def result_handler(self, rv):
+ print("get result:", rv)
+ # 在这把你的结果存了
+
+biu.run(MySpider(concurrent=3, interval=0.2, max_retry=5))
+
+```
+
+
+
+%prep
+%autosetup -n Biu-0.2.5
+
+%build
+%py3_build
+
+%install
+%py3_install
+install -d -m755 %{buildroot}/%{_pkgdocdir}
+if [ -d doc ]; then cp -arf doc %{buildroot}/%{_pkgdocdir}; fi
+if [ -d docs ]; then cp -arf docs %{buildroot}/%{_pkgdocdir}; fi
+if [ -d example ]; then cp -arf example %{buildroot}/%{_pkgdocdir}; fi
+if [ -d examples ]; then cp -arf examples %{buildroot}/%{_pkgdocdir}; fi
+pushd %{buildroot}
+if [ -d usr/lib ]; then
+ find usr/lib -type f -printf "/%h/%f\n" >> filelist.lst
+fi
+if [ -d usr/lib64 ]; then
+ find usr/lib64 -type f -printf "/%h/%f\n" >> filelist.lst
+fi
+if [ -d usr/bin ]; then
+ find usr/bin -type f -printf "/%h/%f\n" >> filelist.lst
+fi
+if [ -d usr/sbin ]; then
+ find usr/sbin -type f -printf "/%h/%f\n" >> filelist.lst
+fi
+touch doclist.lst
+if [ -d usr/share/man ]; then
+ find usr/share/man -type f -printf "/%h/%f.gz\n" >> doclist.lst
+fi
+popd
+mv %{buildroot}/filelist.lst .
+mv %{buildroot}/doclist.lst .
+
+%files -n python3-Biu -f filelist.lst
+%dir %{python3_sitelib}/*
+
+%files help -f doclist.lst
+%{_docdir}/*
+
+%changelog
+* Mon May 29 2023 Python_Bot <Python_Bot@openeuler.org> - 0.2.5-1
+- Package Spec generated
diff --git a/sources b/sources
new file mode 100644
index 0000000..6610cba
--- /dev/null
+++ b/sources
@@ -0,0 +1 @@
+854781bd753dae34bf70ae7b0da662d8 Biu-0.2.5.tar.gz