%global _empty_manifest_terminate_build 0 Name: python-Biu Version: 0.2.5 Release: 1 Summary: A tiny web crawler framework. License: MIT URL: https://github.com/Windfarer/biu Source0: https://mirrors.nju.edu.cn/pypi/web/packages/99/5a/f3304b843a6db3d7349ca900c2e6ba2ed5b34ca14dea994f4aa2051db1ce/Biu-0.2.5.tar.gz BuildArch: noarch Requires: python3-gevent Requires: python3-requests Requires: python3-parsel %description # Biu A tiny web crawler framework ## Features * 请使用 Python3.6 或更高版本 * 并发基于 Gevent，因此你必须在脚本一开始`import biu`，或者自行 monkey patch * 请求基于 Requests，请求与请求结果的参数与 Requests 基本兼容 * 页面解析基于 Parsel, 因此使用方法与 Scrapy 一致 * 基本是一个缩水版的 Scrapy，用法与之非常类似 * 更多高级功能请面向源代码编程，自行发掘 ## Installation ``` pip install biu ``` ## Example ```python import biu ## Must be the first line, because of monkey-included. class MySpider(biu.Project): def start_requests(self): for i in range(0, 301, 30): # return 或者 yield 一个 biu.Request 就会去访问一个页面，参数与 requests 的那个基本上是兼容的 yield biu.Request(url="https://www.douban.com/group/explore/tech?start={}".format(i), method="GET", headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}, callback=self.parse) def parse(self, resp): ## biu.Response 和 requests 的那个差不多，加了几个选择器上去 for item in resp.xpath('//*[@id="content"]/div/div[1]/div[1]/div'): yield { "title": item.xpath("div[2]/h3/a/text()").extract_first(), "url": item.xpath("div[2]/h3/a/@href").extract_first(), "abstract": item.css("p::text").extract_first() } # return 或者 yield 一个 dict, 就会当作结果传到result_handler里进行处理 def result_handler(self, rv): print("get result:", rv) # 在这把你的结果存了 biu.run(MySpider(concurrent=3, interval=0.2, max_retry=5)) ``` %package -n python3-Biu Summary: A tiny web crawler framework. Provides: python-Biu BuildRequires: python3-devel BuildRequires: python3-setuptools BuildRequires: python3-pip %description -n python3-Biu # Biu A tiny web crawler framework ## Features * 请使用 Python3.6 或更高版本 * 并发基于 Gevent，因此你必须在脚本一开始`import biu`，或者自行 monkey patch * 请求基于 Requests，请求与请求结果的参数与 Requests 基本兼容 * 页面解析基于 Parsel, 因此使用方法与 Scrapy 一致 * 基本是一个缩水版的 Scrapy，用法与之非常类似 * 更多高级功能请面向源代码编程，自行发掘 ## Installation ``` pip install biu ``` ## Example ```python import biu ## Must be the first line, because of monkey-included. class MySpider(biu.Project): def start_requests(self): for i in range(0, 301, 30): # return 或者 yield 一个 biu.Request 就会去访问一个页面，参数与 requests 的那个基本上是兼容的 yield biu.Request(url="https://www.douban.com/group/explore/tech?start={}".format(i), method="GET", headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}, callback=self.parse) def parse(self, resp): ## biu.Response 和 requests 的那个差不多，加了几个选择器上去 for item in resp.xpath('//*[@id="content"]/div/div[1]/div[1]/div'): yield { "title": item.xpath("div[2]/h3/a/text()").extract_first(), "url": item.xpath("div[2]/h3/a/@href").extract_first(), "abstract": item.css("p::text").extract_first() } # return 或者 yield 一个 dict, 就会当作结果传到result_handler里进行处理 def result_handler(self, rv): print("get result:", rv) # 在这把你的结果存了 biu.run(MySpider(concurrent=3, interval=0.2, max_retry=5)) ``` %package help Summary: Development documents and examples for Biu Provides: python3-Biu-doc %description help # Biu A tiny web crawler framework ## Features * 请使用 Python3.6 或更高版本 * 并发基于 Gevent，因此你必须在脚本一开始`import biu`，或者自行 monkey patch * 请求基于 Requests，请求与请求结果的参数与 Requests 基本兼容 * 页面解析基于 Parsel, 因此使用方法与 Scrapy 一致 * 基本是一个缩水版的 Scrapy，用法与之非常类似 * 更多高级功能请面向源代码编程，自行发掘 ## Installation ``` pip install biu ``` ## Example ```python import biu ## Must be the first line, because of monkey-included. class MySpider(biu.Project): def start_requests(self): for i in range(0, 301, 30): # return 或者 yield 一个 biu.Request 就会去访问一个页面，参数与 requests 的那个基本上是兼容的 yield biu.Request(url="https://www.douban.com/group/explore/tech?start={}".format(i), method="GET", headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}, callback=self.parse) def parse(self, resp): ## biu.Response 和 requests 的那个差不多，加了几个选择器上去 for item in resp.xpath('//*[@id="content"]/div/div[1]/div[1]/div'): yield { "title": item.xpath("div[2]/h3/a/text()").extract_first(), "url": item.xpath("div[2]/h3/a/@href").extract_first(), "abstract": item.css("p::text").extract_first() } # return 或者 yield 一个 dict, 就会当作结果传到result_handler里进行处理 def result_handler(self, rv): print("get result:", rv) # 在这把你的结果存了 biu.run(MySpider(concurrent=3, interval=0.2, max_retry=5)) ``` %prep %autosetup -n Biu-0.2.5 %build %py3_build %install %py3_install install -d -m755 %{buildroot}/%{_pkgdocdir} if [ -d doc ]; then cp -arf doc %{buildroot}/%{_pkgdocdir}; fi if [ -d docs ]; then cp -arf docs %{buildroot}/%{_pkgdocdir}; fi if [ -d example ]; then cp -arf example %{buildroot}/%{_pkgdocdir}; fi if [ -d examples ]; then cp -arf examples %{buildroot}/%{_pkgdocdir}; fi pushd %{buildroot} if [ -d usr/lib ]; then find usr/lib -type f -printf "/%h/%f\n" >> filelist.lst fi if [ -d usr/lib64 ]; then find usr/lib64 -type f -printf "/%h/%f\n" >> filelist.lst fi if [ -d usr/bin ]; then find usr/bin -type f -printf "/%h/%f\n" >> filelist.lst fi if [ -d usr/sbin ]; then find usr/sbin -type f -printf "/%h/%f\n" >> filelist.lst fi touch doclist.lst if [ -d usr/share/man ]; then find usr/share/man -type f -printf "/%h/%f.gz\n" >> doclist.lst fi popd mv %{buildroot}/filelist.lst . mv %{buildroot}/doclist.lst . %files -n python3-Biu -f filelist.lst %dir %{python3_sitelib}/* %files help -f doclist.lst %{_docdir}/* %changelog * Mon May 29 2023 Python_Bot - 0.2.5-1 - Package Spec generated