最新文章
-
使用DrissionPage无头模式采集网页信息
大概记录一下：#coding:utf8"""@authorNemo@time2024/04/2000:06"""importtimefromDrissionPageimportChromiumPage,ChromiumOptionsdefget_ua():"""获取浏览原始UA:return:"""co=ChromiumOptions()#无头模式co.headless()co.set_argum
阅读更多Nemo 2024.04.21 22:26 51浏览 0回复
-
Python Selenium获取浏览器中的网咯请求响应
使用Selenium模拟操作浏览器时，除了界面上展示的内容，有时候也需要关心一些浏览器中发送的浏览器请求，毕竟其中某些请求的结果数据并不会展示到界面上，但是又跟实际采集业务相关。在高版本（4.x）的Selenium中可以直接开启性能日志即可：fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium
阅读更多 -
解决pip安装库时提示UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 72: illegal multibyte sequence
基本都是在mac上做开发，偶尔切换到windows上写写代码，安装依赖包就出了问题。UnicodeDecodeError:'gbk'codeccan'tdecodebyte0xaainposition72:illegalmultibytesequence操作系统是win11，尝试了设置系统环境变量PYTHONUTF8及调整lib\site-packages\pip_internal\utils\e
阅读更多 -
Python print如何一行覆盖输出？
简单记录下：importtimeforiinrange(100):time.sleep(0.4)#这种方式可以避免输出内容刷屏print('\r','count:'+str(i),end='')
阅读更多 -
scrapy爬虫框架学习
安装过程？--->>需要有python环境(3.8+)pipinstallScrapy使用 Scrapy命令创建一个项目scrapystartprojectmySpider创建成功后，如下提示：cdyourproject#scrapygenspider[baidubaidu.com]baidu解释：名为什么的爬虫，比如baidu爬虫，baidu.com就是目标站点完整命令如下
阅读更多LEEYANGY 2023.03.25 21:42 6396浏览 0回复
-
Java & Python 里的泛型
泛型是Java里头比较有意思且有用的一个东西了。一个简单的例子：publicstaticIntegerparse(Integera1,Integera2){if(a1.equals(a2)){returna1;}returna2;}publicstaticFloatparse(Floata1,Floata2){if(a1.equals(a2)){returna1;}returna2;}可以看到，两
阅读更多 -
python Selenium 操作工具封装：反反爬虫+内存管理
近期在玩一些爬虫类的东西，其中需要用到Selenium。稍微简单封装了个Selenium操作工具，后续很可能会用得上，所以这里简单记录下。这里的封装主要做了两个事情：强制单线程执行Selenium防止内存溢出+浏览器管理，加入Selenium指纹特征屏蔽防止被检测。#coding:utf8"""selenium操作工具@authorNemo@time2022/05/1711:46"""import
阅读更多 -
如何开发一个自己的Python组件？
python开发里面，用的比较多的可能就是pip了，比如要操作数据库那么就需要用到pymysql：$pipinstallpymysql这里的pymysql，就是由其他组织开发的组件，这个组件放在一些公共仓库，方便开发者直接下载。举一个场景：公司的业务里面，好几个项目，有一块公共逻辑在这几个项目里面都要用到，那么你要怎么管理这块公共逻辑呢？几个项目里面同时冗余这个公共逻辑吗？要修改逻辑的时候，几个项
阅读更多 -
nexus 搭建python私服：私有pip组件库
最近在搭建公司自己的python私有组件库，简单做一下记录：1、安装nexus。过程就不赘述了。2、nexus新建仓库：proxy（其他源代理仓库），设置其中的代理仓库，这里使用的是阿里云的；hosted（自主推送pip包存放仓库）；group（主访问仓库，可以访问其他仓库）。3、本地配置pip源：$vim~/.pip/pip.conf添加/修改配置：[global]index_url=http:
阅读更多 -
Mac下 pip3 安装 mysqlclient
Mac使用pip3安装mysqlclient：$pip3installmysqlclient得到如下提示：ERROR:Couldnotfindaversionthatsatisfiestherequirementmysqlclient(fromversions:1.3.0,1.3.1,1.3.2,1.3.3,1.3.4,1.3.5,1.3.6,1.3.7,1.3.8,1.3.9,1.3.10,1.
阅读更多 -
python 使用 virtualenv 管理虚拟环境
为啥要用virtualenv？每个项目都会有自己的一套依赖库，可能并不相同，甚至还有可能存在各种版本上的差异。为了避免因为环境导致的各种问题，最好给每个项目分配一个相互独立、隔离的虚拟环境。怎么安装virtualenv？$pipinstallvirtualenv或者$pip3installvirtualenv怎么创建虚拟环境？$virtualenv-ppython执行文件路径虚拟环境名例如，有一个
阅读更多 -
pip 安装greenlet，提示：clang: error: invalid version number in 'MACOSX_DEPLOYMENT_TARGET=11.1'
pip安装greenlet的时候，得到了以下提示：Buildingwheelsforcollectedpackages:greenletBuildingwheelforgreenlet(setup.py)...errorERROR:Commanderroredoutwithexitstatus1:command:/System/Library/Frameworks/Python.framework
阅读更多 -
Mac 下安装virtualenv： WARNING: The script virtualenv is installed in '/Users//Library/Python/3.7/bin' which is not on PATH
最近切换到Python做开发，使用到虚拟环境。使用电脑是macbook。安装如下：%pip3installvirtualenv安装的最后有一个警告提示：WARNING:Thescriptvirtualenvisinstalledin'/Users/xxx/Library/Python/3.7/bin'whichisnotonPATH.ConsideraddingthisdirectorytoPAT
阅读更多 -
python爬取天气
获取天气情况用到的模块有：re，requests，time大体思路：(1)首先找到目标网站，向该网站发送请求，得到响应内容(2)通过re模块对获得的响应内容进行筛选(也可以是美汤)(3)一周后查找天气情况，再次筛选importreimportrequestsimporttime defget_url(): try: &n
阅读更多
Datehoer
2020.11.08 22:11
15859浏览
0回复
-
PyCharm pro for Mac(Python开发工具)v2020.2.3 中文版
PyCharmproforMac一款拥有强大智能编辑功能的pythonide开发工具，相比于同类的ide开发工具所具备的功能，远程开发很好的帮助了用户进行项目的协同开发操作，通过远程解释器，集成的ssh终端，Docker和Vagrant集成，在远程主机或虚拟机上运行，调试，测试和部署应用程序，完善的解决了项目集成开发过程中的困扰，同时软件拥有更容易配置且基于SSH的Python解释器，为web开发
阅读更多夏天的风 2020.10.01 14:20 16014浏览 0回复