大概记录一下：#coding:utf8"""@authorNemo@time2024/04/2000:06"""importtimefromDrissionPageimportChromiumPage,ChromiumOptionsdefget_ua():"""获取浏览原始UA:return:"""co=ChromiumOptions()#无头模式co.headless()co.set_argum

使用Selenium模拟操作浏览器时，除了界面上展示的内容，有时候也需要关心一些浏览器中发送的浏览器请求，毕竟其中某些请求的结果数据并不会展示到界面上，但是又跟实际采集业务相关。在高版本（4.x）的Selenium中可以直接开启性能日志即可：fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium

基本都是在mac上做开发，偶尔切换到windows上写写代码，安装依赖包就出了问题。UnicodeDecodeError:'gbk'codeccan'tdecodebyte0xaainposition72:illegalmultibytesequence操作系统是win11，尝试了设置系统环境变量PYTHONUTF8及调整lib\site-packages\pip_internal\utils\e

简单记录下：importtimeforiinrange(100):time.sleep(0.4)#这种方式可以避免输出内容刷屏print('\r','count:'+str(i),end='')

泛型是Java里头比较有意思且有用的一个东西了。一个简单的例子：publicstaticIntegerparse(Integera1,Integera2){if(a1.equals(a2)){returna1;}returna2;}publicstaticFloatparse(Floata1,Floata2){if(a1.equals(a2)){returna1;}returna2;}可以看到，两

近期在玩一些爬虫类的东西，其中需要用到Selenium。稍微简单封装了个Selenium操作工具，后续很可能会用得上，所以这里简单记录下。这里的封装主要做了两个事情：强制单线程执行Selenium防止内存溢出+浏览器管理，加入Selenium指纹特征屏蔽防止被检测。#coding:utf8"""selenium操作工具@authorNemo@time2022/05/1711:46"""import

最近在搭建公司自己的python私有组件库，简单做一下记录：1、安装nexus。过程就不赘述了。2、nexus新建仓库：proxy（其他源代理仓库），设置其中的代理仓库，这里使用的是阿里云的；hosted（自主推送pip包存放仓库）；group（主访问仓库，可以访问其他仓库）。3、本地配置pip源：$vim~/.pip/pip.conf添加/修改配置：[global]index_url=http:

python开发里面，用的比较多的可能就是pip了，比如要操作数据库那么就需要用到pymysql：$pipinstallpymysql这里的pymysql，就是由其他组织开发的组件，这个组件放在一些公共仓库，方便开发者直接下载。举一个场景：公司的业务里面，好几个项目，有一块公共逻辑在这几个项目里面都要用到，那么你要怎么管理这块公共逻辑呢？几个项目里面同时冗余这个公共逻辑吗？要修改逻辑的时候，几个项

为啥要用virtualenv？每个项目都会有自己的一套依赖库，可能并不相同，甚至还有可能存在各种版本上的差异。为了避免因为环境导致的各种问题，最好给每个项目分配一个相互独立、隔离的虚拟环境。怎么安装virtualenv？$pipinstallvirtualenv或者$pip3installvirtualenv怎么创建虚拟环境？$virtualenv-ppython执行文件路径虚拟环境名例如，有一个

Mac使用pip3安装mysqlclient：$pip3installmysqlclient得到如下提示：ERROR:Couldnotfindaversionthatsatisfiestherequirementmysqlclient(fromversions:1.3.0,1.3.1,1.3.2,1.3.3,1.3.4,1.3.5,1.3.6,1.3.7,1.3.8,1.3.9,1.3.10,1.

pip安装greenlet的时候，得到了以下提示：Buildingwheelsforcollectedpackages:greenletBuildingwheelforgreenlet(setup.py)...errorERROR:Commanderroredoutwithexitstatus1:command:/System/Library/Frameworks/Python.framework

最近切换到Python做开发，使用到虚拟环境。使用电脑是macbook。安装如下：%pip3installvirtualenv安装的最后有一个警告提示：WARNING:Thescriptvirtualenvisinstalledin'/Users/xxx/Library/Python/3.7/bin'whichisnotonPATH.ConsideraddingthisdirectorytoPAT

从Excel读取一组手机号码，批量查询该手机号码的运营商和归属地，并将其追加到该记录的末尾。importrequestsimportjsonimportxlrdfromxlutils.copyimportcopyhost='https://cx.shouji.360.cn/phonearea.php'#excel文件路径file_path="F:\\temp.xlsx"#新文件路径new_file

1、在用户目录下新建.pip目录。$mkdir-p~/.pip2、在.pip目录下，新建pip.conf文件。$cd~/.pip/&&vimpip.conf3、在pip.conf中添加如下内容：[global]index-url=http://pypi.douban.com/simple/[install]trusted-host=pypi.douban.com这时候使用pip安装

importsocket#发送的http包头header_send=b'GET/nav/blogHTTP/1.1\r\nHost:%s\r\nConnection:close\r\n\r\n'#目的地址ip_dst='www.link-nemo.com'#目的端口port_dst=80defconnect():s=socket.socket(socket.AF_INET,socket.SOCK_S......