-
使用DrissionPage无头模式采集网页信息
大概记录一下:#coding:utf8"""@authorNemo@time2024/04/2000:06"""importtimefromDrissionPageimportChromiumPage,ChromiumOptionsdefget_ua():"""获取浏览原始UA:return:"""co=ChromiumOptions()#无头模式co.headless()co.set_argum1,138 0 2024-04-21 22:26
-
Python Selenium获取浏览器中的网咯请求响应
使用Selenium模拟操作浏览器时,除了界面上展示的内容,有时候也需要关心一些浏览器中发送的浏览器请求,毕竟其中某些请求的结果数据并不会展示到界面上,但是又跟实际采集业务相关。在高版本(4.x)的Selenium中可以直接开启性能日志即可:fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium2,600 0 2024-01-18 10:43
-
解决pip安装库时提示UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 72: illegal multibyte sequence
基本都是在mac上做开发,偶尔切换到windows上写写代码,安装依赖包就出了问题。UnicodeDecodeError:'gbk'codeccan'tdecodebyte0xaainposition72:illegalmultibytesequence操作系统是win11,尝试了设置系统环境变量PYTHONUTF8及调整lib\site-packages\pip_internal\utils\e4,892 0 2023-09-01 14:45
-
Python print如何一行覆盖输出?
6,381 2 2023-06-11 19:13
-
单元测试编码规范
以下摘取自阿里巴巴java编码规范第三章-单元测试:强制1.好的单元测试必须遵守AIR原则。A:Automatic(自动化),I:Independent(独立性),R:Repeatable(可重复)2.单元测试应该是全自动执行的,并且非交互式的。测试用例通常是被定期执行的,执行过程必须完全自动化才有意义。输出结果需要人工检查的测试不是一个好的单元测试。单元测试中不准使用System.out来进行人11,379 0 2022-08-18 20:00
-
浅谈代码覆盖率
前言最近在重新学习单元测试方面的东西,无意间爬到有赞技术团队总结的这篇文章,反复读了几遍,有种醍醐灌顶的感觉。同时看了不少有赞总结的其他技术文章,虽然没有每个文章都细读,但是总也是受益颇多,由衷感谢写这些文章的作者!推荐收藏有赞技术团队网址:https://tech.youzan.com。以下是文章正文。引言经常有人问这样的问题:“我们在做单元测试,那测试覆盖率要到多少才行?”。答案其实很简答,“11,549 0 2022-08-16 11:06
-
Java & Python 里的泛型
泛型是Java里头比较有意思且有用的一个东西了。一个简单的例子:publicstaticIntegerparse(Integera1,Integera2){if(a1.equals(a2)){returna1;}returna2;}publicstaticFloatparse(Floata1,Floata2){if(a1.equals(a2)){returna1;}returna2;}可以看到,两12,797 1 2022-07-05 14:51
-
python Selenium 操作工具封装:反反爬虫+内存管理
近期在玩一些爬虫类的东西,其中需要用到Selenium。稍微简单封装了个Selenium操作工具,后续很可能会用得上,所以这里简单记录下。这里的封装主要做了两个事情:强制单线程执行Selenium防止内存溢出+浏览器管理,加入Selenium指纹特征屏蔽防止被检测。#coding:utf8"""selenium操作工具@authorNemo@time2022/05/1711:46"""import13,698 0 2022-06-10 16:27
-
nexus 搭建python私服:私有pip组件库
最近在搭建公司自己的python私有组件库,简单做一下记录:1、安装nexus。过程就不赘述了。2、nexus新建仓库:proxy(其他源代理仓库),设置其中的代理仓库,这里使用的是阿里云的;hosted(自主推送pip包存放仓库);group(主访问仓库,可以访问其他仓库)。3、本地配置pip源:$vim~/.pip/pip.conf添加/修改配置:[global]index_url=http:16,559 1 2021-12-30 16:46
-
如何开发一个自己的Python组件?
python开发里面,用的比较多的可能就是pip了,比如要操作数据库那么就需要用到pymysql:$pipinstallpymysql这里的pymysql,就是由其他组织开发的组件,这个组件放在一些公共仓库,方便开发者直接下载。举一个场景:公司的业务里面,好几个项目,有一块公共逻辑在这几个项目里面都要用到,那么你要怎么管理这块公共逻辑呢?几个项目里面同时冗余这个公共逻辑吗?要修改逻辑的时候,几个项16,506 4 2021-12-03 16:01
-
Java/Python3/Go语法简单对比
1、HelloworldjavapublicclassHelloWorld{publicstaticvoidmain(Stringargs[]){System.out.println("Helloworld!");}}pythonprint("Helloworld!");Gopackagemainimport"fmt"funcmain(){fmt.Println("Helloworld!")}Go16,927 0 2021-08-31 11:26
-
CentOS7防火墙端口开放
查看当前已经开放的端口:firewall-cmd--list-ports开启端口,以80端口为例:firewall-cmd--zone=public--add-port=80/tcp--permanent重启防火墙:firewall-cmd--reload其他指令:#关闭防火墙firewallsystemctlstopfirewalld.service#关闭防火墙开机启动firewallsuste16,854 0 2021-08-20 10:19
-
Intellij IDEA配置golang环境
最近有一些工作需要用到Golang做开发,所以需要配置一个golang开发用的IDE。原本考虑到某个项目里同时存在Golang和Python两种开发语言,所以决定使用vscode作为开发工具。但是实际使用了一阵子vscode,感觉vscode和平时做java和python时候用的IDEA和PyCharm在使用上相去甚远,使用了一段时间后仍然不能习惯,所以考虑切换回IntelliJ家的产品。以前玩安16,869 0 2021-08-05 11:06
-
Visual Studio Code下载包失败,代理网址无法访问:proxy.golang.org
最近需要同时使用python和go做一些开发,为了方便开发,所以需要切换到VisualStudioCode。在使用过程中,需要给VisualStudioCode安装一些插件,然后一直都是如下提示:go:golang.org/x/exp@v0.0.0-20190731235908-ec7cb31e5a56:Get"https://proxy.golang.org/golang.org/x/exp/@16,934 0 2021-07-13 18:18
-
python 使用 virtualenv 管理虚拟环境
为啥要用virtualenv?每个项目都会有自己的一套依赖库,可能并不相同,甚至还有可能存在各种版本上的差异。为了避免因为环境导致的各种问题,最好给每个项目分配一个相互独立、隔离的虚拟环境。怎么安装virtualenv?$pipinstallvirtualenv或者$pip3installvirtualenv怎么创建虚拟环境?$virtualenv-ppython执行文件路径虚拟环境名例如,有一个17,042 0 2021-07-07 11:34