Nemo

关注TA

路漫漫其修远兮，吾将上下而求索。

普罗旺斯
负责帅就完事了
写了1,496,113字

标签 > 标签文章：#python# (共有28文章)

使用DrissionPage无头模式采集网页信息

大概记录一下：#coding:utf8"""@authorNemo@time2024/04/2000:06"""importtimefromDrissionPageimportChromiumPage,ChromiumOptionsdefget_ua():"""获取浏览原始UA:return:"""co=ChromiumOptions()#无头模式co.headless()co.set_argum

800 0 2024-04-21 22:26
Python Selenium获取浏览器中的网咯请求响应

使用Selenium模拟操作浏览器时，除了界面上展示的内容，有时候也需要关心一些浏览器中发送的浏览器请求，毕竟其中某些请求的结果数据并不会展示到界面上，但是又跟实际采集业务相关。在高版本（4.x）的Selenium中可以直接开启性能日志即可：fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium

2,289 0 2024-01-18 10:43
解决pip安装库时提示UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 72: illegal multibyte sequence

基本都是在mac上做开发，偶尔切换到windows上写写代码，安装依赖包就出了问题。UnicodeDecodeError:'gbk'codeccan'tdecodebyte0xaainposition72:illegalmultibytesequence操作系统是win11，尝试了设置系统环境变量PYTHONUTF8及调整lib\site-packages\pip_internal\utils\e

4,631 0 2023-09-01 14:45
Python print如何一行覆盖输出？

简单记录下：importtimeforiinrange(100):time.sleep(0.4)#这种方式可以避免输出内容刷屏print('\r','count:'+str(i),end='')

5,992 2 2023-06-11 19:13
Java & Python 里的泛型

泛型是Java里头比较有意思且有用的一个东西了。一个简单的例子：publicstaticIntegerparse(Integera1,Integera2){if(a1.equals(a2)){returna1;}returna2;}publicstaticFloatparse(Floata1,Floata2){if(a1.equals(a2)){returna1;}returna2;}可以看到，两

12,516 1 2022-07-05 14:51
python Selenium 操作工具封装：反反爬虫+内存管理

近期在玩一些爬虫类的东西，其中需要用到Selenium。稍微简单封装了个Selenium操作工具，后续很可能会用得上，所以这里简单记录下。这里的封装主要做了两个事情：强制单线程执行Selenium防止内存溢出+浏览器管理，加入Selenium指纹特征屏蔽防止被检测。#coding:utf8"""selenium操作工具@authorNemo@time2022/05/1711:46"""import

13,404 0 2022-06-10 16:27
nexus 搭建python私服：私有pip组件库

最近在搭建公司自己的python私有组件库，简单做一下记录：1、安装nexus。过程就不赘述了。2、nexus新建仓库：proxy（其他源代理仓库），设置其中的代理仓库，这里使用的是阿里云的；hosted（自主推送pip包存放仓库）；group（主访问仓库，可以访问其他仓库）。3、本地配置pip源：$vim~/.pip/pip.conf添加/修改配置：[global]index_url=http:

16,273 1 2021-12-30 16:46
如何开发一个自己的Python组件？

python开发里面，用的比较多的可能就是pip了，比如要操作数据库那么就需要用到pymysql：$pipinstallpymysql这里的pymysql，就是由其他组织开发的组件，这个组件放在一些公共仓库，方便开发者直接下载。举一个场景：公司的业务里面，好几个项目，有一块公共逻辑在这几个项目里面都要用到，那么你要怎么管理这块公共逻辑呢？几个项目里面同时冗余这个公共逻辑吗？要修改逻辑的时候，几个项

16,264 4 2021-12-03 16:01
Java/Python3/Go语法简单对比

1、HelloworldjavapublicclassHelloWorld{publicstaticvoidmain(Stringargs[]){System.out.println("Helloworld!");}}pythonprint("Helloworld!");Gopackagemainimport"fmt"funcmain(){fmt.Println("Helloworld!")}Go

16,740 0 2021-08-31 11:26
Java与Python3语法简单对比

1、Helloworldjava：publicclassHelloWorld{publicstaticvoidmain(Stringargs[]){System.out.println("Helloworld!");}}python:print("Helloworld!");2、行代码标记结束java:System.out.println("Helloworld!");python:print("

1,838 0 2018-09-12 11:24
python 使用 virtualenv 管理虚拟环境

为啥要用virtualenv？每个项目都会有自己的一套依赖库，可能并不相同，甚至还有可能存在各种版本上的差异。为了避免因为环境导致的各种问题，最好给每个项目分配一个相互独立、隔离的虚拟环境。怎么安装virtualenv？$pipinstallvirtualenv或者$pip3installvirtualenv怎么创建虚拟环境？$virtualenv-ppython执行文件路径虚拟环境名例如，有一个

16,841 0 2021-07-07 11:34
Mac下 pip3 安装 mysqlclient

Mac使用pip3安装mysqlclient：$pip3installmysqlclient得到如下提示：ERROR:Couldnotfindaversionthatsatisfiestherequirementmysqlclient(fromversions:1.3.0,1.3.1,1.3.2,1.3.3,1.3.4,1.3.5,1.3.6,1.3.7,1.3.8,1.3.9,1.3.10,1.

18,746 2 2021-07-06 19:16
pip 安装greenlet，提示：clang: error: invalid version number in 'MACOSX_DEPLOYMENT_TARGET=11.1'

pip安装greenlet的时候，得到了以下提示：Buildingwheelsforcollectedpackages:greenletBuildingwheelforgreenlet(setup.py)...errorERROR:Commanderroredoutwithexitstatus1:command:/System/Library/Frameworks/Python.framework

17,148 0 2021-07-06 14:15
Mac 下安装virtualenv： WARNING: The script virtualenv is installed in '/Users//Library/Python/3.7/bin' which is not on PATH

最近切换到Python做开发，使用到虚拟环境。使用电脑是macbook。安装如下：%pip3installvirtualenv安装的最后有一个警告提示：WARNING:Thescriptvirtualenvisinstalledin'/Users/xxx/Library/Python/3.7/bin'whichisnotonPATH.ConsideraddingthisdirectorytoPAT

17,003 0 2021-07-06 11:15
Python：批量获取并保存手机号的归属地和运营商

从Excel读取一组手机号码，批量查询该手机号码的运营商和归属地，并将其追加到该记录的末尾。importrequestsimportjsonimportxlrdfromxlutils.copyimportcopyhost='https://cx.shouji.360.cn/phonearea.php'#excel文件路径file_path="F:\\temp.xlsx"#新文件路径new_file

16,452 0 2020-09-23 16:44
mac下pip3使用豆瓣源

1、在用户目录下新建.pip目录。$mkdir-p~/.pip2、在.pip目录下，新建pip.conf文件。$cd~/.pip/&&vimpip.conf3、在pip.conf中添加如下内容：[global]index-url=http://pypi.douban.com/simple/[install]trusted-host=pypi.douban.com这时候使用pip安装

15,104 0 2020-07-31 23:15
Java爬虫与Python爬虫：爬取百度实时热点

Python:importrequestsfrombs4importBeautifulSoupurl='http://top.baidu.com/buzz?b=1&fr=topbuzz_b1'save_path='hot_python.txt'if__name__=='__main__':content=requests.get(url).contentsoup=BeautifulSoup......

3,773 0 2018-11-19 17:30
Python socket模拟一次http请求

importsocket#发送的http包头header_send=b'GET/nav/blogHTTP/1.1\r\nHost:%s\r\nConnection:close\r\n\r\n'#目的地址ip_dst='www.link-nemo.com'#目的端口port_dst=80defconnect():s=socket.socket(socket.AF_INET,socket.SOCK_S......

11,816 0 2019-07-11 12:29
python网络编程调用recv函数完整接收数据的三种方法

1.基础数据接收法：　　　使用基础数据接收法时，当与服务socket断开连接时，会接收到空字符串。因此，可以根据此特点，在程序中加入循环，一直接收数据，直到数据发送端关闭socket连接。适用场景：客户端和服务器的链接为短链接（即一次socket通讯后连接就会关闭）。代码如下：importsocket,struct,sys,timePort=22220#assumeasocketdisconnec......

5,755 0 2019-07-09 20:16
用Python写一个简易的静态文件 web容器

importsocketimportrefrommultiprocessingimportProcessHOME_DIR='.\html'classMyWeb(object):"""创建web类"""def__init__(self):"""创建server对象"""self.server=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#重复使用绑......

10,497 1 2019-07-08 19:12