标签文章：#pytorch#
-
PyTorch 2.2 大更新：集成 FlashAttention-2，性能提升 2 倍
新的一年，PyTorch也迎来了重大更新，PyTorch2.2集成了FlashAttention-2和AOTInductor等新特性，计算性能翻倍。继去年十月份的PyTorch大会发布了2.1版本之后，全世界各地的521位开发者贡献了3628个提交，由此形成了最新的PyTorch2.2版本。新的版本集成了FlashAttention-2，使得scaled_dot_product_attention
阅读更多Echo 2024.02.03 20:23 86浏览 0回复
-
科大讯飞：华为昇腾 910B 能力基本可对标英伟达 A100，正合力打造我国通用人工智能新底座
IT之家10月22日消息，今年第三季度，科大讯飞实现净利润2579万元，同比下降81.86%；前三季度净利润9936万元，同比下降76.36%。科大讯飞副总裁江涛在Q3业绩说明会上透露，讯飞已于2023年初与华为昇腾启动专项攻关，与华为联合研发高性能算子库，合力打造我国通用人工智能新底座，让国产大模型架构在自主创新的软硬件基础之上。他指出，目前华为昇腾910B能力已经基本做到可对标英伟达A100。
阅读更多 -
华为成为中国首个 PyTorch 基金会最高级别会员
IT之家10月18日消息，PyTorch基金会官网今日宣布，华为加入PyTorch基金会，成为中国首个、全球第十个PyTorch最高级别Premier会员。官方博客称，华为长期以来一直是PyTorch生态系统的支持者和贡献者，通过推进多样性算力支持与改进，帮助更多厂商后端能够更加轻松地接入PyTorch生态，并积极致力于PyTorch优化，从而充分释放昇腾的算力。PyTorch社区最新发布的2.1
阅读更多 -
PyTorch 统治学术论文，TensorFlow 只占 4%
原文标题：《PyTorch统治学术论文，TensorFlow只占4%，LeCun：还能为啥？》“对于Python而言，为什么TensorFlow正在慢慢死去？”这篇观点尖锐的文章一出，就被LeCun的转发推向风口浪尖：还能为啥，当然是因为PyTorch啊。紧接着“PyTorch和TensorFlow谁更好？”这个经久不息的论战再次被掀起，网友们也纷纷开始从文章中找到共鸣、或予以反驳。有Tensor
阅读更多 -
PyTorch 安装包出问题，官方警告：这些 Linux 用户请立即卸载，否则会遭数据泄漏
“所有在2022年12月25日至12月30日期间，在Linux系统安装了PyTorch-nightly（每日更新版）的用户，请立即卸载！”上述消息来自PyTorch官方的一则最新声明。据官方透露，他们刚刚识别出一个与框架的“torchtriton”库同名的恶意依赖项，该依赖项在PyPI代码库上被破坏，并运行恶意二进制文件。攻击者试图窃取用户IP地址、当前工作目录等敏感数据并上传到指定地址，相关恶意
阅读更多 -
一行代码，炼丹 2 倍速！PyTorch 2.0 惊喜问世，LeCun 激情转发
现在，只需添加一行代码，PyTorch2.0就能让你在训练Transformer模型时，实现1.5倍-2倍的速度提升！12月2日，PyTorch2.0正式发布！这次的更新不仅将PyTorch的性能推到了新的高度，同时也加入了对动态形状和分布式的支持。此外，2.0系列还会将PyTorch的部分代码从C++移回Python。目前，PyTorch 2.0还处在测试阶段，预计第一个稳定版本会在2
阅读更多 -
AMD 宣布加入新 PyTorch 基金会，成为创始成员
IT之家9月16日消息，据AMD官方消息，AMD现已加入新成立的PyTorch基金会并成为创始成员。该基金会将作为非营利性Linux基金会的一部分，并通过最初由Meta创建并支持的机器学习（ML）软件框架PyTorch来促进和维持一个开源项目生态系统，以推动人工智能（AI）工具的采用。AMD表示，作为创始成员，AMD与业界其他公司一起，优先考虑促进PyTorch活跃社区的持续增长。在AMDROCm
阅读更多 -
扎克伯格把 PyTorch 捐了，已归入 Linux 基金会
最新消息，PyTorch现在已经从Meta“独立”出来了。扎克伯格亲自宣布，PyTorch基金会已新鲜成立，并归入Linux基金会旗下。其管理委员会成员，包括Meta、AMD、AWS、谷歌云、微软和英伟达。Meta表示：PyTorch成功背后的驱动力，是开源社区充满活力的持续增长。成立基金会，将确保在今后许多年中，社区成员以透明和公开的方式作出决定。为啥要成立PyTorch基金会？核心就是两个字：
阅读更多 -
不止 CPU，苹果 M1 Mac 现已支持在 PyTorch 训练中用 GPU 加速
一直以来，Pytorch在Mac上仅支持使用CPU进行训练。就在刚刚，Pytorch官方宣布，其最新版v1.12可以支持GPU加速了。只要是搭载了M1系列芯片的Mac都行。这也就意味着在Mac本机用Pytorch“炼丹”会更方便了！训练速度可提升约7倍此功能由Pytorch与Apple的Metal工程团队合作推出。它使用Apple的MetalPerformanceShaders(MPS)作为PyT
阅读更多 -
PyTorch 迎来 5 岁生日，创始人带领大一实习生开发：没想到会这么成功！
本周，PyTorch迎来了自己的5岁生日，官方发布可一条Twitter庆祝。今天是PyTorch公开发布5周年！我们没想到会走这么远，但我们现在达成了这些成就——2000贡献者，9万项目，GitHub上390万行“importtorch”。你细看，官方推文还复古了一把，图片里用上了5年前的原始Logo。追忆5年前，首个公开版PyTorch还不支持Windows，Python最新版还是3.5，当时苹
阅读更多 -
一行代码消除 PyTorch 的 CUDA 内存溢出报错，这个 GitHub 项目刚发布就揽星 600+
多少人用PyTorch“炼丹”时都会被这个bug困扰。CUDA error: out of memory.一般情况下，你得找出当下占显存的没用的程序，然后kill掉。如果不行，还需手动调整batchsize到合适的大小，有点麻烦。现在，有人写了一个PyTorchwrapper，用一行代码就能“无痛”消除这个bug。有多厉害？相关项目在GitHub才发布没几天
阅读更多 -
用上 Pytorch Lightning 这六招，深度学习 pipeline 可提速 10 倍
面对数以亿计的图片数据，到底该用什么样的方法才能快速搞实验？这样的问题，或许在做机器学习研究的你，也会经常遇到。而就在最近，一个国外小哥就提出了一种建议：在Pytorchlightning基础上，让深度学习pipeline速度提升10倍！用他自己的话来说就是——“爬楼时像给了你一个电梯”。这般“酸爽”，到底是如何做到的呢？优化机器学习pipeline，很重要无论你是身处学术界还是工业界，时间和资源
阅读更多 -
2019数据科学家最需要的技能盘点：Python大火，Pytorch职位需求翻番
2018年medium上一篇博文分析了数据科学家最需要的技能，那篇文章引起了很大的反响，在medium上有超过11000次点赞，并被翻译成几种语言，成为了2018年11月KDNuggets最受欢迎的文章。一年多过去了，2019的作者也发布了最新的分析，让我们看看有什么变化。2018年的文章考察了对统计和沟通交流等一般技能的需求以及对Python和R等技术的需求。软件技术的变化一定快于一般技能需求上......
阅读更多 -
2019机器学习框架之争：与TensorFlow竞争白热化，进击的PyTorch赢在哪里？
2019年，机器学习框架之争进入了新阶段：PyTorch与TensorFlow成为最后两大玩家，PyTorch占据学术界领军地位，TensorFlow在工业界力量依然强大，两个框架都在向对方借鉴，但是都不太理想。最后谁能胜出？还得看谁更好的回答几个关键问题。来自康奈尔大学的HoraceHe刚刚在Gradient发布了一篇长文探讨2019年的两大机器学习框架之争，他论述了PyTorch和Tensor......
阅读更多