189
不建议任何人关注。 除非单独标明，频道所有原创内容均以 CC-BY-NC-SA 4.0 协议发布，欢迎带源或不带源转发。
所以如果硬要在 32g 的 v100 上 finetune llama2 的话，记得在每个loop最后 optimizer.zero_grad(set_to_none=True) 来free掉梯度占的显存
眼馋集群里一堆powerpc架构但是有很多显卡的机器，于是折腾了一下午试图编译pytorch，现在编译跑起来了
Читать полностью…
/channel/TestFlightCN/21161
乐死
> I'm disappointed. I know someone from OpenAI is reading this. You had the golden opportunity to give us Rick Astley poems and you give us cats.
有(la)tex大佬知道怎么在双栏的文档里把宽表格放在当前页吗😭
怎么试都只能放在下一页，这样appendix的第一页会除了section title之外空出来😭
最后这只 吃自己的竹子 挑了好几根 感觉不好吃 然后走到他妹妹旁边一把把他妹妹手里的竹子抢过来吃了哈哈哈哈
Читать полностью…
突然想试一下，如果把现在的 全新安装的比如ubuntu 的时间调到2038年之后 会发生什么
哪些东西会不work
说起来，前两天跑 llama2 7b 的时候碰到的错误是，（在算梯度的情况下）只能forward运算一次，在第二次运算就会OOM
仔细研究半天后发现，显存放得下 parameter + 计算梯度的中间量（第一次forward call后的memory占用）
也放得下 parameter + 梯度 （第一次 loss.backward() 后的memory占用）
但是放不下三者之和 （第二次 forward call后的内存占用）
往年phd network 会组织 apple picking 团建
感觉应该组织 cherry picking 团建，毕竟这才是科研核心技巧（不是
https://jyywiki.cn/OS/2023/build/lect1.ipynb.html
强推jyy老师的操作系统课
GPT 3.5 turbo 20B的这个量级的参数量，无论是从inference latency还是从价格上来看，都差不多符合预期
Читать полностью…
stfloats可以把他放到当前页
但是只能在 Appendix 这个section title的前面