AIGC宇宙 AIGC宇宙

GPU

性能提升、成本降低，这是分布式强化学习算法最新研究进展

性能提升、成本降低，这是分布式强化学习算法最新研究进展
深度强化学习（Deep Reinforcement Learning，DRL）是一种公认的解决连续决策问题的有效技术。为了应对 DRL 的数据低效（data inefficiency）问题，受到分布式机器学习技术的启发，分布式深度强化学习 (distributed deep reinforcement learning，DDRL) 已提出并成功应用于计算机视觉和自然语言处理领域。有观点认为，分布式强化学习是深度强化学习走向大规模应用、解决复杂决策空间和长期规划问题的必经之路。分布式强化学习是一个综合的研究子领域，需
2/15/2024 5:27:00 PM
机器之心
4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%
机器之心报道机器之心编辑部PowerInfer 使得在消费级硬件上运行 AI 更加高效。上海交大团队，刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。项目地址：：？在运行 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上，PowerInfer 对比 llama.cpp 实现了 11 倍加速！PowerInfer 和 llama.cpp 都在相同的硬件上运行，并充分利用了 RTX 4090 上的 VRAM。在单个 NVIDIA RTX 4090 GPU
12/20/2023 6:01:00 PM
机器之心
思考一下，联邦学习可以训练大语言模型吗？

思考一下，联邦学习可以训练大语言模型吗？
满足在垂直领域中的应用需求，能用联邦学习训练LLM吗？
7/10/2023 2:34:00 PM
机器之心
DeepSpeed ZeRO++：降低4倍网络通信，显著提高大模型及类ChatGPT模型训练效率

DeepSpeed ZeRO++：降低4倍网络通信，显著提高大模型及类ChatGPT模型训练效率
。ZeRO++ 相比 ZeRO 将总通信量减少了 4 倍，而不会影响模型质量。
6/24/2023 12:51:00 PM
机器之心