AIGC宇宙 AIGC宇宙

Token

实测OpenAI最新模型!亮点真的爽,坑点两行泪!解决GPT5顽疾!犀利吐槽:半发布的实验品,编程生态零件齐了,拼一块儿就散架

编辑 | 云昭出品 | 51CTO技术栈(微信号:blog51cto)今天凌晨 1 点,OpenAI 又搞了一件让开发者大呼过瘾的产品! 图片严格地说,这次的发布是一款新模型,而且是“半发布”:GPT-5-Codex。 这是一个在 GPT-5 基础上专门微调的版本,明确面向 OpenAI 的各种 AI 编程辅助工具。
9/16/2025 1:43:04 PM
云昭

GPT-5系统提示词突遭泄露,17803 token曝光OpenAI小心思!

新一版疑似GPT-5提示词,在GitHub上曝光了。 图片项目地址:(Tokenizer)中,提示词足足有17803 token,堪称「巨无霸」级别的指令。 图片这份文档出自Ásgeir Thor Johnson,他在Github上持续整理了几乎所有已经泄露的模型提示词。
8/25/2025 10:21:29 AM
新智元

IDC:未来五年,中国生成式 AI 相关硬件支出将激增至 330 亿元

根据国际数据公司(IDC)发布的最新统计数据,随着中国生成式 AI 技术的快速发展,相关的网络硬件支出预计将在未来五年内大幅增长,从2023年的65亿元上升至2028年的330亿元。 这一趋势主要源于大模型商用的快速落地,预计到2024年下半年,中国日均 Token 消耗量将呈现爆发式增长,达到114.2万亿 Tokens。 这一数据并不包括通过海外 MaaS 平台进行的调用量。
8/15/2025 4:21:10 PM
AI在线

大模型中的嵌入向量

前面文章和小伙伴们聊了 Tokenizer,经过 Tokenizer 之后,自然语言变为 Token,那么大模型就可以直接训练 Token 了嘛? 还不行! 接下来还有一个词嵌入的环境,英文就是 Embedding,Embedding 实际上就是将 Token 转为张量,在有的场景下,Embedding 也指张量本身。
7/30/2025 4:15:00 AM
江南一点雨

0 Token 间间隔 100% GPU 利用率,百度百舸 AIAK 大模型推理引擎极限优化 TPS

什么是大模型推理引擎大模型推理引擎是生成式语言模型运转的发动机,是接受客户输入 prompt 和生成返回 response 的枢纽,也是拉起异构硬件,将物理电能转换为人类知识的变形金刚。 大模型推理引擎的基本工作模式可以概括为,接收包括输入 prompt 和采样参数的并发请求,分词并且组装成 batch 输入给引擎,调度 GPU 执行前向推理,处理计算结果并转为词元返回给用户。 和人类大脑处理语言的机制类似,大模型首先会把输入的 prompt 进行统一理解,形成具有记忆能力的上下文。
1/8/2025 8:55:32 AM
LW

AMD 推出自家首款小语言 AI 模型“Llama-135m ”,主打“推测解码”能力可减少 RAM 占用

AMD 在 Huggingface 平台公布了自家首款“小语言模型”AMD-Llama-135m,该模型具有推测解码功能,拥有 6700 亿个 token,采用 Apache 2.0 开源许可,AI在线附模型地址如下(点此访问)。据介绍,这款模型主打“推测解码”能力,其基本原理是使用小型草稿模型生成一组候选 token,然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token,而不会影响性能,从而显著减少 RAM 占用,实现效率提升。AMD 表示,这款模型在四个 AMD Instinct MI25
9/29/2024 5:08:32 PM
漾仔

《Python机器学习》作者科普长文:从头构建类GPT文本分类器,代码开源

学起来吧!近日,机器学习研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又分享了一篇长文,主题为《从头开始构建一个 GPT 风格的 LLM 分类器》。文章展示了如何将预训练的大型语言模型(LLM)转化为强大的文本分类器。AI在线对文章内容进行了不改变原意的编译、整理:为什么要关注分类呢?首先,针对分类任务,对预训练模型进行微调是一个简单有效的 LLM 知识入门方式。其次,文本分类有许多商业应用场景,比如:垃圾邮件检测、情感分析、客户反馈分类、主题分类等等。阅读完本文,你将找到以下
9/28/2024 2:24:00 PM
机器之心

OpenAI o1 非 GPT-4o 直接进化,在成本与性能上妥协

9 月 14 日消息,OpenAI 已经推出了新模型 OpenAI o1 的两大变体 ——o1-preview 与 o1-mini,这两款模型都有许多值得深入探讨的内容。人工智能专家西蒙・威利森(Simon Willison)专门发文,深入剖析了这些新模型背后的设计理念与实现细节,揭示了它们在技术上的独特优势与不足。威利森表示,o1 并不是简单的 GPT-4o 直接升级版,而是在强化“推理”能力的同时,做出了成本与性能上的权衡。1. 训练思维链OpenAI 的声明是一个很好的起点:“我们研发了一系列新型人工智能模型
9/14/2024 10:40:51 PM
小小

大模型智障检测 + 1:Strawberry 有几个 r 纷纷数不清,最新最强 Llama3.1 也傻了

继分不清 9.11 和 9.9 哪个大以后,大模型又“集体失智”了!数不对单词“Strawberry”中有几个“r”,再次引起一片讨论。GPT-4o 不仅错了还很自信。刚出炉的 Llama-3.1 405B,倒是能在验证中发现问题并改正。比较离谱的是 Claude 3.5 Sonnet,还越改越错了。说起来这并不是最新发现的问题,只是最近新模型接连发布,非常热闹。一个个号称自己数学涨多少分,大家就再次拿出这个问题来试验,结果很是失望。在众多相关讨论的帖子中,还翻出一条马斯克对此现象的评论:好吧,也许 AGI 比我想
7/26/2024 3:00:36 PM
清源

5亿个token之后,我们得出关于GPT的七条宝贵经验

ChatGPT 正确的使用姿势。自 ChatGPT 问世以来,OpenAI 一直被认为是全球生成式大模型的领导者。2023 年 3 月,OpenAI 官方宣布,开发者可以通过 API 将 ChatGPT 和 Whisper 模型集成到他们的应用程序和产品中。在 GPT-4 发布的同时 OpenAI 也开放了其 API。一年过去了,OpenAI 的大模型使用体验究竟如何,行业内的开发者怎么评价?最近,初创公司 Truss 的 CTO Ken Kantzer 发布了一篇题为《Lessons after a half-b
4/19/2024 4:08:00 PM
机器之心

连看好莱坞大片都学会了!贾佳亚团队用2token让大模型卷出新境界

家人们谁懂,连大模型都学会看好莱坞大片了,播放过亿的GTA6预告片大模型还看得津津有味,实在太卷了!而让LLM卷出新境界的办法简单到只有2token——将每一帧编码成2个词即可搞定。等等!这种大道至简的方法有种莫名的熟悉感。不错,又是出自香港中文大学贾佳亚团队。这是贾佳亚团队自8月提出主攻推理分割的LISA多模态大模型、10月发布的70B参数长文本开源大语言模型LongAlpaca和超长文本扩展术LongLoRA后的又一次重磅技术更新。而LongLoRA只需两行代码便可将7B模型的文本长度拓展到100k token
12/12/2023 3:14:00 PM
机器之心

Transformer速查宝典:模型、架构、训练方法的论文都在这里了

论文大合集,一篇文章就搞定。
8/14/2023 3:53:00 PM
机器之心
  • 1