请选择
进入手机版
|
继续访问电脑版
设为首页
收藏本站
导读
Guide
排行榜
Ranklist
打卡
游戏
有奖推广
登录
立即注册
数独
象棋
五子棋
游戏勋章
DisCoke
»
节点
›
社区广场
›
茶馆
›
Token定译"词元"
返回列表
发布新帖
Token定译"词元"
55
0
BoPoMo
Lv.1
发表于 2026-3-31 13:14:41
|
查看全部
阅读模式
马上登陆,轻松畅玩DC.
您需要
登录
才可以下载或查看,没有账号?
立即注册
×
Token定译"词元",我认为这是一次典型的学术抢注。
全国信息技术标准化委员会把token的中文定名为"词元",源头是NLP时代的旧译,但问题是:2026年的token早就不是2021年的token了。
当年token确实主要切的是"词"——英文拆词根词缀,中文拆字拆词,叫"词元",勉强说得通。
但今天呢?GPT-4o在处理图像,Sora在处理视频,音频、3D、蛋白质序列全都在被tokenize,请问一帧视频画面切出来的token,"词"在哪里?
一个已经溢出了"词"的边界的概念,你拿一个带"词"字的名字去框它,这不是翻译,这是刻舟求剑。
更值得玩味的是时机。为什么2021年定名的时候没人在意,偏偏OpenClaw烧token烧到上新闻、黄仁勋把数据中心喊成"token工厂"的时候,官方才急着盖章?
因为token变成钱了!
日均调用量从1000亿到40万亿,人民日报用"词元消耗量超过美国"来写标题——这个语感像不像"钢铁产量跃居世界第一"?
给一个计量单位命名,本质上是在铸币。 腾讯研究院提"模元",新智元系推"智元",学术圈守"词元"——每个名字背后都是一个利益叙事在抢话语权
叫"词元",NLP老炮儿的定义权延续了;叫"智元",AI产业叙事吃到红利;叫"模元",模型公司才是印钞机。
你管它叫什么都行,反正账单上只写token。
回复
使用道具
举报
返回列表
发布新帖
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
BoPoMo
Lv.1
初尘
主题
7
回帖
1
积分
47
+ 关注
发消息
图文热点
DisCoke社区成长点滴 - 我们每天都在进步。
72 人气
#社区事务
茶是人们日常生活中不可少的饮品,你喝对了
46 人气
#生活日常
买房之前,我有7个建议【转】
41 人气
#生活日常
买房,掌握这15个要素,小白也能秒变行家(
43 人气
#生活日常
推荐话题
1
涨姿势的小众网站,正乌泱泱的朝你走来。。。
89 阅读
梦淡如非
2
抽奖(积分奖励,兼做抽奖测试)
62 阅读
九三郎
3
月亮影响你写诗作画吗?
89 阅读
梦淡如非
4
想想都要笑了,这个周末居然有3天不用调休的小长假。
80 阅读
九三郎
5
DC论坛游戏大军新增牛马数独
88 阅读
D哥
最新发布
360doc倒闭了,下一个是谁?
前端动画、交互和组件灵感都去哪找?这 12
Claude Opus 4.7发布了
用DeepSeek+即梦+剪映,10分钟搞定一条AI视
茶是人们日常生活中不可少的饮品,你喝对了
今日羊毛分享【苹果用户速进】
买房之前,我有7个建议【转】
买房,掌握这15个要素,小白也能秒变行家(
关灯
在本版发帖
扫一扫添加微信客服
返回顶部
快速回复
返回顶部
返回列表