关于Moonshot AI-月之暗面简介.pdf

Moonshot
AI
介绍

公司介绍

•北京⽉之暗⾯技有限公司（Moonshot
AI）是⼀家专注于通⽤⼈⼯智能领域的公司。公司致⼒于

寻求将能源转化为智能的最优解，通过产品与⽤⼾共创智能，实现普惠AI。

•成⽴时间：2023年3⽉1⽇

•产品

◦Kimi
智能助⼿（⽹⻚版：kimi.ai、App和⼩程序搜索“Kimi智能助⼿”即可），发布时间

2023年10⽉9⽇

◦Moonshot
AI
开放平台（公测中
/），发布时间
2023年11⽉2⽇

•欢迎关注公众号，了解更多动态

公司亮点

1.
团队拥有世界级的⼈才密度：

a.创始⼈杨植麟是中国35岁以下NLP领域引⽤最⾼的研究者，Transformer-XL
和
XLNet
两篇重要

论⽂的第⼀作者；两位联合创始⼈周昕宇和吴育昕都有
10000+
的Google
Scholar引⽤。

b.团队成员囊括NLP,
CV,
RL（强化学习）,
Infra⽅⾯新⽣代⼈才，主导了很多有世界影响⼒的⼯

作，吸引了来⾃Google、Meta、Amazon等全球领先技公司的海外⼈才加⼊：

i.⼤模型⽅⾯。团队成员发明了RoPE相对位置编码，是Meta
LLaMa和Google
PALM等⼤多数

主流模型的重要组成部分；发明了group
normalization，是Stable
Diffusion等AI模型成功

的关键组件；发明了
Transformer-XL，是历史上第⼀个在词级别和字级别都全⾯超越RNN

的注意⼒语⾔模型，解决了语⾔建模上下⽂⻓度的关键问题，定义了语⾔建模的新标准；曾

与DeepMind和CMU合作研究，⾸次实现⼩样本性能逼近全监督学习的⾼效对⻬⽅法。

ii.视觉⽅⾯。团队成员发明了MoCo，引爆了基于对⽐学习的视觉预训练范式，也是过去三年

CVPR引⽤量最⾼的⼯作；发明了ShuffleNet，最⾼效的视觉⽹络结构之⼀；主导开发了

detectron2，⼀个被⼴泛使⽤的视觉开源项⽬并被集成到Meta全线VR/AR产品中。

iii.强化学习⽅⾯。团队成员作为⼀作提出了基于关系学习的少样本⽅法，得到斯坦福⼤学、

Google、MIT、Amazon等团队的使⽤和扩展，并获得过OpenAI
RL联创及负责⼈John

Schulman亲⾃邀请加盟。

iv.基础设施⽅⾯。团队核⼼成员曾带领数⼗⼈从零开发世界领先的深度学习框架，也具备数千

卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分

布式系统数量级性能优化的经验。

c.⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。

2.
团队聚焦底层技术创新，技术Vision强

a.引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损

⻓上下⽂窗⼝（Lossless
Long
Context
Window）”，⽀持
20
万汉字输⼊，实现对⻓⽂本的⽆

损记忆。OpenAI
和
Anthropic
到
11
⽉才在
Context
Length
上追上来，且在精度（⽆损记忆）

和中⽂能⼒上
Kimi
智能助⼿依然领先。

b.聚焦底层技术创新，不⾛技术捷径。最早提出“Lossless
Long
Context
可以解决
90%
以上的

模型定制问题”，坚持对数据的⽆损压缩，实现模型能⼒的提升，不⾛技术捷径（通过滑动窗

⼝、降采样、⼩模型等技术实现上下⽂窗⼝延⻓，都是“技术捷径”）

c.通过这篇⽂章，您可以了解更多技术⽅⾯信息：专访⽉之暗⾯杨植麟：lossless
long
context
is

everything

3.
Kimi智能助⼿的中⽂实⼒强、增⻓速度快、⼝碑好

a.在投资机构和⼤⼚的内部综合评测中，Kimi智能助⼿的中⽂实⼒直追
OpenAI。

b.根据“AI产品榜”的统计数据，2024年1⽉Kimi智能助⼿的访问量
142
万，在⼤模型

创业公司的“AI
ChatBots”产品中排在第⼀；⽉环⽐增⻓率
94.1%，增⻓速度也在⼤模型创业

公司