产业趋势方向(蓝海)与个人的定位目标
Feb 22, 2024 12:00 am UTC+8
科大高新区
1 AI产业趋势
1.1 学界观点
“The Bitter Lesson” 是由强化学习之父、加拿大计算机科学家 Rich Sutton，在 2019 年发表的一篇经典文章中提出的观点。文章的核心观点是，人工智能的长期进步主要依赖于不断增长的计算能力，而不是更加精妙的算法设计或人类的先验知识。Sutton 通过回顾 AI 历史上的一系列突破，指出那些依赖通用方法和计算能力的进展往往比那些依赖特定领域知识或人工设计的技术更为持久和影响深远。这个教训强调了在设计 AI 系统时优先考虑可扩展性和计算效率的重要性。
学术界和工业界的区别
学术界难以或者不屑于考虑工业界落地的问题，专注于高效果从而过多的简化现实场景问题的研究，会难以产生实际应用价值。
关注现实系统的问题: 可拓展性，投入收益比，社区生态等。去掉论文假设有时才能带来真正的价值。
1.2 工业界视角
AI在技术层面和应用层面取得突破性进展，正以史无前 例的速度和深度触发广泛的行业变革。一方面，以大模 型为代表的AI技术迎来“拐点”，从感知理解到内容生 成，从单模态走向多模态，从专用走向通用。另一方 面，AI应用迎来“奇点”，从2C应用加速进入到行业核心 场景，未来两年，人工智能将为50%以上的行业核心场 景创造更多新价值。加速到来的智能时代对算力基础设 施提出新要求：1
第一，构建新的计算架构，匹配多样性算力需求势在必 行。多样性算力正在改变数据中心算力格局，AI算力成 为主要增量。预计到2030年，全球通用算力需求将达 到3.3 ZFLOPS，是2020年的10倍；AI算力需求将达到105 ZFLOPS，是2020年的500倍；全球每年产生的数据 总量将达1YB，是2020年的23倍。海量的多样性算力需 求加速计算架构从以CPU为中心，走向支持多元算力的 对等架构，打破传统技术瓶颈，持续拓宽计算带宽、降 低时延、提升性能。
第二，突破算力规模的瓶颈至关重要。算力是AI产业创 新的基础，算力的大小直接决定着AI迭代和创新的速 度，大模型训练需要大算力的加持。通过系统的整体设 计，把计算、存储、网络、能源等整合在一起，将数据 中心打造成一台AI超级计算机，通过规模算力更好地实 现高可用性、高能效比和长稳训练，使能百模千态的繁 荣发展。
黄仁勋的关键职业历程：转销售明白 - 客户真正在乎的是什么
学业：1984年，黄仁勋从俄勒冈州立大学（OSU）毕业。而后又进入斯坦福大学并取得了硕士学位。刚刚从电子专业毕业的他，会选择去哪里呢？最好的选择就是去硅谷找一份相关的工作。那时的硅谷还没有现在这么蓬勃，我们所熟知的英特尔和AMD还仅仅是半导体行业的两个「后生」，微软也远没有现在这么壮大。1
初入职场：黄仁勋选择加入了AMD，成为了一名芯片设计师。在这个岗位上，他的个人技术得到了坚实的提升。两年后，他跳槽到LSI Logic，这同样是一家芯片公司。主打业务并不是CPU，而是倾向于芯片的图形处理。
当时的行业格局，主打一个百家争鸣。而在这种发展的初期，找对路、把握机会就显得尤为重要。
拓宽能力：在LSI Logic期间，黄仁勋从设计部门转到了销售部门。他认为，这次职业变动从另一个方面给他自己创业打下了基础。毕竟，创业除了做产品，还包含卖产品，后者同样重要。而在销售部的经历让他知道了客户真正在乎的是什么。黄仁勋曾经向他的妻子保证，自己会在30岁之前拥有一家公司，他也真的做到了。
开始创业：1992年底，曾经一起合作过的两位伙伴把黄仁勋拉到了英伟达的初创团队。黄仁勋要技术有技术，说管理懂管理，谈销售懂销售，就自然而然的被推举成为了英伟达的总裁兼CEO，而这两个职务他也是一直干到现在。
2 职业方向：All4AGI
2.1 AI模型太卷、迭代太快、没有护城河
国内做AI 创业，简直顶着刀山火海前行，
- 没有融资，
- NV显卡购买受限
- 非大厂没有数据集，
- 国内用户没有付费习惯，
- 面临国外 OpenAI的竞争。
- 国内强AI监管约束，人身安全风险。
2.2 AI软硬协同设计优化（数学/计算方法 + 体系结构(硬件) + 软件开发） is suitable 4 me
快速落地/构建可行的AI系统：从应用优化(HPC)出发，算力段深入了解AI硬件设计，AI模型端寻找可大规模高效并行的通用方法。 AI硬件设计、软件优化和大规模快速高效部署技巧是护城河，接入最新的模型是变现手段。
自动化软件工程的发展将类似于自动化驾驶，是一个人工智能做的越来越多，而人类的工作越来越少，但仍提供监督的过程。
2.3 异构系统潜力
NVidia实际上目前的解决方案就是单机多卡，以及多机组成一个同构的超级系统，同时维持各个维度的指标都冲到第一。今天在这种物理层面都拉到极致的需求下，在大模型复合的workload极其割裂的需求下，实际上异构的系统是具有更高的上限，也更能打破NVidia塑造的全方位第一的神话。