洞察 Insights
曦望:国产AI芯片新星崛起,欲以“用得起”的算力重塑大模型未来
国产GPU新锐曦望(Sunrise)完成近10亿元人民币融资,这家由商汤分拆而来的公司,正凭借其自研高性能GPU(宣称S2性能对标英伟达A100,S3目标降低10倍推理成本)和“用得起”的市场策略,试图在AI算力领域实现突破。曦望的崛起不仅是中国在AI芯片自主化道路上的重要一步,也预示着AI计算成本可能迎来重大变革,从而对整个AI产业生态产生深远影响。
阅读全文
洞察 Insights
边缘智能的突破:小米小爱同学如何在资源受限下实现高性能大模型推理
小米小爱同学团队在端侧大模型部署方面取得了显著进展,通过自研推理框架、动态优化、投机推理、量化以及创新的“共享基座+LoRA”架构,成功克服了移动设备资源限制,实现了高性能、多任务并发。文章深入剖析了小米的技术策略,并展望了未来硬件与模型架构(如Linear Attention)在推动端侧AI普惠化中的关键作用。
阅读全文