过去两年，AI的算力重心从训练挪到了推理。Deloitte估算，截止到2026年推理算力预计上升到算力市场三分之二，且仍在不断提升。训练是一次性烧钱，推理是天天烧钱，企业算力账单会越用越多。模型供给侧百花齐放，已经相对充足，而真正的缺口，是能够把推理成本打下来的算力平台。
解决这道题的，是一家叫博伦智汇的公司（北京博伦智汇科技有限公司）。它是国内领先的异构智算平台与梯度Token工厂技术服务商，专注智算平台与分布式算力服务。团队操盘过国内首批英伟达超大规模训练集群，服务过头部大模型厂商；在国产算力赛道，也率先做到万卡级规模化纳管。核心成员来自头部云厂商和芯片企业，在云原生、大模型训练与推理上有多年积累。从进口GPU到国产芯片，从云端到边缘，公司的产品线覆盖算力调度、模型推理、边缘接入三个环节，正好覆盖从算力到Token的完整链路。
公司官网www.booleanint.com近期上线。首页可以直接体验大模型对话，模型服务板块列出了当前支持的主流大模型，语言、多模态、图像生成都有，可以逐个在线试用。注册登录后，新用户免费获赠1000算力点，相当于100元体验金，可以直接调用平台上的模型。
支撑这些模型的，是博伦智汇拳头产品BooleanMax—— 梯度 Token 工厂。梯度的意思是任务分级调度：将高并发、低延迟的高端推理任务运行于高性能计算卡，低负载批量任务调度至普通算力卡，将分级策略应用到实处，以此降低成本。BooleanMax之所以能把价格做下来，靠的不是补贴，是技术。调度层面，平台统一纳管国产和进口GPU，按任务自动匹配算力，资源利用率从行业中间水位的30%拉到80%。供给端边缘闲置算力被接入平台，成本天然更低。再到推理引擎，KVCache复用、PD分离、连续批处理等手段叠加，同等硬件下吞吐能提升数倍，摊到单个Token上的成本明显下降。
平台目前覆盖AIGC、互联网、具身智能、金融、政务、运营商、教育等多个行业，适配多款主流国产芯片，满足客户的国产化要求。
博伦智汇想做的，是把算力调度和Token生产这笔账算得更细，最终实现普惠智算。想进一步了解的读者，可以访问www.booleanint.com，或通过business@booleanint.com合作联系。
热门专题
