AIGC降本新突破，3090即可达到50it／s且仅需0.0008元／次
近期，国际著名的自然科学综合类学术期刊《Science》公布2022年度十大科学突破，「AI gets creative」入选，内容涵盖了今年AI领域的几项重要成果，其中包含了今年人工智能领域的大势——AIGC，即基于人工智能自动生成内容的新型生产方式。
随着ChatGPT的惊人问世，再到最近在社交媒体上“家喻户晓”的AI绘画，AIGC无疑成为当下火热的话题。
（由AI软件绘制的《太空歌剧院》）
不论是作为C端用户的创作工具还是B端边缘侧的辅助工具，AIGC都在更深层次的应用上进行不断探索并且飞速成长。即便如此要进一步实现质的飞跃，仍然面临诸多困境与挑战，例如算法工程师的AI工程化能力不足，使得算法模型跑出的结果与部署后模型的效果存在一定的差距，还有如自然语义理解误差、生成内容质量参差不齐、知识版权问题等，但是在这之中最重要的部分便是模型训练成本高。以Open AI提供的大模型在Fine Tune（微调）的情况下为例，仅仅一次微调也需要消耗几十万人民币成本，更不提在AIGC高速发展的前提下，对模型Fine Tune的频率只会更加频繁，在这情形下预埋下的成本地雷将会对许多AIGC初创企业发展非常不利。
（GPU价格*GPU数量=总成本）
提及成本问题，在AIGC商业化过程中存在一个公式：GPU价格*GPU数量=总成本，因此在推理加速领域需要降本增效，则需要从GPU价格和GPU数量（如模型优化后GPU需求数量减少）上进行重点狙击。
一站式训推一体平台，助力初创AIGC企业降本增效
正如同上面提及的初创AIGC 企业所面临的两大挑战：
1. 模型训练云计算成本高（如Stable Diffusion耗费了约400多万人民币，微调也要大几十万人民币）
2. 推理工程化难：如何弹性地部署模型至机器上，对于用户侧的算法工程师都有不小的挑战
如何部署推理架构？如何加速推理速度？如何保证推理稳定性？这三座大山成为了Stable Diffusion模型应用需要跨过的难关。由隐私计算企业翼方健数自主研发的基于隐私安全计算护航的AI服务平台——揽睿星舟（Lanrui-ai）在助力AIGC企业时发现，企业在面对如何将算法工程师的成果送到成千上万的客户手里都有着一定的困难。
Stable Diffusion模型架构复杂，揽睿星舟在与客户沟通后发现，许多客户没有工程化能力完成Stable Diffusion的推理架构优化，很多客户的单次推理速度仍旧在4s-6s之间。推理速度尚未达到高效水准，同时又需要降本增效，优化客户体验可谓是难上加难。很多客户为了保证推理速度，甚至动用了价格昂贵的A100作为推理节点。
为了解决这些问题，更高效的帮助算法工程师完成开发-推理的全部过程，揽睿星舟平台推出了一款黑科技：从资源到算法再到推理优化的全流程Fast Diffusion解决方案。
揽睿星舟通过一系列的架构优化和编译优化，最终做到在Nvidia A100-80g上单次50steps推理0.77s，68.59 it/s的成绩，超过其他推理框架20%以上，成为Stable Diffusion模型推理速度的新“标答”。
同时，为了解决云计算成本高的难题，揽睿星舟同样关心的是如何在更合理的成本下支持Stable Diffusion应用。考虑到A100高昂的售价，通过优化后最终做到在3090显卡上单次50steps推理1.05s，50.57 it/s的成绩。这也预示着，3090显卡上做到了“一秒出图”，并且能达到50it/s以上的推理速度。在揽睿星舟平台上部署，可以做到单次推理价格低至0.0008元/次，真正让Stable Diffusion模型不再“费钱”。同时，揽睿星舟平台支持弹性卡级动态调度与负载均衡，优化初创企业的策略，让模型更“省钱”。
（揽睿星舟上不同GPU推理时间、速度及价格的对比）
揽睿星舟同样提供一键部署功能，为了使模型部署更简单，并享受以上所有的模型优化加速能力，只需要提供一个标准的Stable Diffusion模型，揽睿星舟平台会将优化后的模型部署为服务，并对外直接暴露使用接口，让算法工程师不用为模型加速和模型部署做任何额外工作，真正做到“模型即服务”。
以平台上的一家AIGC企业为例，在揽睿星舟平台上部署推理服务，机型选择为3090，客户本身的单次推理速度约3-5秒。在和揽睿星舟深度交流，并选择揽睿星舟提供的Fast Diffusion整体化解决方案后，最终确定客户只提供符合hugging face接口的Stable Diffusion模型，剩下的所有工作都由揽睿星舟方负责。最终，揽睿星舟将客户的模型推理速度缩短到2s以内，在平均请求上响应速度快了一倍。由于使用了揽睿星舟推理方案，客户也无需考虑http请求和推理框架工作，大大加速了客户的模型迭代周期。在后期客户决定减少40%以上的显卡消耗，真正做到“降本增效”。
降成本、提效率、有保证、有客户…
多种服务构建完整AI生态
揽睿星舟不仅是AI企业发展的技术土壤，作为一个通用的AI服务平台，平台上还有各行业的需求方正在寻找合适的供应商和解决方案。他们有应用场景，也有相关的数据。揽睿星舟促成对行业需求客户及AI企业、数据方和工具提供方等多方互补合作，形成双赢局面。不仅是AIGC企业，这也为其他众多AI企业带来了新的解决方案。
揽睿星舟平台与国内外主流云计算服务商战略合作，集中采购云算力，提供高性价比资源。平台内支持一站式MLOps工具集，Juypter lab、vscode、数据管理、模型管理、模型推理、主流机器学习框架、镜像、资源管理等提高效率的工具。支持提供生态合作伙伴企业自定义宣传主页进行生态内精准推广。
揽睿星舟服务的团队有丰富的推理经验，包括但不限于 负载均衡、动态发布、容错、消息队列、自动扩缩容策略等。同时，通过自有销售网络，揽睿星舟运营团队为合作伙伴提供全国甚至国际商机推荐服务，以中立的隐私安全计算能力帮助打破各方的不信任关系，平台帮助清晰梳理AI行业需求，从源头把控质量，全周期保障数据隐私与商业机密，匹配领域最佳企业和团队，协同输出专业方案。
此外，为助力AI企业加速发展，揽睿星舟和国际顶尖投资机构合作，可以为企业特别提供更的低成本的云计算价格以及VC投资机会。目前已有例如拂曦科技、西湖心辰、右脑科技、青丘片场、奥创光年、PAI 等多家明星AIGC企业加入平台。
火热的AI发展市场需要有更强大的后备军来保障跟上需求的高速发展，因此，揽睿星舟平台提供的隐私安全计算技术保障、从资源到算法再到推理优化的全流程Fast Diffusion解决方案、高性价比算力及全产业生态支持，很好的为初创企业扫平发展面临的潜在地雷问题，不失为AI企业发展提供了更多的一条安全的选择路径。
举报/反馈