【腾讯云FinOps Crane 集训营】Crane 助力云原生用户充分发挥云上资源的最大价值,帮助企业降本增效之利器

news/2024/7/4 8:11:28 标签: 云原生, 腾讯云, Crane, Finops, docker

文章目录

  • Crane 助力云原生用户充分发挥云上资源的最大价值,帮助企业降本增效之利器
    • 前言
      • 云上资源成本虚高的现状
        • 一、云原生的崛起:服务上云
        • 二、服务上云的魔咒:服务健壮了,钱袋子却空了
        • 三、钱都去哪了:云资源无序投入的背后急需明晰账单
        • 四、钱又回来了:划去糊涂账单,资源极致利用
      • Crane 云上资源极致利用,降本增效之四大必杀技
        • 一、全方面拥抱云原生
        • 二、无与伦比的高性价比
        • 三、实时动态的可观测监控
          • 1. 成本洞察展示
        • 四、高效智能的资源利用预测
          • 1. 智能推荐展示
      • Crane 环境快速搭建及功能验证:小试牛刀 -5- 分钟
        • 搭建环境
        • 图化步骤
        • 清理环境
    • 附录

Crane__1">Crane 助力云原生用户充分发挥云上资源的最大价值,帮助企业降本增效之利器

前言

19年疫情至今,互联网业务高增速、强创收的局面已是昨日黄花。在面对疫情、国际局势、人口规模趋势、基尼效应、经济形势 等多种复杂的因素下,互联网企业的日子相对窘迫。严峻的环境倒逼着企业进行 “开源节流”、“降本增效”,捂紧钱袋子,应对充满未知的 “寒冬”。

本文将围绕 “FinOps“ 思想,介绍 “通过 Crane 手段进行优化应用资源配置“,以达到业务增效降本的目的。欢迎感兴趣的同学,参考、学习。
在这里插入图片描述

云上资源成本虚高的现状

一、云原生的崛起:服务上云

  • 1998 年亚马逊发布论文:《分布式计算宣言》,分布式、微服务架构初现雏形;

  • 20 年代传入中国,以阿里、腾讯为代表首先进行服务 ”单体拆分至微服务“ 的架构演化;

  • 在云技术成熟之后,架构演进的阶段来到了云原生时代。

  • 2017 年,Crane 项目开源,旨在为云原生用户提供云成本优化一站式解决方案;

  • 2022 年,中国电子技术节能协会2022年“云计算中心科技奖”正式颁布,腾讯云Crane荣获“云计算中心科技奖卓越奖”,成为国内首个获得该国家级奖项的云原生解决方案;

为何架构演进的历程会青睐云原生技术?具体原因可参看《云原生的崛起 一 :市场竞争中真正敏捷力量 !》 这里不做过多介绍。

二、服务上云的魔咒:服务健壮了,钱袋子却空了

上云会提供给服务足够的弹性,当流量在节假日、业务活动,等大规模洪峰到来时,能够快速的横向扩展,保障服务的健壮性;当呈现在流量峰谷时,服务可进行收缩;实现资源、服务的自主弹性。

那么在上述弹性的过程中,云上资源的调度是十分关键的。因为我们在采购资源时,一般是按定价 + 折旧的方式进行计费,如何在适当的时机占用适当的资源,对出纳的资源购置费用影响是举足轻重的。

如果对资源的调度模糊、不透明、或者粒度豪放,那么最终的结果就是:服务健壮了,钱袋子却空了!

三、钱都去哪了:云资源无序投入的背后急需明晰账单

在服务调性/流量模型中的不同阶段,我们需要对资源的调度进行观测,以明晰具体的资源利用率,判定其投入是否合理。

在不同业务调性、不同混部资源之间,如何做可靠的观测性方案、以及如何通过观测数据进行科学判定,是此环节的重大难题!

四、钱又回来了:划去糊涂账单,资源极致利用

当有明晰的账单及科学的资源利用判定,我们需要进行科学、合理的资源调度,以使其利用率最大,从而节省目标投入资金,让钱流回来。

如何在保障服务健壮的前提下,给出最优的调度方案,是此阶段的待解之题!

Crane__36">Crane 云上资源极致利用,降本增效之四大必杀技

Crane 依托于云原生技术,结合监控可视化、水平弹性、负载及拓扑感知 等多项硬核科技,将优化措施应用到云成本的多个关键环节,从而辅助用户决策、简化运维效率、提升系统稳态、全面降本增效。

一、全方面拥抱云原生

Crane 是国内第一个基于云原生技术的成本优化开源项目,全球范围内首个开源的FinOps认证解决方案。遵循 FinOps 标准,旨在为云原生用户提供云成本优化一站式解决方案,帮助企业降本增效。

目前,Crane 已经在腾讯、网易、小红书、思必驰、酷家乐、明源云、等多家互联网科技公司实现部署应用。
在这里插入图片描述

  • 开源地址:https://github.com/gocrane/crane

二、无与伦比的高性价比

Crane 支持 FinOps 解决方案 全能力,以开源形式提供服务支撑。

通过对云计算成本进行可视化和分析,让企业管理者更好地了解云计算的成本结构和开支情况,从而更好地控制和优化云计算成本。具体包括以下方面:

  1. 成本可视化:可以通过图表和报表等方式,将云计算成本可视化,让企业管理者可以更好地了解云计算的成本结构和变化情况。
  2. 成本分析:可以对云计算成本进行分析,比如对不同业务部门的成本进行分析,对不同时间段的成本进行分析,从而更好地了解云计算成本的变化趋势和影响因素。
  3. 成本控制:可以帮助企业管理者制定云计算成本控制策略,比如通过优化资源配置、采用更加经济高效的云计算服务等方式,降低云计算成本。
  4. 成本优化:可以通过对云计算成本进行分析和控制,帮助企业优化云计算成本,提高企业的效益和竞争力。
Crane__53">1. Crane 能力全景图

在这里插入图片描述

Crane__55">2. Crane 核心能力图

在这里插入图片描述


三、实时动态的可观测监控

Crane 依托 Prometheus 监控组件,提供一组 Exporter 计算集群云资源的计费和账单数据。
进行多维度的成本洞察,优化评估,并通过 Cloud Provider 支持多云计费。

1. 成本洞察展示

在这里插入图片描述
在这里插入图片描述

  • 通过图形化视图动态呈现当前资源调度分布情况,及成本分布现状。

四、高效智能的资源利用预测

基于可观测手段刮擦到的 负载、拓扑、QOS、Pod 等元数据,Crane 利用 强悍的算法模型进行业务流量模型、资源调度预测,资源配置变更等多种策略构建。在确保服务稳定的前提下,使得资源利用最大化,投入成本最低化。

  • 算法模型赋能于弹性:EffectiveHorizontalPodAutoscaler

    • 提前扩容,保证服务质量:通过算法预测未来的流量洪峰提前扩容,避免扩容不及时导致的雪崩和服务稳定性故障。
    • 减少无效缩容:通过预测未来可减少不必要的缩容,稳定工作负载的资源使用率,消除突刺误判。
    • 支持 Cron 配置:支持 Cron-based 弹性配置,应对大促等异常流量洪峰。
    • 兼容社区:使用社区 HPA 作为弹性控制的执行层,能力完全兼容社区。
  • 算法模型赋能于推荐:Recommender

    • 更合适的资源配置:采用 VPA - 滑动窗口算法,分析应用的真实用量,推荐更合适的资源配置,提升集群的资源利用率。
    • 更合适的负载配置:采用 HPA 算法,分析应用的真实用量,推荐更合适的副本配置,提升集群的资源利用率。
      • 其实现的基本算法是基于工作负载历史 CPU 负载,找到过去七天内每小时负载最低的 CPU 用量,计算按 50%(可配置)利用率和工作负载 CPU Request 应配置的副本数。
1. 智能推荐展示

在这里插入图片描述
在这里插入图片描述


Crane__5__83">Crane 环境快速搭建及功能验证:小试牛刀 -5- 分钟

Crane 提供了极简的环境搭建方法,5 分钟足以完成 Demo 的搭建及功能验证。感兴趣的同学,欢迎 尝试、学习、借鉴。

  • 注意:末尾含删除环境指令,无需担心清理问题。

下面是总结的步骤,需要工具:

  • 一台 mac 电脑 💻【有网,win 也可】
  • 无特殊硬件要求

搭建环境

  1. 云原生环境搭建:安装 k8s、helm、kind ,用于快速构建一个 demo 集群
  2. Crane 系统搭建及操作:构建安装 crane 依赖服务组件
  3. 预设集群链接与分析:启动 crane 并 视图展示 demo 数据效果
//云原生环境搭建:安装 k8s、helm、kind ,用于快速构建一个 demo 集群
brew reinstall kubernetes-cli
brew install helm
brew install kind
//Crane 系统搭建及操作:构建安装 crane 依赖服务组件
curl -sf https://raw.githubusercontent.com/gocrane/crane/main/hack/local-env-setup.sh | sh -
bash installation/local-env-setup.sh
export KUBECONFIG=${HOME}/.kube/config_crane
//预设集群链接与分析:启动 crane 并 视图展示 demo 数据效果
kubectl get deploy -n crane-system
get pod -n crane-system
kubectl -n crane-system port-forward service/craned 9090:9090
export KUBECONFIG=${HOME}/.kube/config_crane
kubectl -n crane-system port-forward service/grafana 8082:8082

图化步骤

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

清理环境

kind delete cluster --name=crane

附录

在技术日新月异的今天,面对竞争日益激烈的环境,拥有 Crane 降本增效的利器,意味着具备了**强悍且敏捷的竞争力!**无论是个人还是公司企业,都将是一笔 “无以比拟” 的巨大财富。


http://www.niftyadmin.cn/n/321140.html

相关文章

获取系统中各应用的运行时间

通过增加动态库获取应用的运行时间 同事提出一个问题:如何获取嵌入式设备系统中各个应用已运行的时间?这个问题的解决方案有多种,其中一种是使用功能较强的软件作为系统的init进程和服务管理,例如systemd;以它启动各应…

【人工智能】— 贝叶斯网络

【人工智能】— 贝叶斯网络 频率学派 vs. 贝叶斯学派贝叶斯学派Probability(概率):独立性/条件独立性:Probability Theory(概率论):Graphical models (概率图模型)什么是图模型(Grap…

Kafka原理之消费者

一、消费模式 1、pull(拉)模式(kafka采用这种方式) consumer采用从broker中主动拉取数据。 存在问题:如果kafka中没有数据,消费者可能会陷入循环中,一直返回空数据 2、push(推)模式 由broker决定消息发送频率,很难适应所有消费者…

C++数据结构:哈希 -- unordered系列容器、哈希表的结构以及如何通过闭散列的方法解决哈希冲突

目录 一. unordered系列关联式容器 1.1 unrodered_map和unordered_set 综述 1.2 常见的接口函数(以unordered_map为例) 1.3 unordered系列与map和set的效率对比 二. 哈希表的底层结构 2.1 什么是哈希 2.2 哈希函数 2.3 哈希冲突 三. 通过闭散列的…

Rufus v4.0.2035 开源USB引导启动盘制作工具单文件版

Rufus 是一个可以帮助格式化和创建可引导USB闪存盘的工具,比如 USB 随身碟,记忆棒等等。在如下场景中会非常有用:你需要把一些可引导的ISO格式的镜像(Windows,Linux,UEFI等)创建成USB安装盘的时…

【Linux】指令(下)

⭐博客主页:️CS semi主页 ⭐欢迎关注:点赞收藏留言 ⭐系列专栏:Linux ⭐代码仓库:Linux 家人们更新不易,你们的点赞和关注对我而言十分重要,友友们麻烦多多点赞+关注,你们的支持是我…

Linux基本指令----下

Linux基本指令----下 date指令cal指令find指令which指令whereis指令grep指令du指令zip/unzip指令tar指令bc指令uname -r指令关机指令重要热键结语 date指令 语法: date 指定格式显示时间: date %Y:%m:%d,date 用法:date [OPTION]…

[socket]hpsocket-pull模式

为什么要用pull模式呢,我不是所谓的别人说pull效率高,是因为包头的长度 int不是固定长度。服务器IO-HPSocket PUSH:收到数据立马触发OnReceive,由开发人员自己实现拆包和缓冲区的管理逻辑。 PULL:收到数据立马触发OnR…