青鸟の博客

作者 青鸟最近的实习工作中，遇到了一个有意思的需求，特此记录一下，github action自动构建镜像的方案 问题传统的github action构建镜像的场景针对的场景是固定的Dockerfile和镜像名称。但是我们的需求是针对每一个push或者pr的Dockerfile自动构建出相应的镜像。于是乎我们需要从commit中提取出Dockerfile的路径与构建镜像的名称,并自动构建与推送镜像。 解决我们可以编写一个shell脚本，使用git diff提取出变化或者添加了的Dockerfile文件。 123456789101112131415161718192021222324252627#!/bin/bash# 获取变更的文件列表DIFF_OUTPUT=$(git diff --name-only "$1" "$2"|grep Dockerfile)# 提取上一级目录PARENT_DIRS=()FILE_PATHS=()for FILE_PATH in $DIFF_OUTPUT; do if [[ ! -f "$FILE_PATH ...

作者 青鸟 在做java web课设的时候有一项要求为对系统监控，出于整活的目的，选择了使用prometheus来做系统监控。关于prometheus的相关知识就不再赘述，讲一些在部署采集器时候遇到的坑。由于mac无法配置cadvisor，于是这里就不做赘述cadvisor了。 prometheus与grafana123docker pull prom/prometheusdocker run --name=prometheus -p 9090:9090 prom/prometheus 123456docker pull grafana/grafanadocker run --name=grafana \-p 3000:3000 \-v $PWD/grafana-storage:/var/lib/grafana \grafana/grafana 这里给一些常见需要使用的命令 下面这条命令的主要作用是为了查看容器在docker网络中的ip地址，由于我们选择将prometheus部署在docker中，采集器也是在网络中，所以ip使用的应该是docker网络中的ip，而不是loca ...

作者 青鸟 记录一次关于docker部署时候的debug 问题昨天的时候针对学校的统一认证做了一个简单的逆向，并打算将逆向结果用于校园论坛的认证。但是在将逆向结果打成docker部署后，访问校园认证系统的时候出现了tls:x509 certificate signed by unknown authority的错误。经过一番debug确定了问题出在了ssl证书上，导致了容器内部访问https出错。现对问题做一个具体的分析。 go语言天生适合运行在docker中，这得益于go的静态编译可以将go项目打包成一个二进制文件而无需依赖配置，可以完全独立运行在容器中且只需要最小的scratch的支持。关于docker部署的流程就不在此赘述了，详情可以见之前的博客。但是当我们对外访问的使用https的时候就会出现tls:x509 certificate signed by unknown authority的错误。 原因很简单，众所周知，https是基于ca证书的，但是我们打包成容器时候使用的是scratch，这就导致了ca证书的缺失，同时go的基础镜像于是基于scratch的，这也导致了使用go ...

又是水一篇总结的博客…… 概述首先了解k8s的集群网络模型是很有必要的，也是这篇博客的前提。这里建议直接阅读k8s网络模型的设计文档,可以让你对我们本篇所讨论的有个大致的了解。 在k8s框架中，每个Pod和容器一样只具有临时的生命周期，一个Pod随时有可能被终止或者漂移，我们不应当期望一个容器和pod是耐用和可用的。这时候假如我们直接对一个pod进行访问，那么我们很难保证服务的高可用和动态性，因此显然不能使用Pod地址作为服务暴露端口。 因此我们需要想办法将对服务的访问进行代理转发，不依赖于pod的地址。在k8s中，通过负载均衡和VIP实现后端真实服务的自动转发、故障转移。这个负载均衡在Kubernetes中称为Service。Kubernetes的Service就是一个四层负载均衡，Kubernetes对应的还有七层负载均衡Ingress，本文仅介绍Kubernetes Service。 Kubernetes中的Deployment保证了我们不需要去管理pod的创建与销毁以及健康状态，而Service是将运行在一个或一组Pod上的网络应用程序公开为网络服务的方法。Service让我们 ...

kafka简介kafka是按照分布式事务日志架构的大规模发布/订阅消息队列 基本组成 Producer：Producer即生产者，消息的产生者，是消息的入口。 Broker：Broker是kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等…… Topic：消息的主题，可以理解为消息的分类，kafka的数据就保存在topic。在每个broker上都可以创建多个topic。 Partition：Topic的分区，每个topic可以有多个分区，分区的作用是做负载，提高kafka的吞吐量。同一个topic在不同的分区的数据是不重复的，partition的表现形式就是一个一个的文件夹！ 前面说过了每个topic都可以分为一个或多个partition，如果你觉得topic比较抽象，那partition就是比较具体的东西了！Partition在服务器上的表现形式就是一个一个的文件夹，每个partition的文件夹下面会有多组seg ...

作者 青鸟 学习了k8s之后，就一直想上手体验一下。但是直接去部署一个k8s集群所需要的钱是非常昂贵的，于是就参考了k8s官方文档给出来的意见，使用了minikube在本地来部署一个简易的k8s来体验一下 在使用的过程中，遇到了无数的坑，能踩的都踩了个遍，于是乎就有了这篇博客。（强烈建议看官方文档，其他的全是坑） 在本篇博客的本地环境如下： macos 14.2.1 minikube 1.31.2 kubenetes 1.28.2 首先我们创建一个namespace来隔离服务，将我们这篇博客的所有的服务都运行在隔离环境中。这里我们就创建了一个dev的namespace 1kubectl create namespace dev 使用下面的命令就可以打开k8s的可视化界面 1minikube dashboard 部署一个无状态的服务我们使用golang简单的写一个无状态服务demo，如下所示： 123456789101112131415package mainimport ( "fmt" "log" "net/http&quo ...

OSSOSS，全称就是对象存储服务。何为对象存储？我们来看下阿里云 OSS （Object Storage Service）的介绍： 对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。 对象存储呈现出来的是一个“桶”（bucket），你可以往“桶”里面放“对象（Object）”。这个对象包括三个部分：Key、Data、Metadata。key就是对象在这个桶中的唯一标识；data就是数据；metadata就是标签，可以方便排序。 Minio 是个基于 Golang 编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。麻雀虽小，五脏俱全，适合中小企业使用。当然 Minio 除了直接作为对象存储使用，还可以作为云上对象存储服务的网关层，无缝对接到 Amazon S3、MicroSoft Azure。 MinIO非常适合于存储大容量非结构化的数据。 例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意 ...

作者 青鸟 最近在读istio的代码，正好借此来水一篇博客，顺便通过istio来学一点关于Service Mesh的相关知识 Service Mesh什么是Service Mesh用官方的话来说Service Mesh（服务网格）是一种用于处理服务之间通信的架构模式。在微服务架构中，应用程序通常被拆分成多个小型的、相互独立的服务，每个服务负责执行特定的功能。这些服务需要相互通信以完成整体业务逻辑。Service Mesh 提供了一种在服务之间进行通信的统一、可靠和可观察的方式。 说简单点Service Mesh就是处理微服务之间的通讯，它的主要实现形式就是在应用程序同主机上部署一个代理程序，所有的进出流量都被这个Side Car代理，于是我们便可以在这个代理程序中以最小的成本实现细粒度化的控制，包括服务的限流、熔断、降级等策略 在这种形式下，RPC 客户端将数据包先发送给，与自身同主机部署的 Sidecar，在 Sidecar 中经过服务发现、负载均衡、服务路由、流量控制之后，再将数据发往指定服务节点的 Sidecar，在服务节点的 Sidecar 中，经过记录访问日志、记录分布式追踪 ...

作者 青鸟 在试过了systemed部署服务之后，尝试了一下docker来部署，相较于systemed的部署，docker更加优雅和方便，但在这个过程中也是遇到了大大小小的问题，也是做了很多优化，特地记录一下，值得注意的是我没有使用docker-compose来部署，而是单纯的容器间通讯，之后会再写一篇来记录。文章较长，有错误的欢迎指出 关于docker环境的安装，按照官方教程即可以轻松解决,同时需要注意Docker Hub被墙了，因此要用镜像源，推荐使用腾讯云的镜像仓库 搭建生产环境这里的生产环境主要指的就是redis和mysql这两个数据库，这里有一个大坑就是当你卸载容器的时候，数据库里的数据会随之销毁，这显然是不符合我们的要求的，解决办法就是配置的时候使用挂载数据卷的方式，将数据库信息挂在到宿主主机上，以此可以在销毁或者重启容器的时候做到数据持久化。 mysql配置我们首先创建三个文件夹 123456#配置文件mkdir /usr/local/mysql/conf#数据存储mkdir /usr/local/mysql/data#mysql日志mkdir /usr/local/my ...

作者 青鸟 在最近的工作中想用go-micro来实现一个简单的微服务，选择了etcd作为服务与注册中心，于是就在服务器上部署了etcd，并使用systemed来作为进程守护，虽然最后还是选择了Consul来作为注册中心，但是在部署Etcd这个过程中遇到了大大小小的问题，于是写一篇博客记录一下,其中着重介绍一下静态部署 Etcd的简介首先要说明的就是为什么会选etcd来作为服务与注册中心。etcd 是一个分布式键值对存储，设计用来可靠而快速的保存关键数据并提供访问。通过分布式锁，leader选举和写屏障(write barriers)来实现可靠的分布式协作。etcd集群是为高可用，持久性数据存储和检索而准备。从上述的定义中就可以看出Etcd的核心作用就是两个方面：持久化的键值存储系统 和 分布式系统数据一致性服务提供者。 所有的分布式系统，都面临的一个问题是多个节点之间的数据共享问题，这个和团队协作的道理是一样的，成员可以分头干活，但总是需要共享一些必须的信息，比如谁是 leader， 都有哪些成员，依赖任务之间的顺序协调等。所以分布式系统要么自己实现一个可靠的共享存储来同步信息（比如 ...