Sirin的博客 | Sirin Blog

Harbor配置

单节点K8s集群上的Harbor配置

关于Harbor的配置 Harbor主要是用于管理私有镜像库的，这里我记录下配置Harbor过程中遇到的一些问题以及解决措施。 1. 基础准备我这里服务器采用的是rke2发行的k8s，已经预装了helm，因为校园服务器连不上外网，所以需要自己提前下载Harbor的镜像然后再上传到服务器上离线下载，因此这里说的也是对对应于这种方式。这里我下载的是harbor-offline-ins...

Posted by Sirin on December 10, 2025

文件挂载

将/home挂载到新磁盘上

Ubuntu上将/home挂载到新的磁盘上有时候服务器更新，会插入一个新的大容量磁盘，这时候是希望将主要的用户系统都迁移到这块新磁盘上。有时候这块新磁盘上可能还保留有一部分资料，那么要怎么办？例如，我们要把/home迁移到新的硬盘/dev/sdb1上。 1. 备份数据为了避免迁移过程出现问题（断电、其他用户误操作之类的），最好要先进行备份 sudo cp -a /home /...

Posted by Sirin on December 2, 2025

基于调度的推理优化

负载均衡与公平性的处理

关于调度：我们在做什么在前面的博客中，我们讲解了关于推理优化的一些技术和文章。本文将继续针对调度这一专题，介绍相关的工作内容。对于LLM的推理服务中，调度主要关心的目标有两个，一个是负载均衡，即公平性；一个是缓存复用/降低延迟，即局部性/效率性。Virtual Token Counter这一技术，就是公平性一极的工作；SGLang提出的Prefix Longest Match，就是局...

Posted by Sirin on November 28, 2025

推理优化Survey

针对推理系统的优化调研综述

算子优化多头注意力Multi-headed attention 相比于传统注意力只注重于一种分析，多头注意力则是通过将多个注意力头组合使用，来分析不同类型的依赖关系。其基础是传统注意力的基础构建块：缩放点积注意力核心是Q，K，V三个向量： Q表示问询内容，即“我正在寻找什么” K表示所能提供的信息，例如书籍的标题 V则表示实际包含的信息，例如书籍的具体内容 ...

Posted by Sirin on November 18, 2025

项目开发笔记-5

SpringBoot笔记

什么是SpringBoot？它的作用是什么 SpringBoot是Spring框架下的一个子项目，其作用是旨在简化Spring应用的初始搭建和开发过程，它在Spring框架之上提供了一套开箱即用的解决方法，相当于Spring框架的快速启动的工具包。其核心特征包括：约定优于配置：提供了合理的默认配置，减少决策负担自动配置：根据类路径中的依赖关系自动配置应用程序，减少了手动...

Posted by Sirin on November 11, 2025

项目开发笔记-4

Java并发编程

并发Concurrent与并行Parallel的区别？并发是同一时间段内处理多个任务，但不是同时执行，可以通过时间片轮转在单核CPU上实现，也就是说并发是逻辑上的同时进行。并行则是真正同时执行多个任务，必须有多核处理器或者多个处理器来支持，并行是物理上的同时进行。 Java内存模型 Java Memory Model 内存模型的结构包括：主内存main memory 所...

Posted by Sirin on November 4, 2025

动态异构GPU集群上的分布式训练

Sailor

Introduction 随着机器学习模型的规模指数级增长，高性能GPU供不应求。传统的分布式训练框架(e.g., NVIDIA的Megatron-LM和DeepSpeed)都是针对同构GPU且节点间带宽均匀的情况，然而现代数据中心可能包含多种GPU且分布在不同的区域。这种动态、异构且跨地域集群对分布式训练提出了三大核心挑战：配置空间搜索复杂度高异构GPU类型和跨区域部...

Posted by Sirin on November 3, 2025

项目开发笔记-3

面向对象

关于方法(Method)与构造函数(Constructor) 特性静态方法实例方法关键字 static 无static关键字调用方式类名.方法名() 对象名.方法名() 内...

Posted by Sirin on October 31, 2025

项目开发笔记-2

基础知识

JVM 内存空间包括栈，堆，方法区栈是线程私有的，其生命周期与线程相同。其中存储的内容包括：局部变量表：局部变量必须初始化，作用域限制在声明的方法或代码块。操作数栈：用于方法执行的计算工作动态链接：指向运行时常量池的方法引用方法出口：存储方法返回的地址堆是线程共享的，存储了几乎所有的对象实例和数组，也是垃圾收集器管理的主要区域。方法区也是线程共享...

Posted by Sirin on October 30, 2025

项目开发笔记-1

MVC,DDD与各类术语

MVC MVC是一种软件设计模式，即模型-视图-控制器(Model-View-Controller)。模型 Model 代表了应用程序的核心数据和业务逻辑，包括数据的存取、验证和处理，业务规则的执行。它不关心用户界面；只接受控制器的指令，不会直接处理用户输入；状态发生变化时，会通知相关的视图进行更新。视图 View 视图负责将模型中的数据呈现给用户，是用户的交互界面，负责数...

Posted by Sirin on October 29, 2025

Sirin Schariac