Kevinello

前言 在Whosbug项目即将上线，已经开始mr合流、code review的时候，突然被领导拉去做DEM了（还是挺突然的） DEM 是基于Go开发的一套完善的告警系统，而我当时对于Go语言的使用仅限于简单使用iris框架和日常刷算法题，所以分配到这个需求还是很虚的 DEM一期开发工作 和Whosbug不同，这次DEM的项目开发工作，我是半途加入的，而且是远程工作，所以免不了项目接入成本和环境成本，也是这次经历让我明白了为什么那么多公司不愿意提供远程实习的岗位 过程 接入项目 接到需求的第一天与学长进行了对接会议，当天和之后的一天按学长的介绍读了下我负责的alert模块的代码，熟悉一点了之后，开始尝试着手写负责的功能模块 完成功能模块 这部分工作在熟悉了数据流和数据结构后比我想象的要简单，一些细节问题上问了下学长之后，一个下午就写完了，与学长确认后认为应该妹有问题，但还是需要测试的 测试环境准备 配置好vscode的远程调试（卡了三天） 配置好依赖和一系列环境变量（卡了三天） 至此终于能正常调试了 大概这就是remote吧，踩了少说十个坑… 功能模块的单元测试 搭好环境过 ...

K8s 是什么 ? 容器编排工具，简单来讲，就是把一系列服务联合或非联合部署起来 Kubernetes 是什么？ K8s 有何优势 ？ 多种应用混合部署以降低成本 管理大规模复杂应用 更好的应用可观测性 (容器维度，而非机器维度) 以 K8s 为核心的丰富的工具链 几个必须了解的词 kubectl: kubectl 是管理 k8s 集群的命令行客户端 Helm3: K8s 应用打包/发布工具 Docker: 容器引擎 Docker Docker 是新时代虚拟化，云原生的基础, 尽管有多种容器化的方案，但是 Docker 目前是事实标准 Docker 的官方文档emmmm，还是看别的博客文章吧： 什么是 Docker 使用 Dockerfile 定制镜像 Docker 常用指令详解 K8s Node/Pod/Container Container 自然不用说，是docker中的基本概念（实例化的Image） Node 相当于物理节点，一个 Node 中可能有多个 Pod ，每个 Node 会对应一个子网段，如10.10.10.1/24，而其中的每个 Pod ...

Whosbug项目日志1 前言 从八月份的企业实训到现在，关于whosbug断断续续也开发了一个多月了（实际开发时间）， 在正式上线前小小总结一下吧 开发初期 过程 ​ 刚从腾讯那里拿到这个需求（或者说idea吧）的时候，还觉得挺简单的，基于Git不就可以很快找到是谁的问题了嘛但仔细想了想，这个需求是需要从项目报错的日志出发，最终找到责任人，这就涉及源码结构了（或者说语法分析、源码分析），还是…比较复杂的 作为开发小组组长，当时决定先花半周到一周的时间确定下来项目架构以及数据库设计等（作为软件工程专业学生，还是要明白需求分析以及系统设计的重要性的） 几天过后确定了初步的架构： 并完成了数据库的设计（这里就不po出来了） 分工后就开始正式的开发流程了，使用的协作平台是coding，每天联调任务的感觉还是挺新奇的（毕竟之前基本上都是单人开发或者双人开发，而且基本都不用任务协同） 难点 项目初期的架构设计还是有一定难度的，尤其是对基于git以及源码的分析结果的数据结构设计等 个人对docker、CICD以及Django不是很熟悉（docker只有一点点了解，Django之前没有用 ...

常规的读取大文件的步骤 12345678910111213141516171819import pandas as pdf = open('./data/ows-raw.txt',encoding='utf-8')reader = pd.read_table(f, sep=',', iterator=True, error_bad_lines=False) #跳过报错行loop = TruechunkSize = 100000chunks = []while loop: try: chunk = reader.get_chunk(chunkSize) chunks.append(chunk) except StopIteration: loop = False print("Iteration is stopped.")df = pd.concat(chunks, ignore_index=True) STORY 这几天有一个需求是 ...