Kevinello

Whosbug项目日志1 前言 从八月份的企业实训到现在，关于whosbug断断续续也开发了一个多月了（实际开发时间）， 在正式上线前小小总结一下吧 开发初期 过程 ​ 刚从腾讯那里拿到这个需求（或者说idea吧）的时候，还觉得挺简单的，基于Git不就可以很快找到是谁的问题了嘛但仔细想了想，这个需求是需要从项目报错的日志出发，最终找到责任人，这就涉及源码结构了（或者说语法分析、源码分析），还是…比较复杂的 作为开发小组组长，当时决定先花半周到一周的时间确定下来项目架构以及数据库设计等（作为软件工程专业学生，还是要明白需求分析以及系统设计的重要性的） 几天过后确定了初步的架构： 并完成了数据库的设计（这里就不po出来了） 分工后就开始正式的开发流程了，使用的协作平台是coding，每天联调任务的感觉还是挺新奇的（毕竟之前基本上都是单人开发或者双人开发，而且基本都不用任务协同） 难点 项目初期的架构设计还是有一定难度的，尤其是对基于git以及源码的分析结果的数据结构设计等 个人对docker、CICD以及Django不是很熟悉（docker只有一点点了解，Django之前没有用 ...

常规的读取大文件的步骤 12345678910111213141516171819import pandas as pdf = open('./data/ows-raw.txt',encoding='utf-8')reader = pd.read_table(f, sep=',', iterator=True, error_bad_lines=False) #跳过报错行loop = TruechunkSize = 100000chunks = []while loop: try: chunk = reader.get_chunk(chunkSize) chunks.append(chunk) except StopIteration: loop = False print("Iteration is stopped.")df = pd.concat(chunks, ignore_index=True) STORY 这几天有一个需求是 ...