2023年周报 前言 2023年已过15%,周报稍有停滞。好在自己没有忘记,还是要坚持写周报,读书,运动,做正确的事情,持续提升自己。 第43周周报 20231016-20231022 本周工作比较紧凑,主要是参与科技项目的方案编写。参与度也是一天比一天深入,从最开始只是负责一小块内容,慢慢变成了负责整个课题,牵头拉着几个同事一起编写方案,结果很顺利,提早完成任务。我觉着这期间其它几位同事比较负责、给力 2023-03-13 周报 周报
2022年周报.md 前言 2022年已过去半年多,年初给自己定下的目标都没有实现,越发的感觉这样下去不行,又会荒废一年。回想过去的8个多月,没有太多记忆点,自己没有什么成长,甚是懊恼。 平时上班还每周都写周报,那虽然是应付老板,让老板有东西汇报,可是却无法给自己一个交代,浑浑噩噩的过下去不行。所以必须要做些总结复盘,这样自己才能回望过去一段时间哪些地方做的不好,要做出改进,哪些地方做的好,要继续努力下去。 2022-09-10 周报 周报
LightGBM算法原理 在 XGBoost介绍中,我们讲述了xgb的运行原理,节点分裂方式。在xgb出现之后,迅速的应用在工业界中并取得了非常好的效果。但是仍然存在一些问题,比如当数据规模巨大的情况下,运行速度慢,不能直接支持类别特征等。在2017年,微软发布了一个新的GBDT算法框架LightGBM,与xgb相比,达到相同的算法效果,运行速度更快,并且支持类别特征。lgb的主要改进点是提升模型速度,从两个维度进行了 2022-06-26 机器学习 树模型
Spark和Pandas结合使用.md 本篇文章主要讲解spark和pandas结合应用的一个例子,我之前在工作中总是单纯的使用spark,有时候会将DataFrame转换为临时表,然后使用Hive-sql处理,或者是写Udf做稍微复杂一些的处理。在前段时间接触到spark可以和pandas结合使用,还真是又涨了点知识。 举一个例子,一个DataFrame的size是[m,n],我想对其进行groupby操作,然后返对每个分组内 2022-05-21 总结 spark
XGBoost介绍 一、简介 XGBoost(eXtreme Gradient Boosting)又叫极度梯度提升树,是boosting算法的一种实现方式。针对分类或回归问题,效果非常好。在各种数据竞赛中大放异彩,而且在工业界也是应用广泛,主要是因为其效果优异,使用简单,速度快等优点。本文主要从以下几个方面介绍该算法模型: 二、基本原理 xgb是boosting算法的一种实现方式,主要是降低偏差,也就是降低 2022-04-05 机器学习 树模型
决策树 决策树 决策树三要素 特征选择 决策树生成 决策树剪枝 预剪枝 限制树的深度,叶子节点个数,叶子节点样本数,信息增益等 后剪枝 正则化 ID3 ID3是根据信息增益来选择特征,将数据划分成多份,构成决策树。 信息增益 信息增益是什么呢?划分数据前后 数据中“信息量”的 变化,通常选择信息增益最大的特征作为当前划分的依据。 信息熵 如何衡量“信息量”呢?这里引入熵的概念,熵表示信 2022-01-03 机器学习 树模型
模拟退火算法 模拟退火算法 模拟退火算法是上世纪80年代产生的优化算法,应用于在较大空间中寻找问题的最优解,也是解决TSP问题的一大利器。模拟退火是物质从无序(高温)逐渐趋向(降温)于有序(低温/恒温)的过程。因此在模拟退火算法优化的过程中,从始至终是有一个温度贯穿其中的。那温度在优化过程中起到的作用是什么呢? 2021-10-30 算法 模拟退火
Spark-使用总结 在使用spark的过程中经常会遇到一些问题,有的是自己对api不熟悉引起的,还有一些问题是spark本身存在的bug,为了避免在同一个位置摔倒两次,所以要把平时遇到的问题记录下来。其实自己之前积攒了很多问题,想着一一把它记录下来(代码已经有了),可是随着时间的推移,之前的一些问题现在看上去还是自己太过初级了,就一直都没有动笔。Anyway,好记性不如烂笔头,还是要行动起来。 2021-07-20 总结 spark
工作心得总结 工作经验总结 为什么要写这个总结 自己工作以来,前期的成长还是比较快的,可以快速的学习技术,业务知识,与人沟通的能力,但是也有几点没有学好,比如:总结的能力,展示汇报的能力,以及表达自己观点的能力...这几点自身感觉是没有明显的提升。可能与我自身的性格、想法有关,仿佛自己一直在觉着只要写好代码,做好工作就行了,最开始还觉着很潇洒,慢慢觉着这样并不好,一直停留在固有的思维层面,这是比较可怕的。 2021-07-10 总结 经验总结
资源均分 资源均分 背景 这道题目说实话我目前还不知道最优或者标准的做法是什么,它不像是一些标准的dp、树啊之类的问题。 题目 假设在中东各个国家都有一定的石油库存,每个国家的库存可能不一样,现在你作为掌管石油的老大,你手中有M吨石油,如何分配石油给这些国家,让整体的石油分布看上去比较均衡,你可以分配手中的M吨石油,但是不能在各个国家之间调拨石油。你分配的越好,越不会引起战争。 2021-06-04 算法 资源均分