奉献获取
商人shang · 共 246 篇文章
svn 错误记录
svn: E235000: In file 'subversion/libsvn_wc/update_editor.c' line 1446: assertion failed (action == svn_wc_conflict_action_delete) 解决方案: svn update --set-depth empty; svn update --set-depth infinity; svn up
2020-03-10 16:40 · 疑难杂症 · 评论(0)
面试,究竟面什么?
在互联网这个行业里面,跳槽是一件极为常见的事情,所以,与之同步到来的一件事情就是面试。 做为面试官,你会用一些面试题来考察候选人;做为应聘者,你要准备面试以拿到offer。那么:面试,究竟面什么? 下面,通过我个人进行求职和参与面试的经历,做一些初步的总结。 1、专业能力 首先,作为企业来说,招人是为了能够让其创造价值,所以候选人必须具备该岗位/行业所要求的基本的专业知识,比如软件工程师的编程能力、产品经理的对行业的理解和对产品的设计能力、销售岗位进行市场推广的能力等。这些都是一个能想要胜任这个岗位的最基本的能力。 作为程序员,谈一下对于研发人员的要求。我基本上归纳为以下两点: (1) 编程…
2018-09-10 11:41 · 知识积累 · 评论(0)
从Kafka日志拆分来看系统架构
下面是根据最近的工作内容来思考做事的方式,说是系统架构稍微有点标题党了,但是我感觉也可以说是广义的系统架构。 一、做铺垫 目前笔者在基础数据部门做实时计算相关的内容,近期接触到的主要工作是Kafka日志拆分,也就是把最基础的全量的日志Topic拆分成多个小的Topic,供业务方使用。 其主要目的为: 让业务方只关注自己需要的数据,让业务更加简单和专注 降低业务方和Kafka测的成本 二、讲故事 做这件事情,其实有两种思路: 业务方提需求,数据服务侧完成需求 数据侧主动进行日志的拆分 下面对这两种方式进行一下比较,分析其利弊。 2.1 业务方提需求,数据服务侧完成需求 好处 :避免做不必要的工…
Flink 操作
Apache Flink是一个支持有边界的和无边界的数据流的有状态计算的框架。因为很多流式应用被设计成在最短的停机时间内持续运行,所以一个流式处理器必须提供卓越的失败恢复能力,同时提供工具在应用运行的时候监控和维护他们。 Flink非常关注流式处理的操作方面。下面,我们说明一下Flink的失败恢复机制并且列出他的管理和监控运行程序的特性。 一、 24/7不间断地运行你的应用 机器和处理失败在分布式系统中是非常常见的。为了可以七天二十四小时(24/7)的运行流式应用,像Flink这样的分布式流式处理器必须能够从失败中恢复。很明显,这意味着不仅仅是在失败以后重启嘤嘤,同时也要保证它内部状态的持续…
程序猿,认清自己处于什么阶段
从标题来看,这个话题是一个比较大的概念,这个话题,其实是我从工作一年多以后,一直持续不断地在思考这个问题,而现在把这个做一个个人总结。 曾经与一位同事聊天,谈到这话题,问他感觉自己现在处在什么阶段,他说:“我现在处在毕业一年的阶段!”所以,现在我想说的肯定不是这个,否则就无话可聊了~ 目前,我是一个工作四年的程序猿,按照个人经历大概分出以下四个阶段: 1、被老司机带 2、跟老司机走 3、成长为司机 4、变成老司机 阶段一:被老司机带 这个阶段,基本上是实习阶段或者刚毕业半年之内的新手。 这时候,我们对于专业知识有一定的了解和接触,甚至有些人看过比较先进或者高级的技术。但是实战能力比较弱,问题…
2018-07-09 12:52 · 项目心得 · 评论(0)
Flink 应用
Apache Flink 是一个支持有状态的计算的框架,它可以用来处理有边界的数据流和无边界的数据流。Flink 提供了多种不同抽象级别的API,并且提供对于常见的用例提供专用的函数库。 一、为流式应用构建好的模块 可以构建的并且被流式处理框架执行的应用类型是由框架是怎么来控制流、状态和事件来决定的。下面,我们将描述这些流式处理应用的构建块(building blocks),并且解释flink是怎么处理他们的。 1、流(Streams) 很明显,流是数据流处理的最基本的方面。然而,流的不同特性会影响这个流可以或者应该怎么样来处理。Flink是一个全能的处理框架,它可以处理任何种类的流。 **…
2018-07-06 16:44 · Flink · 评论(1)
Flink 架构
Flink是一个分布式的、有状态的计算框架,它可以处理无限的和有限的数据流。Flink原本设计的就是可以在所有的通常的集群环境,在内存中进行任意规模的计算。 一、处理无边界的和有边界的数据流 任何种类的数据都是以事件流的形式产生的,比如信用卡交易、传感器测量、机器日志或者用户在网站或者移动应用上的交互等,所有的这些数据都是以流的形式产生的。 数据可以以有边界的或者无边界的流的形式被处理。 1、无边界的数据流 无边界的数据流有一个开始但是没有定义好的结束。只要数据在生产并且在提供,那么它就不会中断。 无边界的数据流必须被持续地处理,也就是说在flink接收到数据以后必须迅速处理。因为数据是无边…
2018-07-04 20:56 · Flink · 评论(0)
Apache Flink 概览 - 有状态的流式计算
Flink的主要特性如下: 一、所有的流式使用用例 事件驱动的应用 流式 & 批量分析 数据 Pipelines & ETL 二、保证正确性 严格一次(Exactly-once) 状态一致性 基于消息时间(Event-time)的 处理 复杂的后期数据处理(Sophisticated late data handling) 三、分层的API 基于流和批量数据的SQL DataStream API 和 DataSet API 基于时间和状态的处理函数 四、操作重点(Operational Focus) 灵活的部署 高可用的设置 保存点(SavePoint) 五、扩展至任何用例 横向扩展的架构(…
2018-07-03 15:50 · Flink · 评论(0)
Flink window 的类型
一、Window Type 1、Global windows 2、Tumbling windows 3、Sliding windows 4、Session windows 5、WindowAll 二、Physical Partitioning 1、Custom 2、Random 3、Rebalancing 4、Rescaling 5、BroadCasting
2018-06-22 18:14 · Flink · 评论(0)
热点资讯,一网打尽
http://leaderanking.com/ 领航榜单,用热榜引领你航游网络。全网热点,一网扫尽。为您提供丰富的、多类目的排行榜信息。 这个是本人开发的一个小网站,吸收了多分类、多站点的排行榜,方便您进行热点咨询的查看,谢谢支持~ 如果您有什么意见或者建议,可以联系我:henushang@qq.com ,或者iteye的站内消息也可以。
2018-06-19 08:52 · 评论(0)
Java中的核心知识点
一、多线程篇 1、Java自带的线程池的类别、实现以及相关特性 2、ThreadLocal 类 3、synchronized、volatile、Lock类
2018-04-15 15:11 · 重新学Java · 评论(0)
Kafka 文章大全
https://blog.csdn.net/u013573133/article/details/48142677
JVM之基本的垃圾回收算法汇总
本章介绍基本的垃圾回收算法的,从不同的维度来划分回收的算法。 参考文章:http://pengjiaheng.iteye.com/blog/520228
2018-01-20 23:04 · 重新学Java · 评论(0)
思维导图-详细了解JVM和GC过程
今晚花了2个小时左右,看完了官方的一篇关于JVM和GC的文章,并且同时整理为思维导图,见下图。 对于详细的垃圾回收过程,从Eden到old generation,在原文中有非常详细的介绍。后续会抽时间把原文章进行翻译的。 并且思维导图的的原件也在附件中,有兴趣的可以下载。 参考文章:http://www.oracle.com/webfolder/technetwork/tutorials/obe/java/gc01/index.html
2018-01-18 00:04 · 重新学Java · 评论(0)