文章 7
浏览 0
我在 GitHub 上的开源项目

我在 GitHub 上的开源项目

http_client Go 🤩1  ⭐️0  🖖0 http命令行工具 2. ringtone PLpgSQL 🤩1  ⭐️0  🖖0

理解Python装饰器(Decorator)

理解Python装饰器(Decorator)

理解Python装饰器(Decorator) Python装饰器看起来类似Java中的注解,然鹅和注解并不相同,不过同样能够实现面向切面编程。 想要理解Python中的装饰器,不得不先理解闭包(closure)这一概念。 闭包 看看维基百科中的解释: 在计算机科学中,闭包(英语:Closure),又称词法闭包(Lexical Closure)或函数闭包(function closures),是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在,即使已经离开了创造它的环境也不例外。 官方的解释总是不说人话,but--talk is cheap,show me the code: ** # print_msg是外围函数 def print_msg(): msg = "I'm closure" # printer是嵌套函数 def printer(): print(msg) return printer # 这里获得的就是一个闭包 closure = print_msg() # 输出 I'm closure closure() msg是一个局部变量,在 print_ms....

docker-compose.yml 配置文件详解

docker-compose.yml 配置文件详解

一. 前言 关于 docker compos 技术可以查看官方文档 Docker Compose 以下的内容是确立在已经下载好 Docker 以及 Docker Compos,可参看 Docker Compos的官方安装教程 Install Docker Compose 二. Docker Compose 配置文件的构建参数说明 首先,官方提供了一个 yamlDocker Compose 配置文件的标准例子 version: "3" services: redis: image: redis:alpine ports: - "6379" networks: - frontend deploy: replicas: 2 update_config: parallelism: 2 delay: 10s restart_policy: condition: on-failure db: image: postgres:9.4 volumes: - db-data:/var/lib/postgresql/data networks: - backend deploy: placement: c....

Flink的Watermark机制

Flink的Watermark机制

0x00 摘要 对于Flink来说,Watermark是个很难绕过去的概念。本文将从整体的思路上来说,运用感性直觉的思考来帮大家梳理Watermark概念。 0x01 问题 关于Watermark,很容易产生几个问题 Flink 流处理应用中,常见的处理需求/应对方案是什么? Watermark究竟应该翻译成水印还是水位线? Watermark本质是什么? Watermark是如何解决问题? 下面我们就来简要解答这些问题以给大家一个大致概念,在后文中,会再深入描述。 问题1. Flink 流处理应用中常见的需求/方案是什么 聚合类的处理 Flink可以每来一个消息就处理一次,但是有时我们需要做一些聚合类的处理,例如:在过去的1分钟内有多少用户点击了我们的网页。所以Flink引入了窗口概念。 窗口 窗口的作用为了周期性的获取数据。就是把传入的原始数据流切分成多个buckets,所有计算都在单一的buckets中进行。窗口(window)就是从 Streaming 到 Batch 的一个桥梁。 带来的问题:聚合类处理带来了新的问题,比如乱序/延迟。其解决方案就是 Watermark /....

linux中单引号与双引号的区别与用法

linux中单引号与双引号的区别与用法

1.单引号 单引号将其中的内容都作为了字符串来,忽略所有的命令和特殊字符,类似于一个字符串的用法 echo 'This is a string' This is a string echo 'ls ./' ls ./ 1 2 3 4 2.双引号 双引号与单引号的区别在于其可以包含特殊字符(单引号直接输出内部字符串,不解析特殊字符;双引号内则会解析特殊字符),包括', ", $, ,如果要忽略特殊字符,就可以利用\来转义,忽略特殊字符,作为普通字符输出: var = 1 echo '$var' $var echo "$var" 1 echo "Here 'this is a string' is a string" Here 'this is a string' is a string echo "Here "this is a string" is a string" Here "this is a string" is a string 1 2 3 4 5 6 7 8 9 10 3.反引号 反引号用来包含一个命令字符串的,其中的命令会先执行,得到的结果会....

实用站点&软件

实用站点&软件

1.rpm搜索包 http://rpmfind.net/linux/rpm2html/search.php 2.Intellij主题网站 http://color-themes.com/?view=index 3.emq下载地址 https://www.emqx.io/cn/downloads#broker 4.再生龙clonezilla下载地址 http://www.clonezilla.org/downloads.php 5.在线根据文字生成字符画 http://patorjk.com/software/taag/#p=display&f=Graffiti&t=Type+Something+ http://www.network-science.de/ascii/ 6.根据图片生成字符画 https://www.degraeve.com/img2txt.php http://life.chacuo.net/convertphoto2char 7.根据流程图生成字符画 http://asciiflow.com/ 8.Mac OS 最强鼠标改键软件:Be....

开源日志管理方案 ELK/EFK

开源日志管理方案 ELK/EFK

一、关于ELK 1.1 ELK简介 ELK 是Elastic公司提供的一套完整的日志收集以及展示的解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana。 Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能 Logstash是一个用来搜集、分析、过滤日志的工具 Kibana是一个基于Web的图形界面,用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据 1.2 ELK日志处理流程 上图展示了在Docker环境下,一个典型的ELK方案下的日志收集处理流程: Logstash从各个Docker容器中提取日志信息 Logstash将日志转发到ElasticSearch进行索引和保存 Kibana负责分析和可视化日志信息    由于Logstash在数据收集上并不出色,而且作为Agent,其性能并不达标。基于此,Elastic发布了beats系列轻量级采集组件。 这里我们要实践的Beat组件是Filebeat,Filebeat是构建于beats之上的,应用于日志收集场景的实现,用....