几种匹配模式,今天涉及到了,在此记录。
nginx 转发错误 13 permission denied
ELK 单机部署,多 beat 节点
参考文章
适用场景:多个项目或服务,独立部署,各个服务有自己的 log 文件。为便于查看、过滤等,可单机部署 ELK 服务后,各个服务通过 filebeat 服务将 log 发送至 ELK 机器。
Elastic Beanstalk (EB) 引入 CloudWatch Log 服务
- 原因
现所有 EB 环境服务的 log,均以文件的形式,存储在 EB 机器本地。当机器因各种问题(包含但不限于 bug ),造成无法远程访问时,无法读取其上的 log 来定位问题。故引入 AWS 的 CloudWatch Log 服务。
保持ssh远程连接不断开
在AWS Lambda中使用psycopg2连接Redshift
- 环境:MacOS 10.12.6
开始说正题。
Redshift是基于PostgreSQL的二次开发应用,所以,能连接PostgreSQL的工具都可以用来连接Redshift。我选择的是使用最广泛的psycopg2。
在Spark中加载Redshift数据问题汇总
1. java.sql.SQLException: No suitable driver
这个错误是因为,连接Redshift时需要一个driver,而程序执行时找不到能用的driver,所以报错。AWS提供了多个版本连接Redshift的driver,点击查看。
「AWS」入门安装aws cli
cli,即Command Line Interface,是aws服务常用的命令工具
Golang 项目结构
好久没写 golang 的项目了,前两天接个临时需求,需求不难,但要求必须用golang来写。一时间竟然忘了如何开始,从哪入手了,故在此做个记录,以备不时之需。
AWS EMR 上运行 Spark + Kinesis: NoSuchMethodError: org.apache.spark.internal.Logging
如题,因有需求,这两天在弄这个Spark,用的是AWS的EMR,具体是什么就不解释了。上面这个问题卡了很久,故在此记录一下。