AWS EMR 上运行 Spark + Kinesis: NoSuchMethodError: org.apache.spark.internal.Logging

如题，因有需求，这两天在弄这个Spark，用的是AWS的EMR，具体是什么就不解释了。上面这个问题卡了很久，故在此记录一下。

Spark支持多种语言，如Scala、Java、Python、R，我用的是Python。

官方有个叫WordCount的Example，我没看，直接照着文档撸代码。Spark文档地址

初始化代码很简单，如下：

# main.py
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kinesis import KinesisUtils, InitialPositionInStream

aws_access_key_id = 'your-aws-access-key-id'
aws_secret_access_key = 'your-aws-secret-access-key'

if __name__ == '__main__':
    sc = SparkContext('local[*]', 'first_test0809')
    ssc = StreamingContext(sc, 1)
    kinesis_stream = KinesisUtils.createStream(
        ssc,
        'ssc_kinesis',
        'kinesistest',
        'https://kinesis.us-west-2.amazonaws.com',
        'region-name',
        InitialPositionInStream.TRIM_HORIZON,
        2,
        awsAccessKeyId=aws_access_key_id,
        awsSecretKey=aws_secret_access_key
    )

    kinesis_stream.pprint(500)

    ssc.start()
    ssc.awaitTermination()

kinesistest是我创建的一个kinesis streaming，会有源源不断的数据写到这个streaming里，Spark负责处理这个streaming里的数据。

接下来就是将这个文件部署到EMR上，依然是照着文档来操作。文档地址

不得不说，AWS的文档既简约又简单，却不明了，在这个文档的指引下，没有一次我是顺利走通的。

添加Step的命令：

aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=Spark,Name="Spark Program",ActionOnFailure=CONTINUE,Args=[--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/lib/spark-examples.jar,10]

这个命令要分为两部分来看，前部分是AWS自身的命令aws emr add-steps，后部分就是Args这个参数的值。
因为部署Spark程序实际上用的是spark-submit命令，而Args的值，都会传给spark-submit。

前半部分比较简单，cluster-id就是在创建EMR集群后自动生成的id，这里需要注意的是，创建的EMR集群必须要设置共有IP，这样外部机器才能访问到。Type固定为Spark，Name自己随便写，ActionOnFailure一般都传CONTINUE，其他可选值可通过aws emr add-steps help查看。

后半部分的Args的相关说明在这里，说的很详细。

在部署运行之后，会报一些ClassNotFound的错误，这种错误不要紧，把缺的jar文件当作参数传上去就能解决问题。Maven搜索地址1 | Maven搜索地址2

上面的main.py用到了两个没有的jar文件，kinesisi和kcl，为了便于观看，使用了另一种格式，如下：

1	$ aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps file://./step.json

将参数都抽取到一个josn文件中：

[
  {
    "Name": "Spark Program",
    "Type": "Spark",
    "ActionOnFailure": "CONTINUE",
    "Args": [
      "--master",
      "local",
      "--jars",
      "local:///home/hadoop/spark-streaming-kinesis-asl_2.11-2.4.3.jar,local:///home/hadoop/amazon-kinesis-client-1.11.1.jar",
      "local:///home/hadoop/main.py"
    ]
  }
]

注意，命令中所用到的所有文件，包括jar和py，都需要提前上传到机器上。具体上传方法见aws emr put命令

至此，所有的工作基本完成，你以为这样就可以跑起来了吗？
NO！

最麻烦的问题，就是Spark版本的问题。之前用的最多、最稳定的就是1.6.5版本的，现在最新版已经2.4.3了，里面变动不小，尤其是Logging这个类，直接内部化了。

仔细看会发现，上面的kinesis jar文件有两个版本号：2.11-2.4.3，后面的2.4.3是Spark大版本，前面的是什么我没查。在Maven里，这个版本最新的是2.12，所以最开始的时候我直接用了最新的，因为网上一直在强调的都是后面的2.4.3这个版本号，结果就出问题了，如题所写，总是报NoSuchMethodError。

2.0之前的，Logging的位置是org.apache.spark.Logging，2.0之后变成了org.apache.spark.internal.Logging，但我用的都是最新版，为什么总说找不到呢？想了想，想了又想，试了各种办法，都行不通，这个过程持续了一天多，让人头大。

后来不知是巧合，还是时候到了，偶然发现cluster机器上spark-core的版本号是2.11-2.4.3，报着尝试的心态从Maven下了2.11-2.4.3的kinesis jar文件，换上去一跑，哎，就这么成了。真是气人。

所以说呢，有些时候解决问题是很简单的，困难的是发现问题。