标签: Spark

  • Java项目中混合Scala

    虽然我并不怎么用Scala,但是经常接触到一些Scala的开源库。由于Scala本身的特性,所以对于使用者而言,懂不懂Scala并不重要。

    Spark是由Scala编写,可以只用Java调用,但是有时候需要自定义其中的一些组件的时候可能Java并不能做到,这个时候就需要写一些Scala的代码。

    原有的项目是Gradle管理的,而Gradle本身提供了对于Scala的支持,简单来看看Gradle Scala插件。在build.gradle中添加两行

    apply plugin: 'scala'
    ...
    compile 'com.databricks:spark-csv_2.11:1.4.0'

    然后在目录结构中添加一个scala,位置在这里scala-project

    然后直接开始写就行了,不得不说IDEA和Gradle工作的都很好,运行还是直接运行,其他什么都不用改,直接运行就行了。

    scala-spark

    参考资料

    https://docs.gradle.org/current/userguide/scala_plugin.html…