本文主要就Flink的使用进行记录
flink中文社区:https://ververica.cn/developers-resources/
一、Flink安装与使用
场景是在IDEA上使用Maven项目要进行flink的实验。
首先在pom文件中配置了flink的相关内容。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
<!-- flink -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.8.0</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.11</artifactId>
<version>1.8.0</version>
<scope>provided</scope>
</dependency>
<!-- scale -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-scala_2.11</artifactId>
<version>1.8.0</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-scala_2.11</artifactId>
<version>1.8.0</version>
<scope>provided</scope>
</dependency>
上述配置文件的Scala的下载安装指南可以通过这个教程完成:https://www.runoob.com/scala/scala-install.html
在安装完Scala之后,然后需要对项目添加Scala的框架支持(Add FrameWork Support)。我们需要在IDEA上安装Scala的插件,才能为项目添加Scala框架支持。在这里遇到了问题。
问题:在Setting->Plugin的marketplace中搜索Scala插件不显示
问题分析应该是在中国大陆不支持plugin在IDEA上的安装。
网上的方法有三种:
- Appereance -> System Settings -> Updates -> User secure connection选项去除选择。但是在IDEA2019.3之后的版本已经没有了这个选项
- 配置代理。由于没有自己没有服务器,所有没有试这个方法。
- 下载Scala的文件,手动导入IDEA的plugin文件夹中。但是这个方法在mac上不适用。
Solution:
最后我们使用了去IDEA官网的插件板块,下载了对应的Scala插件包。这里要注意选择的插件版本要与自身IDEA的版本相对应。之后在IDEA的plugin模块选择Install Plugin From Disk,将插件包导入,就此完成Scala在IDEA上的配置。
注意:一定是IDEA官网的插件包,而不是Scala官网对应版本的Scala压缩文件。