Flink介绍

Posted by Shenpotato on February 8, 2020

本文主要就Flink的使用进行记录

flink中文社区:https://ververica.cn/developers-resources/

一、Flink安装与使用

场景是在IDEA上使用Maven项目要进行flink的实验。

首先在pom文件中配置了flink的相关内容。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
        <!--   flink     -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.8.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>1.8.0</version>
            <scope>provided</scope>
        </dependency>

        <!--   scale     -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.11</artifactId>
            <version>1.8.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.11</artifactId>
            <version>1.8.0</version>
            <scope>provided</scope>
        </dependency>

上述配置文件的Scala的下载安装指南可以通过这个教程完成:https://www.runoob.com/scala/scala-install.html

在安装完Scala之后,然后需要对项目添加Scala的框架支持(Add FrameWork Support)。我们需要在IDEA上安装Scala的插件,才能为项目添加Scala框架支持。在这里遇到了问题。

问题:在Setting->Plugin的marketplace中搜索Scala插件不显示

问题分析应该是在中国大陆不支持plugin在IDEA上的安装。

网上的方法有三种:

  • Appereance -> System Settings -> Updates -> User secure connection选项去除选择。但是在IDEA2019.3之后的版本已经没有了这个选项
  • 配置代理。由于没有自己没有服务器,所有没有试这个方法。
  • 下载Scala的文件,手动导入IDEA的plugin文件夹中。但是这个方法在mac上不适用。

Solution:

最后我们使用了去IDEA官网的插件板块,下载了对应的Scala插件包。这里要注意选择的插件版本要与自身IDEA的版本相对应。之后在IDEA的plugin模块选择Install Plugin From Disk,将插件包导入,就此完成Scala在IDEA上的配置。

注意:一定是IDEA官网的插件包,而不是Scala官网对应版本的Scala压缩文件。

二、DataStream Demo