??? ?? ???? ????? ??? ?? ???, ?? ?? ? ? ??, ?? ? ??????? ???????. 1. ??? ?? ???? Kafka, Kinesis, Socket ?? ???? ????????. Flinkkafkaconsumer? ?? Kafka? ???? ?? ?? ??? ???? ??? ??? ???? ?? ? ???? ???? ?? ????. 2. ? ???? ??? ? ??? (? : ROCKSDB)? ???? ?? ??? ????? ???? ?? ? ? ????????. ??? ???? ???, ???? ? ?? ???? ?????? ?? ???? ?????. ???, ?? ??? ?? ? ?? ?? ?????? ???? ?? ??? ??????. 3. ?? ???? MySQL, Redis, Kafka ?? Elasticsearch, Prometheus/Grafana ??? ??? ??? ?? ???????, ?? ???? ??? ??? ??? ??? ?? ????? ???????.

??? ?? ???? ??? ??? ??? ???? ???? ???? ???? ???? ?????. Java? Apache Flink? ??? ??? ???? ?????? ??? ?????. Flink? ?? ?? ??, ?? ??? ??? ?? ??? ????, ?? ?? ???? Java? ??? ???? ?? ??? ??? ????.

??? ?? ??? Java ? Flink? ???? ??? ?? ???? ?? ? ???? ?????? ??????.

1. ??? ?? ??? : ??? ??? ??? ???? ?? ??? ??

??? ??? ? ?? ??? ???? "??"?? ????. Flink? Kafka, Kinesis, ?? ? ?? ?? ?????? ?? ?? (Debezium? ??)? ?? ??? ??? ??? ?????.

• Kafka? ?? ????? ??? ??? ??? ??? ??? ??? ?? ???? ??? ?? ????? .
• FlinkKafkaConsumer ???? Kafka ???? ????? ?? ?? ?????. ??? ??? ?? ? ???????.
• ??? ??? ?? ?? ?? ?? ?? ?? ??? ???? ??? ? ?? ??? ???? ???? ???? ??? ???? ???? ?? ????.

?? ?? ? ?? :

 StreamExecutionEnvironment Env = StreamExecutionEnvironment.getexecutionEnvironment ();
Flinkkafkaconsumer <string> Kafkasource = New Flinkkafkaconsumer <> ( "Input-topic", New Simplestringschema (), ??);
env.addsource (kafkasource) .print ();

?? ??? JSON ?? AVRO? ?? ??? ??? ???? ??? ???? ???? ???? ????.

2. ?? ?? ? ? ?? : ???? ???? ????

??? ??? ???? ??? ??? ????. ??, ??, ???? ? ?? ?? ??? ???? ??? ???? ?? ? ? ????.

• ? ?? : ??? ?, ???? ? ? ?? ?? ?? ????? ???? ?????.
• ?? ??? : Flink? MemoryStateBackend, FSStateBackend, RocksDBStateBackend ? ?? ??? ???? ??? ?? ? ?? ??? ?? ??? ?? ?????.
• ?? ? : ??? ? ??, Flink? ?? ? ? ??? ???? ???? ??? ??? ?? ? ? ????.

?? ?? ?? ??? ?? ?? ?????.

 stream.keyby ( "userId")
    .window (tumblingeventtimewindows.of (time.minutes (1)))
    .sum ( "?? ???")
    .addsink (new ClickCountsink ());

? ???? ???? ??? ?? ??? ? ??? ??? ?? ?? ??? ?? ? ?? ?? ?????? ??????.

3. ?? ? ??? : ?? ??? ??? ?????

?? ? ???? ?? ??????, ??? ??? ?? Elasticsearch, Prometheus ?? Grafana? ?? ?????? ?? ??? ? ??? ???? ?????.

• ???? ?? ??? ??? ????.
  • ???? ???? ?? MySQL/PostgreSQL? ????
  • ??? ????? Redis? ??????
  • ?? ??? ?? Kafka ?? ??? ????? ?????
  • Flink? ?? ? Prometheus Reporter? ??? ?????????

?????? Elasticsearch Kibana ?? Prometheus Grafana? ? ?? ???? ?????.

MySQL? ?? ??? ?? ?? :

 stream.addsink (jdbcsink.sink
    "user_clicks? ?? (user_id, count) ? (?,?)",
    (??, ??) -> {
        statement.setString (1, record.userid);
        statement.setint (2, record.clickcount);
    },
    jdbcexecutionOptions.builder (). Weflatchsize (1000) .build (),
    ??? jdbcconnectionoptions.jdbcconnectionoptionsbuilder ()
        .witHurl ( "JDBC : mysql : // localhost : 3306/analytics"))
        .withDriverName ( "com.mysql.cj.jdbc.driver")
        .withUserName ( "root"). withpassword ( "password"). build ()
));

??????? ??? ??? ??? ?? ?? ??? ?????????.

????? ?? ??. Java ? Flink? ???? ??? ?? ???? ???? ???? ?? ????? ? ??? ?? ??? ????? ?? ?? ? ?? ??? ? ??????. ??? ??? ?? ??? ????? Windows ? ??? ????? ???? ?? ??? ???? ???? ???? ????.

? ??? Java ? Flink? ??? ?? ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!