Austin

最近我已经在bilibili更新Austin的视频了哟，求关注和三连！这是我更新的动力！！

https://space.bilibili.com/198434865/channel/collectiondetail?sid=435119

项目介绍

austin项目核心功能：统一的接口发送各种类型消息，对消息生命周期全链路追踪

项目出现意义：只要公司内有发送消息的需求，都应该要有类似 austin的项目，对各类消息进行统一发送处理。这有利于对功能的收拢，以及提高业务需求开发的效率

系统项目架构

austin项目核心流程：austin-api接收到发送消息请求，直接将请求进 MQ。austin-handler消费 MQ消息后由各类消息的Handler进行发送处理

Question ：为什么发个消息需要MQ？

Answer：发送消息实际上是调用各个服务提供的API，假设某消息的服务超时，austin-api如果是直接调用服务，那存在超时风险，拖垮整个接口性能。MQ在这是为了做异步和解耦，并且在一定程度上抗住业务流量。

Question：能简单说下接入层做了什么事吗？

Answer：

Question：austin-stream和 austin-datahouse的作用？

Answer：austin-handler在发送消息的过程中会做些通用业务处理以及发送消息，这个过程会产生大量的日志数据。日志数据会被收集至MQ，由 austin-stream流式处理模块进行消费并最后将数据写入至 austin-datahouse

Question：austin-admin和 austin-web和 austin-cron的作用？

Answer：autsin-admin是 austin项目的前端项目，可通过它实现对管理消息以及查看消息下发的情况，而 austin-web则是提供相关的接口给到 austin-admin进行调用（austin项目是前后端分离的）

业务方可操作 austin-admin管理后台调用 austin-web创建定时发送消息，austin-cron就承载着定时任务处理的工作

使用姿势

目前引用的中间件教程的安装姿势均基于 Centos 7.6，austin项目强依赖 MySQL/Redis/(大概需要2G内存)，弱依赖 kafka/prometheus/graylog/flink/xxl-job/apollo(完全部署所有的服务，大概8G+内存)。如果缺少相关的组件可戳：安装相关组件教程。

实在想要 clone项目后不用自己部署环境直接在本地启动 debug，我这提供了会员服务，直连部署好的服务器

1、austin使用的MySQL版本5.7x。如果目前使用的MySQL版本8.0，注意改变 pom.xml所依赖的版本

2、填写 application.properties中 austin-database对应的 ip/port/username/password信息

3、执行 sql文件夹下的 austin.sql创建对应的表

4、如果配置 austin.mq.pipeline=kafka，需要填写 application.properties中 austin.kafka对应的 ip/port信息

5、填写 application.properties中 austin.redis对应的 ip/port信息

6、检查消息队列topic：austin.business.topic.name(我的topicName为：austinBusiness)

7、以上配置信息都在 application.properties文件中修改。(prometheus/graylog/flink/xxl-job/apollo可选)

8、austin前端管理系统部署（一分钟即能打开），戳GitHub或Gitee查看

9、发送渠道账号的信息都在账号，配置的示例可参照对应的提示案例

10、新建一个模板消息(邮件门槛相对较低，建议配置邮件)

11、测试发送一条消息

12、正常使用数据管理(查看实时数据链路下发)需要将 austin-stream的 jar包上传至 Flink，根据部署文档启动Flink。在打 jar包前需要填写 com.java3y.austin.stream.constants.AustinFlinkConstant中的 redis和 kafka的 ip/port（注：日志的topic在 application.properties中的 austin.business.log.topic.name。如果没有该topic，需要提前创建，并使用Kafka作为消息队列实现)

13、正常使用定时任务需要部署 xxl-job，根据部署文档启动xxl的调度中心，并在 application.properteis中填写 austin.xxl.job.ip和 austin.xxl.job.port

14、正常使用分布式日志采集需要部署 graylog，根据部署文档启动 graylog，并在 application.properteis中填写 austin.grayLog.ip

14、正常使用系统监控需要部署 promethus和 grafana，根据部署文档配置 grafana图表

15、正常使用动态配置中心需要部署 apollo，根据部署文档启动 apollo,通过docker-compose启动需要在AustinApplication注入对应的ip和port(可看注释)

会员服务

收费课程是以项目为主，代码在Gitee和GitHub上都是开源的，项目没有商业版，后面也不会有。那么，付费跟我自己去拉Git仓库拉代码下来看有什么区别？

1、有很多人的自学能力和基础确实不太行，不知道怎么开始学习，从哪开始看起，学习项目的过程中会走很多弯路，很容易就迷茫了。付费最跟自学最主要的区别就是我的服务会更周到。

我会告诉你怎么开始学这个开源项目，哪些是重点需要掌握的，如何利用最短的时间把握整个系统架构和编码的设计，把时间节省下来去做其他事情。

2、一个生产环境的系统肯定会依赖各种中间件，《消息推送平台-Austin》也是一样的。我专门买了两台服务器已经搭建好必要的依赖，付费的可以使用我的远程服务器，在本地就可以直接启动运行体验和学习

3、项目在编写的过程中也经历多次的重构迭代，迭代的内容我是不会将以往文章内容重新修正发布，但语雀的文档内容一定是及时同步，文档跟代码是保持一致的

4、干练清爽的项目commit，可一步一步跟着commit还原整个系统的过程

5、除了项目，还可以问我些学习经验、学习路线、简历编写、面试经验等等问题，技术和学习上的知识知无不言

详情可以看戳：我开通了付费渠道

项目交流

由于austin项目交流群已经超过了两百人，添加我的个人微信备注：【项目】，我空的时候会拉进项目交流群里

如何准备面试？

对线面试官公众号持续更新面试系列文章（对线面试官系列），深受各大开发的好评，已有不少的同学通过对线面试官系列得到BATTMD等一线大厂的的offer。一个讲人话的面试系列，八股文不再是背诵。

想要获取这份电子书，点击关注下方公众号，回复「对线」得到我的联系方式即可进群获取电子书

里程碑

• [X] Maven+SpringBoot项目搭建
• [X] logback日志记录项目运行时信息，引入common/guava/Hutool/Lombok/fastjson/OkHttp工具包
• [X] 接入腾讯云渠道发送一条短信
• [X] 使用SpringData JPA将短信发送记录存储至MySQL
• [X] 使用SpringBoot接入Kafka
• [X] 利用责任链完成对接入层的请求进行封装（责任链模式）
• [X] 消费层实现数据隔离（线程池：生产者与消费者模式）
• [X] 通用去重消息功能（SpringBoot接入Redis并使用pipeline减少网络请求）
• [X] 配置服务器和docker容器以及SpringBoot应用的监控（prometheus+Grafana+auctuator）
• [X] 接入分布式配置中心完成 丢失消息、白名单以及账号配置（Apollo分布式配置中心）
• [X] 邮件渠道接入
• [X] 日志链路数据追踪 + 注解式打印日志（优雅打印日志以及数据埋点）
• [X] 接入GrayLog分布式日志收集框架
• [X] 引入前端低代码平台AMIS搭建后台管理页面
• [X] 接入分布式定时任务框架定时发送任务（xxl-job定时任务框架），编写上传文件接口并使用LazyPending批处理人群文件数据
• [X] 接入实时流计算平台（Flink），实时日志数据根据用户维度和消息模板维度清洗至Redis
• [X] 通过AMIS低代码平台接入echarts图表展示实时聚合后的数据
• [X] 优雅停机、动态线程池参数配置
• [X] 企业微信渠道接入
• [X] 夜间屏蔽次日早晨推送（xxl-job定时任务框架，另类的延时队列）
• [X] 钉钉渠道接入
• [X] 单机限流实现
• [X] 引入单测框架，编写部分单测用例
• [X] 接入微信服务号渠道(已有pull request代码，待调试)
• [X] 接入微信小程序渠道(已有pull request代码)
• [X] 接入PUSH渠道
• [X] 接入云片短信渠道，并短信支持流量配置，拉取腾讯云短信回执
• [X] 完成接入钉钉机器人渠道所有类型的消息
• [X] 完成接入钉钉工作渠道所有类型的消息，包括对文件素材的上传功能
• [X] Kafka消息支持tag过滤
• [X] MQ层支持可插拔，默认使用eventbus单机队列，Kafka变为弱依赖
• [X] 渠道账号改为读取数据库，优化短信回执拉取功能
• [X] 接入微信服务号渠道（发送模板消息）完成
• [ ] 总体架构已完成，持续做基础建设和优化代码

近期更新时间：11月30号

近期更新功能：接入微信服务号渠道（发送模板消息）完成