weflowly
本站致力于IT相关技术的分享
  文章分类
DevSecOps 2 分布式架构 1 后端架构 9 数据工程 2 架构设计 2 可观测性 3 分布式系统 1 DevOps 1 DevOps 实战 1 数据架构 1 架构与设计 2 全栈架构 1 云原生 1
整合 Spring Boot Kafka 与 SciPy 构建异构实时特征计算架构 整合 Spring Boot Kafka 与 SciPy 构建异构实时特征计算架构
一个常见的需求是为下游的风控或推荐系统提供实时的用户行为特征，例如“用户过去5分钟内的点击速率”、“交易金额的滚动标准差”等。当核心业务系统由Spring Boot构建，而特征计算的复杂算法模型由数据科学团队使用Python的SciPy库维
2023-10-27 数据工程
Ruby Kafka Spring Boot SciPy 架构设计
利用Elixir和LevelDB构建从Fluentd到数据仓库的弹性日志摄取层 利用Elixir和LevelDB构建从Fluentd到数据仓库的弹性日志摄取层
在处理分布式系统中海量、突发性的日志流时，核心挑战在于构建一个既能满足实时观测需求，又能保证数据最终无损落盘至数据仓库的摄取层。单纯依赖消息队列（如Kafka）和流处理框架（如Spark/Flink）的组合虽然功能强大，但在某些场景下显得过
2023-10-27 数据工程
Elixir LevelDB Fluentd Solid.js Data Warehouse