m3u8players
本站致力于IT相关技术的分享
构建一个解耦的异步可视化服务 Rails通过Sidekiq驱动Matplotlib 构建一个解耦的异步可视化服务 Rails通过Sidekiq驱动Matplotlib
在Web应用中直接生成复杂的数据可视化图表，是一个典型的性能陷阱。一个Ruby on Rails的Web进程如果同步调用一个重量级的绘图库（例如通过Python FFI或者shell-out执行脚本）来生成一张精细的Matplotlib图表
2023-10-27 架构与设计
Ruby on Rails Matplotlib Recoil Sidekiq React
构建集成动态索引与安全凭证管理的 Iceberg 特征存储层 构建集成动态索引与安全凭证管理的 Iceberg 特征存储层
我们的机器学习推理服务正面临一个严峻的瓶颈：特征获取延迟。模型需要从存储在S3上的PB级Apache Iceberg表中实时拉取特征，但现有的基于分区裁剪的查询方式，即使在经过调优后，对于需要稀疏、高基数特征的场景，依然会扫描大量不必要的数
2023-10-27 数据工程
Apache Iceberg Scikit-learn HashiCorp Vault 索引优化 状态管理
基于阿里云 OIDC Provider 与 RAM 角色的 Docker 容器动态凭证注入实践 基于阿里云 OIDC Provider 与 RAM 角色的 Docker 容器动态凭证注入实践
生产环境的 AccessKey (AK/SK) 密钥管理始终是个难题。硬编码在代码里是灾难，存放在配置文件或环境变量中也只是五十步笑百步，一旦容器镜像或主机环境被攻破，长期有效的凭证就会彻底暴露。密钥轮换更是一项繁重且容易出错的运维任务。我
2023-10-27 云原生与DevOps
Docker Alibaba Cloud OpenID Connect (OIDC) RAM Security
基于NATS JetStream与Celery构建满足BASE原则的异步任务架构及其ELK可观测性闭环 基于NATS JetStream与Celery构建满足BASE原则的异步任务架构及其ELK可观测性闭环
一个生产级的系统，其价值不仅在于完成业务功能，更在于它如何应对失败、如何被观测、以及如何水平扩展。当面临需要处理耗时操作（如视频转码、报告生成、数据批处理）并向前端提供实时状态反馈的需求时，一个简单的同步请求-响应模型会迅速暴露出其脆弱性。
2023-10-27 分布式系统
NATS Celery ELK Stack Zustand BASE
在Micronaut中构建基于ELK和Delta Lake的可观测Saga事务审计日志 在Micronaut中构建基于ELK和Delta Lake的可观测Saga事务审计日志
在微服务架构中，处理跨多个服务的业务流程所引发的数据一致性问题，始终是一项严峻的挑战。一个典型的场景是电商下单流程：创建订单、锁定库存、处理支付。这三个操作分布在不同服务中，任何一步失败都可能导致数据不一致。传统的分布式事务（如两阶段提交）
2023-10-27 分布式系统
ELK Stack Micronaut Saga Pattern Delta Lake
构建一套基于 eBPF 和 Ruby 的零侵入式 TCP 延迟监控管道并集成 NestJS 与 Matplotlib 可视化 构建一套基于 eBPF 和 Ruby 的零侵入式 TCP 延迟监控管道并集成 NestJS 与 Matplotlib 可视化
我们的一个核心业务API响应变慢，但应用层的日志和APM工具却看不到任何明显的瓶颈。该API依赖于一个老旧的Ruby on Rails服务和一个用NestJS重写的新服务，它们都需要连接同一个PostgreSQL集群。直觉告诉我，问题可能出
2023-10-27 可观测性
eBPF Matplotlib Ruby InfluxDB NestJS
2 / 5