m3u8players
本站致力于IT相关技术的分享
构建集成动态索引与安全凭证管理的 Iceberg 特征存储层 构建集成动态索引与安全凭证管理的 Iceberg 特征存储层
我们的机器学习推理服务正面临一个严峻的瓶颈：特征获取延迟。模型需要从存储在S3上的PB级Apache Iceberg表中实时拉取特征，但现有的基于分区裁剪的查询方式，即使在经过调优后，对于需要稀疏、高基数特征的场景，依然会扫描大量不必要的数
2023-10-27 数据工程
Apache Iceberg Scikit-learn HashiCorp Vault 索引优化 状态管理
在Micronaut中构建基于ELK和Delta Lake的可观测Saga事务审计日志 在Micronaut中构建基于ELK和Delta Lake的可观测Saga事务审计日志
在微服务架构中，处理跨多个服务的业务流程所引发的数据一致性问题，始终是一项严峻的挑战。一个典型的场景是电商下单流程：创建订单、锁定库存、处理支付。这三个操作分布在不同服务中，任何一步失败都可能导致数据不一致。传统的分布式事务（如两阶段提交）
2023-10-27 分布式系统
ELK Stack Micronaut Saga Pattern Delta Lake
基于阿里云 OIDC Provider 与 RAM 角色的 Docker 容器动态凭证注入实践 基于阿里云 OIDC Provider 与 RAM 角色的 Docker 容器动态凭证注入实践
生产环境的 AccessKey (AK/SK) 密钥管理始终是个难题。硬编码在代码里是灾难，存放在配置文件或环境变量中也只是五十步笑百步，一旦容器镜像或主机环境被攻破，长期有效的凭证就会彻底暴露。密钥轮换更是一项繁重且容易出错的运维任务。我
2023-10-27 云原生与DevOps
Docker Alibaba Cloud OpenID Connect (OIDC) RAM Security
基于NATS JetStream与Celery构建满足BASE原则的异步任务架构及其ELK可观测性闭环 基于NATS JetStream与Celery构建满足BASE原则的异步任务架构及其ELK可观测性闭环
一个生产级的系统，其价值不仅在于完成业务功能，更在于它如何应对失败、如何被观测、以及如何水平扩展。当面临需要处理耗时操作（如视频转码、报告生成、数据批处理）并向前端提供实时状态反馈的需求时，一个简单的同步请求-响应模型会迅速暴露出其脆弱性。
2023-10-27 分布式系统
ELK Stack NATS Celery Zustand BASE
基于 IAM 角色切换为容器化 React 应用实现 DynamoDB 租户级数据隔离 基于 IAM 角色切换为容器化 React 应用实现 DynamoDB 租户级数据隔离
多租户 SaaS 应用的核心挑战之一是数据隔离。一个租户的逻辑错误或安全漏洞绝不能影响到另一个租户。在真实项目中，仅靠应用层的 WHERE tenant_id = ? 过滤条件来保障数据安全是脆弱且危险的。这种方式将整个系统的安全性寄托于每
2023-10-27 架构与设计
DynamoDB React 容器化 IAM 多租户 AWS
使用 Clojure 与 containerd API 构建一个运行在 GCP 上的多语言任务执行器 使用 Clojure 与 containerd API 构建一个运行在 GCP 上的多语言任务执行器
我们需要一个机制，用于在隔离环境中按需执行不可信的、短暂的计算任务。这些任务可能是数据后处理脚本、用户提交的函数，或是 CI/CD 流水线中的一个构建步骤。一个常见的方案是在 Kubernetes 中为每个任务启动一个 Pod，但这对于生命
2023-10-27 云原生
containerd Clojure Node.js Google Cloud (GCP) 分布式系统
2 / 5