m3u8players
本站致力于IT相关技术的分享
  文章分类
云原生 3 MLOps 1 架构与设计 2 数据工程 4 架构设计 2 云原生与DevOps 1 分布式系统 4 可观测性 2 后端架构 3 DevOps 1 Python工程实践 1 可观测性工程 1 分布式架构 1 前端架构 1 平台工程 1
利用 Apache Hudi 增量流构建支持 LlamaIndex 的近实时混合检索 RAG 管道 利用 Apache Hudi 增量流构建支持 LlamaIndex 的近实时混合检索 RAG 管道
我们团队维护的一个基于 RAG 的内部知识库系统遇到了一个棘手的瓶颈：数据新鲜度。最初的架构简单粗暴，每晚通过 Spark 作业全量读取源数据，计算 embedding，然后将数百万文档向量完全重建到 OpenSearch 索引中。这个过程
2023-11-21 数据工程
Apache Hudi LlamaIndex Redis OpenSearch
基于 Go Echo 和 Vault 动态密钥构建 Snowflake Feature Store 安全 API 服务 基于 Go Echo 和 Vault 动态密钥构建 Snowflake Feature Store 安全 API 服务
在我们的机器学习平台中，将静态的 Snowflake 服务账户凭证硬编码或存储在 K8s Secret 中，一直是个令人不安的痛点。凭证一旦泄露，影响范围巨大；轮换凭证则是一场跨团队的协调噩梦，稍有不慎就会导致线上服务中断。我们需要一个方案
2023-10-27 数据工程
Go Snowflake 密钥管理 Feature Store Echo Vault
构建基于 CDC 和 NATS 的多源异构数据库实时向量同步管道 构建基于 CDC 和 NATS 的多源异构数据库实时向量同步管道
业务需求的变化总是比系统架构演进快一步。最近遇到的一个典型场景是：产品团队希望在一个集成了AI能力的全新前端应用上，提供对全量商品数据的语义化搜索。挑战在于，这些商品数据并非存放在单一、现代化的数据库中，而是散落在两个核心系统里：一套是运行
2023-10-27 数据工程
NATS Vite Qdrant Oracle MariaDB CDC
构建集成动态索引与安全凭证管理的 Iceberg 特征存储层 构建集成动态索引与安全凭证管理的 Iceberg 特征存储层
我们的机器学习推理服务正面临一个严峻的瓶颈：特征获取延迟。模型需要从存储在S3上的PB级Apache Iceberg表中实时拉取特征，但现有的基于分区裁剪的查询方式，即使在经过调优后，对于需要稀疏、高基数特征的场景，依然会扫描大量不必要的数
2023-10-27 数据工程
Apache Iceberg Scikit-learn HashiCorp Vault 索引优化 状态管理