BR 技术头条
yq yq.aliyun.com / 2019-10-30 16:23 / by @技术小编443

数据中台构建产品Dataphin到底能支持哪些数据源?

业务数据存储是业务系统最基本的构成,构建数据中台,就是要将这些数据集中起来放到一个有更强算力的地方集中处理,所以对于数据集成的能力是构建数据中台最基本要求;

从存储的发展历程来看,由于不同的业务场景需求,带来了数据存储的不同发展路径,在企业发展中随着业务规模的变化,也会选择不同的存储来支撑,所以每个企业一定会存在异构存储,如何将多源异构存储中的数据集成起来是企业做数据中台需要面临的一个巨大问题;

当然,目前行业内有很多人采用一些开源技术组件来实现,比如GitHub上的DataX、HData等,但是由于技术组件的易用性较弱,对于分析师和模型师而言,学习效率和使用便捷度还有待提高;因此集中式、界面化的工具尤为重要;

发表评论

相关分享

so soulteary.com / 2026-05-08 00:01

构建稳定的 CAN 网络通信桥梁:CAN-Bridge

一个使用 Golang 构建的轻量级 CAN 管理服务:CAN-Bridge。作者把复杂的 CAN 配置、端口初始化、状态检测、报文收发封装成 HTTP API,不用再写脚本和记 SocketCAN 指令,还支持自动恢复、Prometheus 监控和容器化部署。适合机器人、工业控制、车载设备等场景做稳定化改造。

无图
ix ixyzero.com / 2025-01-12 12:08

学习了解数据仓库中的分层概念

本文详细介绍了数据仓库的分层概念,包括数据运营层(ODS)、数据仓库层(DW)和数据应用层(APP)。其中,DW层进一步细分为数据明细层(DWD)、数据中间层(DWM)和数据服务层(DWS)。文章阐述了各层的功能和作用,并通过实例说明如何在实际业务中应用这些分层概念。该内容适合数据工程师、数据分析师、数据架构师以及对数据仓库设计和实现感兴趣的技术人员阅读。

无图
bl blog.delphij.net / 2025-01-03 00:15

数据的长期保存

这篇文章探讨了长期数据保存的策略与实践,详细分析了存储介质的选择、数据完整性保障方法以及常见的管理问题和解决方案。作者结合实践经验,提出了一套适用于个人和企业的数据保存规划。内容适合关注数据存储、安全备份及长期保存技术的开发者、IT 管理人员,以及对数据安全感兴趣的读者,提供了具有实用价值的参考建议。

无图
pa paper.seebug.org / 2025-01-03 00:07

探索 AI 驱动的网络安全框架:深度学习技术、GPU 支持和未来增强

这篇文章详细分析了现代网络攻击中的 DGA(域名生成算法)技术,涵盖了其工作原理、分类及在恶意软件中的应用实例。通过技术解析和实际案例,展示了如何检测和防御 DGA 带来的安全威胁。内容适合网络安全研究人员、安全工程师以及对恶意软件分析感兴趣的技术爱好者,提供了系统化的学习参考。

无图
so soulteary.com / 2025-01-02 23:58

ThinkPad + Redis:构建亿级数据毫秒级查询的平民方案

如何用普通设备实现海量数据的毫秒级查询?文章分享了在 ThinkPad 上构建 Redis 系统的完整方案,详细解析了数据分片、查询优化和资源调配等关键技术,还提供了针对高效查询的实际案例。轻量化实现,高性能表现,为开发者提供了实用的参考思路,值得深入学习!

无图
ix ixyzero.com / 2024-11-02 16:52

Hive SQL如何找出连续日期数据之间的较大波动

本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动,适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据,通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例,通过阈值设定(如倍数增加或p90分位数)识别异常值,帮助分析用户行为或数据波动,为风控和数据监控提供技术支持。

无图
hi hiwannz.com / 2024-11-02 16:45

一次产品重构的复盘

本文深入复盘了一次完整的产品重构过程,明确了重构的时机和阶段性目标。重构中主要解决了架构混乱、性能瓶颈和用户体验不佳等问题。具体操作包括重构代码模块、优化数据库查询、引入缓存机制,并通过用户行为数据来调整功能细节。作者还提出了应对重构风险的方法,如建立测试闭环、逐步发布和快速响应用户反馈,以确保重构效果和产品稳定性。

无图
zh www.zhangxinxu.com / 2024-11-02 16:22

时隔两年,Chrome也支持round等CSS数学函数了

本文介绍了CSS中的数学函数 `round()` 的新应用,它能实现多种取整方式,如上舍、下舍、四舍五入等,用于提升样式的精确控制。特别是在字体大小、动画步阶和响应式设计中,`round()` 可防止小数值带来的渲染偏差,使界面更一致。这一函数现已在Chrome中支持,为开发者提供了更灵活的布局工具。

无图
te tech.meituan.com / 2024-11-02 16:18

新一代实验分析引擎:驱动履约平台的数据决策

本文介绍了美团履约技术平台的新一代实验分析引擎,该引擎对核心实验框架进行了标准化,并融合了众多先进解决方案,有效解决小样本挑战。同时,提供了多样化的溢出效应应对策略,并针对不同业务场景提供了精准的方差和P值计算方法,以规避统计误差。希望对大家有所帮助或启发。

无图