火山引擎ByteHouse上线ELT能力进一步降低企业数字化维护成本玩加电竞

  新闻资讯     |      2023-09-24 23:34

  Oracle宣布Java 11长期支持延长至2032年,Java 21引领未来趋势

  华为平板十周年:发货量超1亿台,MatePad Pro 13.2英寸即将登场

  亿图脑图移动端V7.0.0推出一键生成竖屏海报,提升思维导图在手机上的阅读体验

  TCL 115X11G Max:2万分区背光,打造“沉浸式”高端影像体验!

  TCL巨幕阵营再添“新势力”!全球首款20000+级分区QD-Mini LED电视登场,让生活更有品质

  火山引擎ByteHouse上线ELT能力,进一步降低企业数字化维护成本

  在数据分析场景中,企业使用的数据通常具备来源多样化的特点,如支付交易记录、用户行为等,且数据格式各异,有的为行式存储结构,有的为列式存储结构。这就要求企业数仓具备一定的数据转换能力。

  传统方式是采用Extract-Transform-Load (ETL)来将业务数据转换为适合数仓的数据模型,然而,这依赖于独立于数仓外的ETL系统,导致维护成本较高。但随着云计算时代的到来,云数据仓库具备更强扩展性和计算能力,也要求改变传统的ELT流程。

  火山引擎ByteHouse是一款基于开源ClickHouse推出的云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析,同时还具备便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性。凭借其强大的计算能力,火山引擎ByteHouse目前已全面支持Extract-Load-Transform (ELT)的能力,让用户免于维护多套异构系统,产品易用性实现飞跃。

  通过ByteHouse的ELT能力,用户只需将数据导入,用自定义SQL语句在ByteHouse内部进行数据转换,无需依赖独立的ETL系统及资源。具体来说,ByteHouse主要通过以下三个能力实现ELT能力:

  首先,长任务管理。ByteHouse的查询时间为秒级,一旦查询中出故障,系统会直接返回错误并重试。在ETL场景下,如果一个任务已经执行50分钟才发生故障,重试意味着浪费了前50分钟的资源,影响任务推进。在ByteHouse中,SQL查询会被转化为一系列的算子,研发团队则通过提升算子的容错能力,来应对长时间查询下的系统故障问题,即当某个算子无法获得足够的内存时,系统允许该算子将一部分数据缓存在磁盘上,保证在资源紧张的情况下仍能够完成工作。

  其次,异步提交能力。面对大量长耗时的ETL任务时,传统的同步执行方式需要客户端等待服务端返回,容易出现超时问题,影响后续任务执行,而ByteHouse提供的异步提交能力,通过客户端的间歇性轮训来获得用户任务的最终状态,由此保障任务在规定时间内完成。

  最后,查询队列。当面临大量离线加工请求时,系统会出现超载。ByteHouse为此提供了查询队列能力,允许用户从队列大小、总CPU占用率、总内存占用率三个维度定义一个队列。

  具体来说,当用户向某队列提交查询时,ByteHouse可以通过组件监听各个队列中的查询指标,如果队列未达到上限,则会将查询入队,否则拒绝。除此之外,ByteHouse还会检查队列的资源利用率,当空闲资源高过某阈值时,自动将等待中的查询出队。利用查询队列,用户在编排ETL任务时无需担心底层资源过载,让开发更加便捷。

  长任务管理、异步提交和查询队列是火山引擎ByteHouse ELT的核心能力。未来,ByteHouse也会进一步迭代,支持转换函数、长任务容错、优先级队列等更丰富ELT功能,为用户提供更极致、更便捷的使用体验。(作者:郑敬兵)

  游戏是现实生活的延伸和补充,随着中国国力的增强和技术的进步,国产游戏出海的步伐在近些年不断加快。例如,东南亚地区的手游市场就成为中国游戏企业布局的重要目标,同时也是中旭未来上市后要布局的重要板块,并已取得了较好的成绩,旗下菲凡游戏出品的手游《MU:无限

  9月20日,技嘉AORUS正式官宣牵手知名电竞战队WBG英雄联盟分部成为其特约合作伙伴。技嘉AORUS将为WBG英雄联盟分部提供所需的主板配件产品支持,助力WBG英雄联盟分部在S13世界赛赛场取得好战绩,为中国电竞再添新彩!AORUS作为技嘉旗下高端电竞硬件品牌,为玩家提供全方位

  精致不失优雅,时刻从容高效,驰骋职场的精英们总能以这种独特的“松弛感”来迎接工作中的每一项挑战。而在这样极富魅力的态度背后,往往是有着高质量的效率和成熟稳定的协作团队在做支持,尤其是具备高效体验的三星Galaxy Tab S9系列平板电脑,是他们不可或缺的办公好

  亿图脑图移动端V7.0.0推出一键生成竖屏海报,提升思维导图在手机上的阅读体验

  近日,亿图脑图移动端V7.0.0版本上线,支持思维导图一键生成竖版海报,开拓了一种新的图文表现形式。思维导图作为一种便捷的可视化工具,被广泛应用于日常生活和工作场合中,然而,在手机终端成为主导的竖屏阅读时代,思维导图往往会出现排版复杂,显示效果不佳等问题,

  2023年9月19日,中国布艺清洗机行业首个标准——中国家用电器协会团体标准T/CHEAA 0024—2023《家用和类似用途布艺清洗机》(以下简称为“团标”)正式发布,这一里程碑标志着中国布艺清洗机行业的发展进入了一个全新阶段。在中国家用电器协会的号召带领下,布艺清洗机品类开

  9月19日下午,创π-第三届智慧物流应用式创新大赛宣讲会暨启动仪式在浙江大学紫金港校区举行。本次活动由杭州市拱墅区委人才办、杭州大运河数智未来城、浙江大学国家大学科技园、顺丰科技有限公司、顺丰创新中心联合主办。浙江大学教授、顺丰科技技术专家与校招负责人、

  TCL 115X11G Max:2万分区背光,打造“沉浸式”高端影像体验!

  近年来,家庭影院定制行业迅猛发展,特别是别墅、大平层的高品质影院用户每年需求量都在逐步攀升,受大环境影响国产电视品牌随之加入“巨幕电视”赛场,中国家庭彩电尺寸正变得越来越大。据洛图科技(RUNTO)发布的《全球液晶TV面板市场月度追踪》数据显示,中国电视市场在2023

  TCL巨幕阵营再添“新势力”!全球首款20000+级分区QD-Mini LED电视登场,让生活更有品质

  遥遥领先!TCL突破行业上限,打造全球首款20000+级分区QD-Mini LED电视在大屏电视细分市场中,TCL战略布局已实现75英寸、85英寸、98英寸全阵列Mini LED电视矩阵。根据Omdia全球电视机报告,在2022年全球98英寸电视市场出货量上,TCL以39.4%的市场占比断档领先。2023年,TCL再

  9月15日,2023金麦品质奖颁奖盛典在杭州隆重举行。本届盛典以“内生的力量”为主题,意在发掘和表彰那些在市场环境不断变化的今天,愿意回归产品本身,追求内在品质的企业。经过多轮评选和激烈角逐,林氏家居的两款产品“林氏家居儿童泡泡悬浮床”和“林氏家居净梦床垫

  9月12日,2023金域医学“域见杯”医检人工智能开发者大赛圆满落下帷幕。经过近三个月的角逐后,“Zlab”团队在728支参赛队伍中脱颖而出,摘得赛题一“智能临床咨询模型”的桂冠;“道”团队在513支参赛队伍中突出重围,在赛题二“智能染色体核型分析结果解读模型”中拔得

  全面二孩政策的实施已经进入第七个年头,随着家庭结构的变化,二孩家庭的教育问题逐渐引发社会关注。最近,西安的刘紫宸和刘紫程姐妹俩因为在第二届iEnglish英语风采秀中的出色表现,引发了广泛关注。她们的母亲,一位海归人士和英语教育工作者,用独特的教育理念和方法,成功

  我国是一个发展中的大国,综合国力的日益增强让中国在国际舞台上的身影趋于活跃。然而要想立好大国形象,单有综合国力是不够的,还要有文化软实力和文化输出。中国一直在强调中国人要建立自己的文化自信,要走出国门,并“向世界讲好中国故事”。在热播的第二届iEnglish英语

  TYAN采用全新AMD EPYC 8004系列处理器,适于各种云和边缘服务器部署

  【加州纽瓦克电2023年9月18日】隶属神达集团,神雲科技旗下的服务器通路领导品牌TYAN®(泰安)今天宣布推出支持AMD EPYC™ 8004系列处理器的新款服务器平台,新平台主要为云端服务和智能边缘应用部署而设计,同时提供更低的营运成本与出色的能源使用效率。神雲科技服务器架

  2023年9月15日,第八届“创客中国”新一代信息技术中小企业创新创业大赛、2023年中国移动创客马拉松大赛移动云专题赛决赛圆满收官。工业和信息化部网络安全产业发展中心(工业和信息化部信息中心)副主任董晓鲁,中国移动云能力中心副总经理孙少陵,以及新一代信息技术领

  在又薄又脆的蛋壳上雕刻精美图案,拼图比赛中用速度“碾压”一众挑战者,精准识别指定器械并稳稳送至人的手中……凭借展台上的高能表现,广东天机智能系统有限公司(以下简称“天机”)在2023年中国国际工业博览会上成为众人瞩目的焦点。本次大会,天机携七轴力控协作机器

  Oracle宣布Java 11长期支持延长至2032年,Java 21引领未来趋势

  华为平板十周年:发货量超1亿台,MatePad Pro 13.2英寸即将登场

  IFA 2023:三星SmartThings致力于满足消费者对于居家科技的新渴求

  用在线文档就能减碳,腾讯文档与SSV碳中和实验室邀你开启全新“碳索”之旅

  亿图脑图移动端V7.0.0推出一键生成竖屏海报,提升思维导图在手机上的阅读体验

  本网站LOGO小熊标志受版权保护,版权登记号:鲁作登字-2015-F-025467,未经ITBEAR官方许可,严禁使用。玩加电竞