Severless SQL on OSS 实验(DataLakeAnalytics on OSS) (yq.aliyun.com)

【简介】

数据存储在OSS后,可以有多种方式查询分析OSS数据,如自建Spark/Presto/Impala(阿里云EMR以及Hadoop社区官方已支持OSS), 使用MaxCompute、DataLakeAnalytics等。

点击查看原文 >>

@幸运的猫耳 2018-06-20 16:23 / 0个评论
要不要再学学下面的文章?
SQL优化(3)-索引与优化原理(上) (example.com)
这一篇我们回归现实中的MySQL数据库,初步学习具体的SQL优化原则,并尝试从索引底层原理出发,分析为什么会有那么多的“规则”。
by @技术头条 2024-01-13 23:28 查看详情
SQL优化(2)-索引与B+树 (example.com)
对于60%的程序员而言,Java的三层架构Controller、Service、Dao可以说是“越往后走天越黑”,特别是到了Dao层,提着灯笼也只能看到脚边一米开外的河边小石子,只闻对岸风啸马嘶却不知到底是人是鬼,只能借着MyBatis或JPA这些ORM框架隔着宽宽的河举行一场又一场的刺刀战,你砍我一刀,我刺你一剑。

诚然,很多人对MySQL数据库的印象就是一个模糊的大铁柜,闭上眼睛深吸一口气仿佛还能嗅到一股铁锈味。只知柜子里藏着很多张表,表里面存着很多行数据,再详细一点的呢?不知道。

MySQL有太多太多细节,根本无法用四、五篇文章说透,但我仍希望这个系列的文章能成为非常好的入门教程,让从来没接触过SQL优化的同学也能快速建立较为系统的知识框架,方便日后学习其他专栏时进一步拓展。
by @技术头条 2024-01-13 23:28 查看详情
Hive SQL中的like和rlike (ixyzero.com)
以前知道SQL中的 like 和 rlike 是有区别的,差别主要在于前者只支持 百分号(%)——匹配任意数量的任意字符,和下划线(_)——匹配一个任意字符 作为特殊字符,后者支持正则匹配——功能更强大,但速度一般也较慢。所以我一般是简单的、希望速度快些的情况下用like做模糊匹配,其它场景用rlike实现。但是近期在分析日志的时候发现Hive SQL中的 like 和 rlike 除了在功能上有区别之外,过滤生成的结果也有差异,比较奇怪,在此记录一下,方便后面参考。
by @技术头条 2023-10-24 23:50 查看详情
使用 SQL 的方式查询消息队列数据以及踩坑指南 (crossoverjie.top)
为了让业务团队可以更好的跟踪自己消息的生产和消费状态,需要一个类似于表格视图的消息列表,用户可以直观的看到发送的消息;同时点击详情后也能查到消息的整个轨迹。
by @技术头条 2023-09-10 23:23 查看详情
开源软件供应链安全系列:OSS风险点与预防 (blog.nsfocus.net)
本文综合论文、博客、案例揭示了开源软件供应过程中风险点与防护手段,为渗透测试工程师、运维人员提供攻击、防守思路,为开发者开发、审查自己代码提供安全建议,为安全产品研发提供更多方向。
by @技术头条 2023-02-12 14:13 查看详情
开源软件供应链安全系列:OSS风险点与预防 (blog.nsfocus.net)
本文综合论文、博客、案例揭示了开源软件供应过程中风险点与防护手段,为渗透测试工程师、运维人员提供攻击、防守思路,为开发者开发、审查自己代码提供安全建议,为安全产品研发提供更多方向。
by @技术头条 2022-12-18 20:47 查看详情
数据库全量SQL分析与审计系统性能优化之旅 (tech.meituan.com)
全量SQL(所有访问数据库的SQL)可以有效地帮助安全进行数据库审计,帮助业务快速排查性能问题。一般可通过开启genlog日志或者启动MySQL审计插件方式来进行获取,而美团选用了一种非侵入式的旁路抓包方案,使用Go语言实现。无论采用哪种方案,都需要重点关注它对数据库的性能损耗。本文介绍了美团基础研发平台抓包方案在数据库审计实践中遇到的性能问题以及优化实践,希望能对大家有所帮助或启发。
by @技术头条 2022-07-24 20:48 查看详情
一款SQL检查审核神器!再也不担心写SQL出问题了 (mp.weixin.qq.com)
今天要分享的这款工具是一个和SQL相关的开源神器,它可以在一定程度上解决运维和开发之间常见的痛点一环(相信可能有小伙伴也有所体会),对于开发和运维来说也算是一种福音。
by @code小生 2022-05-15 09:50 查看详情
52条SQL语句性能优化策略,建议收藏! (mp.weixin.qq.com)
本文会提到 52 条 SQL 语句性能优化策略。

1、对查询进行优化,应尽量避免全表扫描,首先应考虑在 WHERE 及 ORDER BY 涉及的列上建立索引。

2、应尽量避免在 WHERE 子句中对字段进行 NULL 值判断,创建表时 NULL 是默认值,但大多数时候应该使用 NOT NULL,或者使用一个特殊的值,如 0,-1 作为默认值。
by @code小生 2022-04-10 21:11 查看详情
8种常见SQL错误用法 (mp.weixin.qq.com)
分页查询是最常用的场景之一,但也通常也是最容易出问题的地方。比如对于下面简单的语句,一般 DBA 想到的办法是在 type, name, create_time 字段上加组合索引。这样条件排序都能有效的利用到索引,性能迅速提升。
by @code小生 2022-03-24 09:19 查看详情