Data Lake Analytics + OSS数据文件格式处理大全 (yq.aliyun.com)

【简介】

Data Lake Analytics是Serverless化的云上交互式查询分析服务。用户可以使用标准的SQL语句，对存储在OSS、TableStore上的数据无需移动，直接进行查询分析。

目前该产品已经正式登陆阿里云，欢迎大家申请试用，体验更便捷的数据分析服务。
请参考https://help.aliyun.com/document_detail/70386.html 进行产品开通服务申请。

点击查看原文 >>

由 @可耐芊小仙女 2019-02-28 17:08 / 0个评论
要不要再学学下面的文章？
Hive SQL如何找出连续日期数据之间的较大波动 (ixyzero.com)
本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动，适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据，通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例，通过阈值设定（如倍数增加或p90分位数）识别异常值，帮助分析用户行为或数据波动，为风控和数据监控提供技术支持。
by @技术头条 2024-11-02 16:52 查看详情
Linux 文件管理之特殊权限 (frytea.com)
本文介绍了 Linux 中的特殊权限设置，包括 SUID、SGID 和 Sticky Bit。SUID 允许普通用户执行特定程序时以程序属主的权限运行；SGID 使目录中文件继承目录属组，便于共享；Sticky Bit 则限制用户删除或重命名共享目录中的文件。通过这些权限设置，用户可实现更灵活的文件与目录管理。
by @技术头条 2024-11-02 16:46 查看详情
Linux 文件管理之默认权限 umask (frytea.com)
本文介绍了 Linux 中的 `umask` 命令，用于设置文件和目录的默认权限。通过修改 `umask` 掩码值，可控制新建文件的权限，如将 `0022` 改为 `0002` 以调整用户组权限。文章演示了如何查看和更改 `umask`，以及如何使修改永久生效。
by @技术头条 2024-11-02 16:41 查看详情
新一代实验分析引擎：驱动履约平台的数据决策 (tech.meituan.com)
本文介绍了美团履约技术平台的新一代实验分析引擎，该引擎对核心实验框架进行了标准化，并融合了众多先进解决方案，有效解决小样本挑战。同时，提供了多样化的溢出效应应对策略，并针对不同业务场景提供了精准的方差和P值计算方法，以规避统计误差。希望对大家有所帮助或启发。
by @技术头条 2024-11-02 16:18 查看详情
OpenCV 模糊处理图片中包含的二维码 (blog.wangmao.me)
之前在某电商 App 上浏览商品评论区时，发现一些晒单照片中包含的二维码被马赛克处理了，从马赛克的处理痕迹来看不像是用户手动处理的，更像是机器识别+处理的，对此我更好奇其实现原理了。

借助 ChatGPT，了解到主流的处理方式是通过 OpenCV 识别二维码的位置，并创建一个模糊图层对其覆盖。
by @技术头条 2024-08-06 07:37 查看详情
Go 中的高速数据包处理:从 net.Dial 到 AF_XDP (colobu.com)
最近编写了一个Go程序，向数百万个IP地址发送ICMP ping消息。显然，希望这个过程能尽可能快速高效地完成。因此,这促使我研究各种与网络栈交互和快速发送数据包的各种方法。这是一个有趣的旅程,所以在本文中,我将分享一些学习成果,并记录下来供将来参考:)你将看到，仅使用8个内核就可以达到1880万数据包/秒。这里还有一个GitHub仓库,其中包含了示例代码,可以方便地跟随学习。
by @技术头条 2024-03-21 22:55 查看详情
防止数据泄露的高效策略-翻译整理 (ixyzero.com)
简单来说，就是数据安全左移，在每一个阶段都做卡点和检测，提高入侵/获取敏感数据的成本，减少后续阶段的日志告警量，提高告警检测准确率，利用自动化工具/平台提高响应的速度和效率。
未授权不可访问；有账号凭证要检测是否正常（常用设备、常用网络、常见时间、常见操作行为、……）；有账号也仅知其所需最小权限；梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地，大部分操作在线即可完成，系统埋点要全面和准确；对于数据下载和外发格外关注，下载设备的DLP的健康状态和策略的有效性需要及时检查。
by @技术头条 2024-03-12 22:56 查看详情
将S端目录mount到C端文件系统中 (blog.nsfocus.net)
S、C两台Linux。想在S端执行一个静态ELF，并在C端执行与之配合的程序，将S端指定目录mount到C端文件系统中，使得C端可以只读方式访问mount点。有点类似NFS的需求，但S端比较特殊，不考虑NFS Server在S端布署成功的可能。希望是一批静态ELF在S端执行，对权限控制、写操作无要求。

网上求助后，若干网友提及几种备选方案，包括但不限于sshfs、rclone、dufs。其中sshfs依赖S端sftp服务可用，目标环境S端不满足此要求，但本文记录了sshfs的常规用法。作为WebDAV服务端，dufs比rclone小巧许多，只有3.6MB。作为客户端，rclone支持多种协议，不确认dufs能否用作客户端，本文WebDAV客户端统一用rclone或Windows。本文简单演示了对权限控制、写操作的支持。
by @技术头条 2024-03-12 22:46 查看详情
基于接口数据变异的App健壮性测试实践 (tech.meituan.com)
本文主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念；第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路；第三部分主要解读了变异数据的构造和异常检测方案设计；第四部分介绍了精简变异数据的探索方案。
by @技术头条 2024-03-12 22:45 查看详情
个人数据安全不完全指南 (thiscute.world)
这里介绍的并不是什么能一蹴而就获得超高安全性的傻瓜式方案，它需要你需要你有一定的技术背景跟时间投入，是一个长期的学习、实践与方案迭代的过程。另外如果你错误地使用了本文中介绍的工具或方案，可能反而会降低你的数据安全性，由此产生的任何损失与风险皆由你自己承担。
by @技术头条 2024-03-12 22:32 查看详情
使用微博登录，分享你的文章到本站