Data Lake Analytics + OSS数据文件格式处理大全 (yq.aliyun.com)

【简介】

Data Lake Analytics是Serverless化的云上交互式查询分析服务。用户可以使用标准的SQL语句，对存储在OSS、TableStore上的数据无需移动，直接进行查询分析。

目前该产品已经正式登陆阿里云，欢迎大家申请试用，体验更便捷的数据分析服务。
请参考https://help.aliyun.com/document_detail/70386.html 进行产品开通服务申请。

点击查看原文 >>

由 @可耐芊小仙女 2019-02-28 17:08 / 0个评论
要不要再学学下面的文章？
Go 中的高速数据包处理:从 net.Dial 到 AF_XDP (colobu.com)
最近编写了一个Go程序，向数百万个IP地址发送ICMP ping消息。显然，希望这个过程能尽可能快速高效地完成。因此,这促使我研究各种与网络栈交互和快速发送数据包的各种方法。这是一个有趣的旅程,所以在本文中,我将分享一些学习成果,并记录下来供将来参考:)你将看到，仅使用8个内核就可以达到1880万数据包/秒。这里还有一个GitHub仓库,其中包含了示例代码,可以方便地跟随学习。
by @技术头条 2024-03-21 22:55 查看详情
防止数据泄露的高效策略-翻译整理 (ixyzero.com)
简单来说，就是数据安全左移，在每一个阶段都做卡点和检测，提高入侵/获取敏感数据的成本，减少后续阶段的日志告警量，提高告警检测准确率，利用自动化工具/平台提高响应的速度和效率。
未授权不可访问；有账号凭证要检测是否正常（常用设备、常用网络、常见时间、常见操作行为、……）；有账号也仅知其所需最小权限；梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地，大部分操作在线即可完成，系统埋点要全面和准确；对于数据下载和外发格外关注，下载设备的DLP的健康状态和策略的有效性需要及时检查。
by @技术头条 2024-03-12 22:56 查看详情
将S端目录mount到C端文件系统中 (blog.nsfocus.net)
S、C两台Linux。想在S端执行一个静态ELF，并在C端执行与之配合的程序，将S端指定目录mount到C端文件系统中，使得C端可以只读方式访问mount点。有点类似NFS的需求，但S端比较特殊，不考虑NFS Server在S端布署成功的可能。希望是一批静态ELF在S端执行，对权限控制、写操作无要求。

网上求助后，若干网友提及几种备选方案，包括但不限于sshfs、rclone、dufs。其中sshfs依赖S端sftp服务可用，目标环境S端不满足此要求，但本文记录了sshfs的常规用法。作为WebDAV服务端，dufs比rclone小巧许多，只有3.6MB。作为客户端，rclone支持多种协议，不确认dufs能否用作客户端，本文WebDAV客户端统一用rclone或Windows。本文简单演示了对权限控制、写操作的支持。
by @技术头条 2024-03-12 22:46 查看详情
基于接口数据变异的App健壮性测试实践 (tech.meituan.com)
本文主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念；第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路；第三部分主要解读了变异数据的构造和异常检测方案设计；第四部分介绍了精简变异数据的探索方案。
by @技术头条 2024-03-12 22:45 查看详情
个人数据安全不完全指南 (thiscute.world)
这里介绍的并不是什么能一蹴而就获得超高安全性的傻瓜式方案，它需要你需要你有一定的技术背景跟时间投入，是一个长期的学习、实践与方案迭代的过程。另外如果你错误地使用了本文中介绍的工具或方案，可能反而会降低你的数据安全性，由此产生的任何损失与风险皆由你自己承担。
by @技术头条 2024-03-12 22:32 查看详情
Linux上文件监控的踩坑分享 (www.cnxct.com)
在Linux主机安全产品HIDS中，文件监控是特别常见的需求，在实现方案上，Linux内核层提供了文件变动的通知机制fsnotify，然而，在高磁盘IO的主机上、不同版本的内核上以及海量监控目标中，将会面临哪些问题呢？业务性能与安全性如何做更好地取舍均衡？今天，我的小伙伴阿松给大家分享以下文件监控系统的建设历程。
by @技术头条 2024-01-17 23:09 查看详情
高效I/O并发处理：双缓冲和Exchanger (colobu.com)
双缓冲(double buffering)是高效处理I/O操作的一种并发技术，它使用两个buffer,一个goroutine使用其中一个buffer进行写，而另一个goroutine使用另一个buffer进行读，然后进行交换。这样两个goroutine可能并发的执行，减少它们之间的等待和阻塞。

本文还提供了一个类似Java的java.util.concurrent.Exchanger的Go并发原语，它可以用来在两个goroutine之间交换数据，快速实现双缓冲的模式。 这个并发原语可以在github.com/smallnest/exp/sync/Exchanger找到。
by @技术头条 2024-01-17 23:05 查看详情
Linux中使用tar压缩命令排除文件 (lisenhui.cn)
众所周知tar命令是在Linux系统中最为常用来解压缩文件的命令之一，之前大部分时候都直接用它来压缩备份或转移的文件内容，因此也未过多关注过它在压缩时的其它可选参数使用。但最近在转移文件遇到其占用空间比较大，考虑到里面有些内容并不是必须，于是想到如何来使用tar命令参数来实现，经过多次尝试，找到了个解决办法——使用exclude-from参数，可灵活控制不需要压缩文件，然后顺手做个记录分享。
by @技术头条 2023-12-26 22:19 查看详情
apt 软件源格式解析 (www.addesp.com)
每次安装完 Ubuntu 的第一件事情就是给 apt 换源，而换源过程基本就是复制粘贴，今天突然发现自己复制粘贴这么久也不知道粘贴了什么，于是了解了一下并分享出来。总之就是一篇看了也没什么用的文章，了解一下而已。
by @技术头条 2023-12-11 22:55 查看详情
利用HAR文件查看和诊断网络请求 (www.iszy.cc)
HAR（HTTP 归档）是多种 HTTP 会话工具用来导出所记录数据的 一种文件格式。这种格式基本上是 JSON 对象，并具有一组特定的字段。请注意，并非所有 HAR 格式的字段都是必填字段， 很多时候，部分信息不会保存到文件中。
by @技术头条 2023-11-29 23:36 查看详情
使用微博登录，分享你的文章到本站