如何面对数据项目开发和管理中的挑战--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

如何面对数据项目开发和管理中的挑战 (insights.thoughtworks.cn)

【简介】

近几年，随着数据和人工智能越来越受关注，数据与人工智能项目（统称数据项目）也遍地开花，和传统应用类项目相比，数据项目有其自身的特点和挑战，本文就来盘一下这些挑战。

点击查看原文 >>

由 @Thoughtworks 2022-08-30 16:45 / 0个评论

赞过的人： @IT技术博客大学习

浅谈 GUI 应用开发 (zgq.me)

本文深入探讨了 GUI 应用开发中的关键问题，从状态管理、生命周期到交互模式等多个角度分享了开发经验。无论你是前端开发者还是产品设计师，这篇文章都能为你在 GUI 开发中提供实用的见解和技巧。赶紧阅读，提升你的应用开发水平吧！

by @技术头条 2024-09-09 23:37 查看详情

USB 设备开发：从入门到实践指南（三） (paper.seebug.org)

本文深入研究了Nintendo手柄驱动在Linux系统中的实现细节，并解决了一些关于USB HID和input驱动的疑问。

by @技术头条 2024-08-06 08:27 查看详情

USB 设备开发：从入门到实践指南（二） (paper.seebug.org)

本文介绍了如何利用树莓派设备模拟USB鼠标和游戏手柄。文章从修改HID描述符开始，详细说明了如何通过调整bash脚本中的协议配置模拟不同的USB设备。在模拟鼠标时，作者修改了协议为鼠标，调整了HID描述符以支持鼠标的左右键、中键、滚轮等功能。接着，在模拟游戏手柄部分，作者通过设定正确的供应商和产品ID，使设备被识别为XBox 360手柄。文章还探讨了如何动态修改Ubuntu驱动来支持Switch手柄。

在研究过程中，作者分析了USB HID协议，使用eBPF和调试输出方式研究Linux内核驱动代码，探索了手柄的各种功能键和坐标轴的实现。此外，作者对Switch Pro手柄的驱动支持问题进行了深入分析，发现需要特定协议的支持，并提供了解决方案。

by @技术头条 2024-08-06 08:26 查看详情

USB 设备开发：从入门到实践指南（一） (paper.seebug.org)

这篇文章介绍了使用树莓派4B设备进行USB设备开发的经验。作者从研究工具、搭建开发环境、分析USB协议等多个角度详细描述了如何将树莓派模拟成一个USB键盘，并通过Wireshark捕获流量以研究和理解USB协议的工作原理。文章提供了具体的操作步骤和代码示例，并深入探讨了设备描述符、配置描述符、接口描述符、端点描述符等USB协议的关键组件。该文章为USB设备开发提供了实用的指导，适合对底层硬件开发感兴趣的开发者参考。

by @技术头条 2024-08-06 08:25 查看详情

如何找到并快速上手一个开源项目 (crossoverjie.top)

本文总结了如何参与开源项目。作者分享了从选择项目、了解社区规则到贡献代码的经验。文章建议新手从改善文档和修复小问题开始，逐步加深对项目的理解。同时，积极参与社区讨论和代码评审，能帮助提升技术水平和社区影响力。作者还强调了耐心和持续贡献的重要性。

by @技术头条 2024-08-06 08:08 查看详情

美团大规模KV存储挑战与架构实践 (tech.meituan.com)

KV 存储作为美团一项重要的在线存储服务，承载了在线服务每天万亿级的请求量，并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上，我们分享了《美团大规模 KV 存储挑战与架构实践》，本文为演讲内容的整理。文章主要分为四个部分：第一部分介绍了美团 KV 存储发展历程；第二部分分享了内存 KV Squirrel 挑战和架构实践；第三部分阐述了持久化 KV Cellar 挑战和架构实践；最后一部分介绍了未来的发展规划。希望这些内容对大家有所帮助或启发。

by @技术头条 2024-03-21 22:53 查看详情

防止数据泄露的高效策略-翻译整理 (ixyzero.com)

简单来说，就是数据安全左移，在每一个阶段都做卡点和检测，提高入侵/获取敏感数据的成本，减少后续阶段的日志告警量，提高告警检测准确率，利用自动化工具/平台提高响应的速度和效率。
未授权不可访问；有账号凭证要检测是否正常（常用设备、常用网络、常见时间、常见操作行为、……）；有账号也仅知其所需最小权限；梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地，大部分操作在线即可完成，系统埋点要全面和准确；对于数据下载和外发格外关注，下载设备的DLP的健康状态和策略的有效性需要及时检查。

by @技术头条 2024-03-12 22:56 查看详情

十亿行的挑战 (colobu.com)

国外的程序员休完他们的假期之后在玩什么？他们在玩十亿行的代码挑战。

工程师贡纳尔·莫林在元旦发起一个挑战(1BRC),挑战从 1 月 1 日持续到 1 月 31 日。
如果你决定接受它，你的任务看似简单：编写一个 Java 程序，用于从文本文件中检索温度测量值并计算每个气象站的最小、平均值和最高温度。只有一点需要注意：文件有 1,000,000,000 行！（1 billion， 10亿行)。

by @技术头条 2024-03-12 22:46 查看详情

基于接口数据变异的App健壮性测试实践 (tech.meituan.com)

本文主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念；第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路；第三部分主要解读了变异数据的构造和异常检测方案设计；第四部分介绍了精简变异数据的探索方案。

by @技术头条 2024-03-12 22:45 查看详情

个人数据安全不完全指南 (thiscute.world)

这里介绍的并不是什么能一蹴而就获得超高安全性的傻瓜式方案，它需要你需要你有一定的技术背景跟时间投入，是一个长期的学习、实践与方案迭代的过程。另外如果你错误地使用了本文中介绍的工具或方案，可能反而会降低你的数据安全性，由此产生的任何损失与风险皆由你自己承担。

by @技术头条 2024-03-12 22:32 查看详情