BR 技术头条 技术链接、资讯与社区分享流
mp mp.weixin.qq.com / 2019-09-22 13:38 / by @zhisheng_blog

如何使用 Flink 每天实时处理百亿条日志？

打开原文 0 条评论
Sherlock.IO 是 eBay 现有的监控平台，每天要处理上百亿条日志、事件和指标。Flink Streaming job 实时处理系统用于处理其中的日志和事件。

赞过的人

@IT技术博客大学习、 @zhisheng_blog

发表评论

相关分享

io www.iots.vip / 2025-01-12 11:53

Ansible使用Bitwarden存储Vault密码

本文介绍了如何使用 Bitwarden 的命令行客户端（bitwarden-cli）与 Ansible 集成，将 Ansible Vault 的密码存储在 Bitwarden 中，实现集中化管理。通过配置 vault_password_file，Ansible 可以调用存储在 Bitwarden 中的密码，避免在命令行中手动输入，提高安全性和便利性。该方法适用于需要在自动化流程中安全管理敏感信息的开发者和运维工程师。

查看详情
无图
fr frytea.com / 2025-01-12 11:45

配置 harbor 及 docker 等使用 https

默认情况下，Harbor不提供证书。可以在没有安全性的情况下部署Harbor，这样您就可以通过HTTP连接到它。但是，只有在没有连接到外部internet的空间隙测试或开发环境中才可以使用HTTP。在没有空间隙的环境中使用HTTP会暴露给中间人攻击。在生产环境中，始终使用HTTPS。如果启用带公证人的内容信任对所有images进行正确签名，则必须使用HTTPS。要配置HTTPS，必须创建SSL证书。您可以使用由受信任的第三方CA签名的证书，也可以使用自签名证书。本节介绍如何使用OpenSSL创建CA，以及如何使用CA签署服务器证书和客户端证书。

查看详情
无图
zh www.zhangxinxu.com / 2025-01-03 00:13

如何使用JS获取系统内存、CPU/GPU、电量等信息

这篇文章讲解了如何通过 JavaScript 获取设备的内存、CPU、GPU 和电池等硬件信息，详细介绍了可用的 API、兼容性及实践场景。通过代码示例和性能分析，展示了如何在前端优化中合理利用这些数据。内容适合从事前端开发的工程师以及关注性能优化和用户体验提升的技术人员，提供了实用的开发参考。

查看详情
无图
on onevcat.com / 2025-01-02 23:59

编译器，靠你了！使用类型改善状态设计

如何用类型表达状态？文章深度解析了在 Swift 中通过类型系统管理状态的实践方法，涵盖了类型安全设计、编译期检查和减少运行时错误的技巧。通过实例展示，将状态逻辑融入类型定义，提升代码的健壮性和可维护性，是探索函数式编程思想的绝佳案例！

查看详情
无图
so soulteary.com / 2025-01-02 23:57

使用开源软件搭建轻量的 NPM 私有仓库：Verdaccio

如何搭建轻量级 NPM 私有仓库？文章详细介绍了使用开源软件 Verdaccio 的实现方案，从环境准备到配置部署，再到权限管理和优化建议，完整覆盖每个步骤。同时分享了实际应用中的注意事项和性能调优经验，是团队项目管理和依赖控制的绝佳参考。值得尝试！

查看详情
无图
li lisenhui.cn / 2024-11-23 21:49

WSL运行时遇到未知异常错误无法使用

遇到 WSL 提示“发生未知错误”无法启动的问题？可能是系统更新、配置冲突或文件损坏导致。可通过重启服务、检查日志、重装 WSL 或升级内核来排查解决。保持系统与 WSL 的版本更新至关重要！

查看详情
无图
wi wiki.eryajf.net / 2024-11-02 17:03

AWS运维部署实践--使用sigma自建镜像仓库代替ECR

本文介绍了如何使用 `sigma` 替代 AWS 的 ECR 作为轻量级的镜像仓库解决方案。通过配置 `s3` 存储、端口监听等设置，实现了低资源占用下的高效镜像管理。文章详细提供了 `config.yaml` 文件的配置方案，以及 `sigma` 部署的具体步骤，适合在自建环境中替代 ECR 进行镜像管理。

查看详情
无图
du dusays.com / 2024-11-02 16:54

Linux 安全 Auditd 审计工具使用说明

本文介绍了 Linux 的 Auditd 审计工具，用于监控和记录安全相关事件。内容涵盖工具安装、审计规则配置、日志管理和规则持久化。审计规则包括文件、系统调用的监控，适合检测敏感操作。通过 `auditctl`、`ausearch` 和 `aureport` 等工具，管理员可以分析日志并生成报告，提升系统的安全性和合规性。

查看详情
无图
di www.diguage.com / 2024-11-02 16:33

基于 Docker 搭建开发环境（二）：EFK 日志套件

本文介绍了如何使用 Docker 和 EFK（Elasticsearch、Fluentd、Kibana）套件构建日志管理系统，通过 Fluentd 将 NACOS 和业务日志集中发送至 Elasticsearch，方便数据分析和故障排查。文章提供了 `docker-compose.yml` 配置文件示例，解决了插件安装、权限设置和健康检查等常见问题，为构建灵活高效的日志管理系统提供了实用方法。

查看详情
无图