标签：Thrift

共 11 篇相关文章

IT 累计浏览 2,329

初探Thrift客户端异步模式

这篇讲的是如何为Thrift RPC框架引入异步调用能力。作者从团队广泛使用的同步模式出发，为优化大数据量传输等场景，探索了Thrift原生提供的异步客户端方案。核心实现围绕生成的异步客户端类与`TAsyncChannel`接口展开。`TAsyncChannel`定义了异步收发消息的接口，目前标准的实现是基于libevent和HTTP协议的`TEvhttpClientChannel`。它的巧妙之处在于，通过将回调函数注册到事件循环中，使得客户端发送请求后无需阻塞等待，可以继续执行其他任务，待服务端响应到达时再触发回调处理结果。文中一个关键发现是：异步客户端并非必须搭配异步服务器。通过实验验证，只要服务器端使用HTTP传输层（例如通过`THttpServerTransportFactory`），协议层保持一致，即可与异步客户端正常工作。这大大降低了现有同步服务的改造成本。实验部分展示了一个完整的异步客户端与同步服务器交互的例子，运行结果证实了调用发起与响应接收在时间上是解耦的。不过，作者也指出当前实现限于HTTP传输层，这为后续扩展其他传输协议留下了探索空间。

IT 累计浏览 24,502

Linux大棚版Thrift入门教程

这篇讲的是如何快速上手Thrift——这个最初由Facebook开发、现在由Apache维护的跨语言RPC框架。文章从“thrift”一词的节俭本意巧妙切入，指出在技术语境下，它代表的是一种高效解决跨语言服务通信的“节俭”之道。作者没有停留在概念介绍，而是通过一个具体的成绩查询系统案例，生动对比了传统“手工作坊”式开发与使用RPC框架的效率差异。他清晰地拆解了Thrift的四个使用步骤：定义接口文件、生成代码、实现服务端逻辑、编写客户端调用，让读者对工作流程一目了然。教程的详尽之处在于，它系统地讲解了Thrift接口描述文件（IDL）的编写规范，包括基础类型、容器、结构体、异常和服务等核心元素的定义方式，并辅以代码示例。特别是对required/optional字段、oneway异步调用等细节的说明，为初学者扫清了常见困惑。对于想了解如何在Linux环境下搭建并利用Thrift构建高效、跨语言服务的开发者，这是一份条理清晰、实例丰富的入门指南。

IT 累计浏览 6,773

HBase Thrift 接口使用注意事项

这篇讲的是作者在实际使用HBase Thrift接口（基于0.92.1版本）时，总结出的几个关键陷阱和注意事项，对开发者在实际对接时避坑非常实用。文章首先强调了字节存储顺序的重要性。由于HBase内部按字典序排序，row key和value中的数值类型在转换成byte数组时，必须严格使用大端序进行打包和解包，否则会导致数据无法正确检索。作者给出了C++和PHP中的具体处理示例。接着，文章指出了一个在PHP和C++接口中行为差异显著的“TScan设置陷阱”。在PHP中，直接设置属性即可生效；但在C++中，必须通过专用的`__set_xxx()`方法赋值，才能将内部的`__isset`标记置为true，否则服务端会忽略这些设置，导致扫描从头开始。最后，文章从运维角度提出了两点建议：一是合理配置Thrift Server的并发线程数（通过`-threadpool`参数），避免请求被阻塞；二是当进行带缓存的扫描操作时，需要调大Thrift Server的最大堆内存（`HBASE_HEAPSIZE`），以防止因缓存数据过多而引发内存溢出错误。这些问题都是实际开发部署中容易忽略的细节，但对系统性能和功能正确性有着直接影响。

IT 累计浏览 5,853

Thrift简析

这篇文章从RPC技术的实现难点出发，介绍了Thrift这个由Facebook开源的跨语言高性能RPC框架。它直接切入了开发者在构建分布式系统时面临的一个核心问题：如何高效、可靠地让不同语言编写的服务进行通信。作者重点解析了Thrift的技术内核。它提供了一套简洁的IDL（接口定义语言），允许你像写接口一样定义数据结构和服务契约，然后通过编译器自动生成多种语言（如Java、Python、C++等）的客户端和服务端骨架代码。这解决了跨语言调用的繁琐工作。文章还提到了它内置的二进制序列化协议（如TBinaryProtocol），这使得数据在网络传输时的体积和速度都优于传统的文本格式，这是其高性能的关键之一。作为一款经过大规模生产环境考验的成熟框架，Thrift的实现细节，比如连接池、IO模型、线程模型等，也值得深入了解。这篇分析帮助读者理解，选择Thrift不仅是为了调用远程方法，更是选择了一套完整的、经过优化的服务间通信解决方案。

IT 累计浏览 3,806

关于php的libevent扩展的应用

这篇讲的是 PHP 的一个高性能扩展——libevent。作者并非停留在理论介绍，而是直接分享了自己用它实现 Thrift Socket Server 的实战经验。Libevent 本身是一个用 C 写的事件驱动库，性能很高，而这个 PHP 扩展正是将其核心能力带给了 PHP 开发者。作者在一年前的尝试中，已经验证了它在构建非阻塞服务端方面的潜力。他特别指出，这个扩展的价值远不止于此，完全可以用于开发聊天服务器、实时推送系统，甚至是类似 Node.js 的异步任务处理后端。文章从一个具体的实现案例出发，引出了对 PHP 在 I/O 密集型场景下性能边界的探讨。对于想突破传统 PHP 同步阻塞模型、探索高并发服务端可能性的开发者来说，这篇文章提供了一个扎实的起点和清晰的思路。它不仅展示了 libevent 能做什么，更激发了对 “PHP 还能做什么” 的思考。

IT 累计浏览 2,377

服务管理框架的尝试

这篇讲的是如何通过一个服务管理框架来解决分布式系统中服务化后的运维难题。作者从大型软件系统的模块化背景切入，说明将功能拆分为独立的远程服务（例如使用Java RMI、Web Service或Facebook开源的Thrift）已成为主流，但这同时也引入了服务可维护性、可管理性、监控、高可用和负载均衡等关键挑战。文章尝试探索一个综合性的服务管理框架，旨在通过统一的接口和工具

IT 累计浏览 6,095

Facebook 的系统架构

这篇讲的是 Facebook 为了支撑十亿级用户、应对海量数据和实现极致发布效率，如何设计其底层系统架构。文章从一个核心矛盾切入：既要保证全球服务的高可用性和低延迟，又要让数千名工程师能像在初创公司一样快速迭代代码。作者重点剖析了几个关键设计。为了解决单体应用的瓶颈，Facebook 采用了深度定制化的微服务架构，将用户信息、动态消息、聊天等功能拆分为独立服务。数据存储上，他们为不同类型的数据选择了最合适的技术：关系型数据库 MySQL 经过分片和主从复制来处理核心社交图谱，而像 News Feed 这样的大规模写入场景则依赖自研的 TAO 缓存层和 Cassandra 等 NoSQL 系统。最巧妙的部分在于其部署文化。文章提到，Facebook 采用了基于 Mercurial 的大型代码仓库和持续部署流水线，工程师的代码提交在通过自动化测试后，可以极快地推送到全球服务器，甚至实现了“一键回滚”。这套架构不仅解决了规模问题，更重要的是将“快速试错”这一互联网基因深深植入了基础设施之中，使其能始终适应业务的快速演变。

IT 累计浏览 8,974

分布式日志系统scribe使用手记

这篇讲的是如何用Facebook开源的Scribe搭建分布式日志系统。作者从实际需求出发，介绍了Scribe的核心优势：它通过thrift协议传输日志，能轻松整合不同语言的项目，实现从本地到远程的统一日志收集。在性能上，Scribe示例配置的并发量可达每秒200万条消息，对于绝大多数应用来说，即便是最基础的配置也能保证远程日志收集的可靠性。如果遇到更高压力，还可以通过主从架构自动同步日志到本地，进一步提升稳定性。文章接下来会具体演示Scribe的安装与配置过程。

IT 累计浏览 5,527

Apache Avro 与 Thrift 比较

这篇讲的是两种主流二进制通信框架 Avro 与 Thrift 的深度对比。两者虽然都提供高性能序列化和RPC能力，但设计哲学大相径庭。Thrift 出自 Facebook，秉持“没有银弹”的思路，打造一个中立、可插入不同实现的多语言框架。而 Avro 由 Hadoop 之父 Doug Cutting 主导，目标更宏大：它不只想做个通信工具，更试图在云计算时代建立一套统一的数据交换与存储标准，为此不惜采用特定优化。核心差异体现在 Schema 处理上。Avro 创造性地将显式声明式 Schema 与高效二进制编码结合，强调数据的自我描述。其 Schema 动态加载能力是 Thrift 所不具备的，这恰好满足了像 Hadoop 生态中 Hive、Pig 以及各类 NOSQL 数据库那样，既需要快速即席查询（ad hoc），又对性能有严苛要求的场景。简单说，Thrift 提供的是一个灵活的、适应多种协议的连接器；而 Avro 则致力于定义数据本身。选择哪个，往往取决于你的系统更需要框架的灵活性，还是数据标准的统一性。

IT 累计浏览 3,981

Thrift Message deserialize 方法的一个缺点及改进

这篇讲的是 Apache Thrift 框架中 `Message.deserialize` 方法可能存在的一个性能陷阱。作者在实际使用中发现，该方法在反序列化消息时，总是会先将底层传输层（TTransport）的输入流包装成 `TIOStreamTransport`，然后再进一步包装成 `TBinaryProtocol` 或 `TCompactProtocol`。无论原始的传输层实现是什么类型，这个固定流程都会发生。问题的关键在于，如果调用方已经使用了自带缓冲和状态管理的传输层（例如 `TFramedTransport`），这个多余的包装操作不仅创建了无用的对象，还可能破坏原有的缓冲状态或协议判断逻辑，导致非预期的解码错误。作者通过阅读源码定位到了这个固定在 `TApplicationProcessor` 中的逻辑，并通过在应用层覆写 `createInputProtocol` 方法，根据实际场景选择正确的协议实现，从而绕开了这个缺点。这篇文章清晰地展示了框架约定俗成的流程在特定场景下如何成为性能或正确性的瓶颈，以及针对性地绕过它的思路。

IT 累计浏览 4,847

php实现的thrift socket server

这篇讲的是作者如何用PHP从零实现一个Thrift Socket Server。原本PHP生态中Thrift只提供了基于Apache的服务器端方案，限制了其在轻量级、高性能场景下的使用。作者受到PHP可直接利用libevent构建Web服务器的启发，决定动手扩展这一能力。核心实现思路是围绕libevent构建一个非阻塞的事件驱动服务器。作者详细描述了如何处理连接、监听事件和并发请求，并在过程中解决了PHP与C扩展交互时的内存管理等挑战。通过引入libevent，服务器得以摆脱传统的阻塞模型，实现了对高并发连接的有效处理。整个实现不仅填补了PHP在Thrift Socket Server方面的空白，也展示了在PHP中进行高性能网络编程的实践路径。对于需要构建微服务间高效通信或自定义RPC服务的PHP开发者而言，这种基于libevent的非阻塞架构提供了一种值得参考的解决方案。