Transformer中的缓存机制--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

Encoder部分相对简单，进行self-attention时只需要考虑一个batch内和长度相关的mask。这里重点讨论training和inference两种模式下decoder attention在每一层的工作机制。在training模式下，decoder部分采用teacher_forcing的机制来产生decoder的输入，具体的实现方式是将原始的input_target_sequence右移动一位，或者可以理解为在原始的input_target_sequence最左侧添加一个decode_start_token。

点击查看原文 >>

由 @技术头条 2022-06-19 22:35 / 原作者微博：@52nlp / 0个评论

赞过的人： @IT技术博客大学习

Java SPI机制学习与常用框架SPI案例 (l1n.wang)

SPI（Service ProviderInterface）是JDK内置的服务提供机制，常用于框架的动态扩展，类似于可拔插机制。提供方将接口实现类配置在classpath下的指定位置，调用方读取并加载。当提供方发生变化时，接口的实现也会改变。Java生态中JDK、Dubbo、Spring等都通过SPI提供了动态扩展的能力。

by @技术头条 2024-01-17 23:19 查看详情

解析Java动态代理机制的实现 (l1n.wang)

代理模式主要是Proxy对原始方法做了一层包装，用以增加一些新的统一处理逻辑，来增强目标对象的功能。静态代理是传统设计模式中一种传统的实现方案，动态代理能将代理对象的创建延迟到程序运行阶段。

by @技术头条 2024-01-17 23:16 查看详情

证书透明机制 — 防范证书签发机构作恶 (www.addesp.com)

如果我拿到了一个网站的证书，但这个网站并不属于我，我就可以窃听，篡改这个网站的通信。

证书透明机制（Certificate Transparency）即 CT 机制可以缓解这个问题。

by @技术头条 2023-12-26 22:36 查看详情

解决Vite打包产生的hash缓存失效问题 (www.iszy.cc)

最近发现无论改多少内容，打包出来的所有文件的 hash 都会发生变化，这样就导致了浏览器缓存失效，每次都要重新加载所有文件，这样就导致了加载速度变慢，而且也浪费我服务器流量，姑且来看看能不能解决。

by @技术头条 2023-11-29 23:46 查看详情

Windows 的 PPL 安全机制和绕过 (paper.seebug.org)

Windows 从 vista 版本引入一种进程保护机制(Process Protection)，用于更进一步的控制进程的访问级别，在此之前，用户只需要使用 SeDebugPrivilege 令牌权限即可获取任意进程的所有访问权限；随后 Windows8.1 在此进程保护的基础上，扩展引入了进程保护光机制(Protected Process Light)，简称 PPL 机制，其能提供更加细粒度化的进程访问权限控制。

本文将介绍 Windows 的 PPL 安全机制，以及在实验环境下如何绕过该机制，从而实现对 PPL 的进程进行动态调试。

by @技术头条 2023-06-24 23:37 查看详情

中文语法纠错全国大赛获奖分享：基于多轮机制的中文语法纠错 (www.52nlp.cn)

中文语法纠错任务旨在对文本中存在的拼写、语法等错误进行自动检测和纠正，是自然语言处理领域一项重要的任务。同时该任务在公文、新闻和教育等领域都有着落地的应用价值。但由于中文具有的文法和句法规则比较复杂，基于深度学习的中文文本纠错在实际落地的场景中仍然具有推理速度慢、纠错准确率低和假阳性高等缺点，因此中文文本纠错任务还具有非常大的研究空间。

by @技术头条 2022-12-24 23:33 查看详情

MogDB ASH机制浅析 (www.dbform.com)

ASH实际上是Oracle数据库中的一个名词，全称是Active Session History，这项功能会在数据库内存和持久化的系统表里都记录下每隔一定周期的活跃会话的信息，内存中的数据重启数据库以后会清空，但是持久化的系统表数据会长期保留。因为ASH的存在，所以当数据库发生故障或者经历性能问题，需要回溯定位问题原因的时候，非常有帮助。

在MogDB中，同样实现了ASH能力。

by @技术头条 2022-12-10 22:57 查看详情

缓存使用的一些经验 (wklken.me)

在一个大的项目中，使用了全缓存模型，即，所有数据都会经过cache。简单分层：应用->内存缓存->redis缓存->数据库。是一个典型的多读写少的场景，并且数据量。请求量非常大。总结了一些使用经验，供参考。

by @技术头条 2022-08-18 23:28 查看详情

改hosts不生效？教你清理Chrome的DNS缓存 (hessian.cn)

在进行web开发的时候，我们经常会修改hosts文件进行测试，但是偶尔会发现改了hosts文件并不能立刻生效。这是由于浏览器自身对DNS（域名指向）是有进行缓存的，除了缓存之外，由于HTTP1.1支持连接复用，如果之前打开过这个页面，那么即使清理了DNS缓存也会因为复用连接再继续连接到旧的域名指向地址。如果出现连接被复用的情况就需要手动关闭活跃连接了。

by @技术头条 2022-05-23 00:11 查看详情

如何通过缓存来提升系统性能 (mp.weixin.qq.com)

在系统中最消耗性能的地方就是对数据库的访问了，一般来说，增、删、改操作不会出现什么性能问题，除非索引太多，并且数据量有十分庞大的情况下，这三个操作才会导致性能问题。一般可以限制单表索引的数量来提升性能，比如单表的索引数量不能超过5个。

by @code小生 2022-05-08 23:45 查看详情