Transformer中的缓存机制--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

Encoder部分相对简单，进行self-attention时只需要考虑一个batch内和长度相关的mask。这里重点讨论training和inference两种模式下decoder attention在每一层的工作机制。在training模式下，decoder部分采用teacher_forcing的机制来产生decoder的输入，具体的实现方式是将原始的input_target_sequence右移动一位，或者可以理解为在原始的input_target_sequence最左侧添加一个decode_start_token。

点击查看全文 >>

由 @技术头条 2022-06-19 22:35 / 原作者微博：@52nlp / 0个评论

赞过的人： @IT技术博客大学习

解决Vite打包产生的hash缓存失效问题 (www.iszy.cc)

最近发现无论改多少内容，打包出来的所有文件的 hash 都会发生变化，这样就导致了浏览器缓存失效，每次都要重新加载所有文件，这样就导致了加载速度变慢，而且也浪费我服务器流量，姑且来看看能不能解决。

by @技术头条 2023-11-29 23:46 查看详情

Windows 的 PPL 安全机制和绕过 (paper.seebug.org)

Windows 从 vista 版本引入一种进程保护机制(Process Protection)，用于更进一步的控制进程的访问级别，在此之前，用户只需要使用 SeDebugPrivilege 令牌权限即可获取任意进程的所有访问权限；随后 Windows8.1 在此进程保护的基础上，扩展引入了进程保护光机制(Protected Process Light)，简称 PPL 机制，其能提供更加细粒度化的进程访问权限控制。

本文将介绍 Windows 的 PPL 安全机制，以及在实验环境下如何绕过该机制，从而实现对 PPL 的进程进行动态调试。

by @技术头条 2023-06-24 23:37 查看详情

中文语法纠错全国大赛获奖分享：基于多轮机制的中文语法纠错 (www.52nlp.cn)

中文语法纠错任务旨在对文本中存在的拼写、语法等错误进行自动检测和纠正，是自然语言处理领域一项重要的任务。同时该任务在公文、新闻和教育等领域都有着落地的应用价值。但由于中文具有的文法和句法规则比较复杂，基于深度学习的中文文本纠错在实际落地的场景中仍然具有推理速度慢、纠错准确率低和假阳性高等缺点，因此中文文本纠错任务还具有非常大的研究空间。

by @技术头条 2022-12-24 23:33 查看详情

MogDB ASH机制浅析 (www.dbform.com)

ASH实际上是Oracle数据库中的一个名词，全称是Active Session History，这项功能会在数据库内存和持久化的系统表里都记录下每隔一定周期的活跃会话的信息，内存中的数据重启数据库以后会清空，但是持久化的系统表数据会长期保留。因为ASH的存在，所以当数据库发生故障或者经历性能问题，需要回溯定位问题原因的时候，非常有帮助。

在MogDB中，同样实现了ASH能力。

by @技术头条 2022-12-10 22:57 查看详情

缓存使用的一些经验 (wklken.me)

在一个大的项目中，使用了全缓存模型，即，所有数据都会经过cache。简单分层：应用->内存缓存->redis缓存->数据库。是一个典型的多读写少的场景，并且数据量。请求量非常大。总结了一些使用经验，供参考。

by @技术头条 2022-08-18 23:28 查看详情

改hosts不生效？教你清理Chrome的DNS缓存 (hessian.cn)

在进行web开发的时候，我们经常会修改hosts文件进行测试，但是偶尔会发现改了hosts文件并不能立刻生效。这是由于浏览器自身对DNS（域名指向）是有进行缓存的，除了缓存之外，由于HTTP1.1支持连接复用，如果之前打开过这个页面，那么即使清理了DNS缓存也会因为复用连接再继续连接到旧的域名指向地址。如果出现连接被复用的情况就需要手动关闭活跃连接了。

by @技术头条 2022-05-23 00:11 查看详情

如何通过缓存来提升系统性能 (mp.weixin.qq.com)

在系统中最消耗性能的地方就是对数据库的访问了，一般来说，增、删、改操作不会出现什么性能问题，除非索引太多，并且数据量有十分庞大的情况下，这三个操作才会导致性能问题。一般可以限制单表索引的数量来提升性能，比如单表的索引数量不能超过5个。

by @code小生 2022-05-08 23:45 查看详情

千字浓缩精华：把RNN、RNN变体、Seq2Seq、Attention机制聊透一点 (www.52nlp.cn)

这一章我们就来看看RNN（循环神经网络）。大神们准备好了吗，我们要发车了～

by @技术头条 2022-05-06 23:34 查看详情

一文读懂浏览器存储与缓存机制 (zhuanlan.zhihu.com)

Cookie 是 HTTP 协议的一种无状态协议。当请求服务器时，HTTP 请求都需要携带 Cookie，用来验证用户身份。Cookie 由服务端生成，存储在客户端，用来维持状态……

by @又拍云 2022-01-14 14:13 查看详情

浏览器缓存和 CDN 在前端的落地 (xuexb.com)

提到浏览器缓存，大多数人肯定知道以下几点：
1、设置 Response Headers cache-control；
2、静态文件添加版本号；
3、静态文件添加最大缓存；

但其实缓存还可以更具体、更合适，下面是我在工作业务开发中对缓存的理解，具体基础的概念这里就不提了。

by @技术头条 2021-05-27 07:15 查看详情