【教程】5分钟在PAI算法市场发布自定义算法 (yq.aliyun.com)
今天PAI正式对外发布了“AI市场”以及“PAI自定义算法”两大功能,可以帮助用户5分钟将线下的spark算法或是pyspark算法发布成算法组件,并且支持组件发布到AI市场供更多用户使用。有了以上功能,算法开发者和算法需求双方可以基于PAI的开放框架和平台实现算法交易,实现生态和PAI的共融。
by @可耐芊小仙女 2019-08-07 15:27 分享 查看详情
在MaxCompute中利用bitmap进行数据处理 (yq.aliyun.com)
很多数据开发者使用bitmap技术对用户数据进行编码和压缩,然后利用bitmap的与/或/非的极速处理速度,实现类似用户画像标签的人群筛选、运营分析的7日活跃等分析。本文给出了一个使用MaxCompute MapReduce开发一个对不同日期活跃用户ID进行bitmap编码和计算的样例。供感兴趣的用户进一步了解、分析,并应用在自己的场景下。
by @可耐芊小仙女 2019-08-07 15:26 分享 查看详情
阿里云MaxCompute 2019-7月刊 (yq.aliyun.com)
MaxCompute国际Region香港、德国、新加坡、印度、美西推出内建Spark服务。支持原生多版本Spark作业,社区原生Spark运行在MaxCompute里面,完全兼容Spark的API,支持多Spark版本同时运行。提供原生的Spark WebUI供用户查看。统一的计算资源,MaxCompute Spark像MaxCompute SQL/MR等任务类型一样,运行在MaxCompute项目开通的统一计算资源中。统一的数据和权限管理。完全遵循MaxCompute项目的权限体系,在访问用户权限范围内安全地查询数据。与开源系统相同的使用体验。MaxCompute Spark会和开源保持相同的体验和用户使用习惯,比如开源应用的UI,在线交互等。开源UI对于开源应用的调试至关重要,MaxCompute Spark提供原生的开源实时UI,并且能查询历史日志。某些开源应用提供交互式,也就是把后台引擎拉起后,进行实时交互。
by @可耐芊小仙女 2019-08-07 15:25 分享 查看详情
浅谈CDC在微服务中的应用 (insights.thoughtworks.cn)
早在二十多年前,CDC就已经用来将应用系统的数据变更实时发送到数据仓库,进一步转换后传递到数据分析系统,这样能够在极小地影响生产的情况下,有效而及时地将数据传递到消费方。而在微服务架构逐渐流行的今天,这种古老的技术是否能够焕发新的生机?
by @ThoughtWorks 2019-08-07 09:33 分享 查看详情
你知道 OOM 常见原因吗?有什么好的解决方法? (mp.weixin.qq.com)
当 JVM 内存严重不足时,就会抛出 java.lang.OutOfMemoryError 错误。本文总结了常见的 OOM 原因及其解决方法,如下图所示。如有遗漏或错误,欢迎补充指正。
by @zhisheng_tian 2019-08-06 23:05 分享 查看详情
Hadoop YARN:调度性能优化实践 (mp.weixin.qq.com)
YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。

美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。

离线业务主要运行的是Hive on MapReduce, Spark SQL为主的数据仓库作业。

实时业务主要运行Spark Streaming,Flink为主的实时流计算作业。

机器学习业务主要运行TensorFlow,MXNet,MLX(美团点评自研的大规模机器学习系统)等计算作业。
by @zhisheng_tian 2019-08-06 23:04 分享 查看详情
你公司到底需不需要引入实时计算引擎? (mp.weixin.qq.com)
大数据发展至今,数据呈指数倍的增长,对实效性的要求也越来越高,于是像上面这种需求也变得越来越多了。

那这些场景对应着什么业务需求呢?我们来总结下,大概如下:
by @zhisheng_tian 2019-08-06 23:03 分享 查看详情
使用 Ngrox 实现内网穿透 (www.kymjs.com)
最近在做 Server 开发,需要将一个内网的服务暴露出去,使其在家也能访问到。

ngrok 是一个反向代理工具,官方有免费的可以使用,但是由于海外原因速度非常慢。好在这套服务都开源了,我们可以用开源代码搭建一个服务,自己使用。
by @技术头条 2019-08-06 22:28 分享 查看详情
KNN算法实战:验证码的识别 (www.biaodianfu.com)
识别验证码的方式很多,如tesseract、SVM等。前面的几篇文章介绍了KNN算法,今天主要学习的是如何使用KNN进行验证码的识别。
by @技术头条 2019-08-06 22:28 分享 查看详情
强强联合 阿里云 RDS for SQL Server 与 金蝶 K/3 WISE 产品实现兼容适配 (yq.aliyun.com)
强强联合 阿里云 RDS for SQL Server 与 金蝶 K/3 WISE 产品实现兼容适配,原K/3 WISE用户通过简单配置就可以无缝搭配RDS SQL Server使用,不需再费时费力自建SQL Server数据库,RDS for SQL Server 为K/3 WISE的数据存储提供超捷的便利性、极其稳定的可靠性以及极高的安全性保障。据悉,此为业内首家云计算厂商的数据库服务支持 金蝶K/3 WISE。
by @可耐芊小仙女 2019-08-06 15:11 分享 查看详情
『StabilityGuide』| 10+位阿里技术专家共同发起稳定性知识库开源项目 (yq.aliyun.com)
无论是前端业务的开发者,还是后端架构的开发者,都会遇到业务稳定性的难题。但稳定性的话题涉及之广、之深,很难通过一两篇文章道清原委。因此,我们集结了多位阿里技术工程师,他们来自性能压测、故障演练、JVM、应用容器、服务框架、流量调度、监控、诊断等不同的技术领域,以更结构化的方式来打造稳定性领域的知识库,该知识库的目录将分为:
by @可耐芊小仙女 2019-08-06 15:10 分享 查看详情
微服务开源生态报告 No.7 (yq.aliyun.com)
「微服务开源生态报告」,汇集各个开源项目近期的社区动态,帮助开发者们更高效的了解到各开源项目的最新进展。社区动态包括,但不限于:版本发布、人员动态、项目动态和规划、培训和活动。非常欢迎国内其他微服务领域的开源项目将近期的社区动态,投递给我们,我们将一同发布。
by @可耐芊小仙女 2019-08-06 15:09 分享 查看详情
Spring 社区的首个国产开源项目顺利毕业 (yq.aliyun.com)
相信大家对上周的 《来自 Spring Cloud 官方的消息,Spring Cloud Alibaba 即将毕业》文章记忆犹新。本周,Spring Cloud Alibaba 正式毕业,并发布了毕业后的第一个版本。Spring Cloud Alibaba 于 2018年7月27日 在 Spring Cloud 孵化器仓库提交第一次代码,到 2019年8月1日 在 Alibaba 仓库发布第一个毕业版本,时间将近整整一年。一年时间,Spring Cloud Alibaba 完成了从 Spring Cloud 最默默无闻的项目到 Spring Cloud 最火项目的蜕变,并且从孵化器仓库毕业了!
by @可耐芊小仙女 2019-08-06 15:08 分享 查看详情
那些年,我们见过的Java服务端乱象 (yq.aliyun.com)
查尔斯·狄更斯在《双城记》中写道:“这是一个最好的时代,也是一个最坏的时代。”移动互联网的快速发展,出现了许多新机遇,很多创业者伺机而动;随着行业竞争加剧,互联网红利逐渐消失,很多创业公司九死一生。笔者在初创公司摸爬滚打数年,接触了各式各样的Java微服务架构,从中获得了一些优秀的理念,但也发现了一些不合理的现象。现在,笔者总结了一些创业公司存在的Java服务端乱象,并尝试性地给出了一些不成熟的建议。
by @可耐芊小仙女 2019-08-06 15:07 分享 查看详情
PHP无限流量卡销售企业官网源码 (www.sucaihuo.com)
2019最新赚钱无限流量卡销售企业官网源码支持创建分站代理商充值官网PHP源码|无限流量卡官网源码带后端手机卡销售源码
by @好小灰灰 2019-08-06 09:39 分享 查看详情
仅用5分钟,搞定Android同事所有不规范代码 (mp.weixin.qq.com)
代码洁癖的终极解决方案:仅用5分钟,搞定Android同事所有不规范代码!
by @SELECT-FROMALL 2019-08-06 08:45 分享 查看详情
微服务开源生态报告 No.6 (yq.aliyun.com)
「微服务开源生态报告」,汇集各个开源项目近期的社区动态,帮助开发者们更高效的了解到各开源项目的最新进展。社区动态包括,但不限于:版本发布、人员动态、项目动态和规划、培训和活动。非常欢迎国内其他微服务领域的开源项目将近期的社区动态,投递给我们,我们将一同发布。
by @可耐芊小仙女 2019-08-05 15:45 分享 查看详情
中间件小姐姐直播“带货”——阿里程序员必知的插件 (yq.aliyun.com)
小姐姐和岛风小哥还是有一定的”带货“能力,据说当晚有 3000 人在线观看了直播,而点赞数更是达到人均 15+。小姐姐这次给大家讲解的是一款 IDE 插件—— Cloud Toolkit,能够提高开发、部署应用的效率,还可以通过插件快速创建 Dubbo 工程等等,自去年 12 月上线以来,就超过几万的开发者在使用这款插件。其中比较新颖的是,开发者们不仅是 Cloud Toolkit 的使用者,同时也作为设计者参与了插件的更新迭代。听一位阿里的朋友说,这款插件在中间件就是无人不知晓。
by @可耐芊小仙女 2019-08-05 15:44 分享 查看详情
网易云音乐的消息队列改造之路 (yq.aliyun.com)
网易云音乐自2013年上线后,业务保持了高速增长。云音乐除了提供好听的音乐外,还留下了我们在乐和人上的美好回忆。本文整理自网易云音乐消息队列负责人林德智在近期 Apache Flink&RocketMQ Meetup 上海站的分享,通过该文,您将了解到:
by @可耐芊小仙女 2019-08-05 15:43 分享 查看详情
你知道 Java 类是如何被加载的吗? (yq.aliyun.com)
最近给一个非Java方向的朋友讲了下双亲委派模型,朋友让我写篇文章深度研究下JVM的ClassLoader,我确实也好久没写JVM相关的文章了,有点手痒痒,涂了皮炎平也抑制不住。我在向朋友解释的时候是这么说的:双亲委派模型中,ClassLoader在加载类的时候,会先交由它的父ClassLoader加载,只有当父ClassLoader加载失败的情况下,才会尝试自己去加载。这样可以实现部分类的复用,又可以实现部分类的隔离,因为不同ClassLoader加载的类是互相隔离的。
by @可耐芊小仙女 2019-08-05 15:42 分享 查看详情