阿里巴巴大数据产品最新特性介绍--机器学习PAI (yq.aliyun.com)

【简介】

在PAI的架构图中,最下层的是PAI的计算框架和数据资源。PAI可支持MaxCompute、OSS、HDFS和NAS等多种数据资源。在数据资源和多种计算框架基础之上,诞生出了PAI的最早形态:PAI-Studio——可视化建模实验平台,Studio中包括了两百多种算法,覆盖了数据预处理,特征工程,模型训练,评估预测等全链路的实验流程操作。用户可在PAI-Studio中以拖拽的方式构建实验,而无需复杂的操作。此外,PAI内置了鲲鹏计算框架,可支持百亿特征,百亿样本的超大规模矩阵训练。在最初建立过程中,PAI-Studio的定位目标为中级的算法工程师,即一个不需要很高的技术门槛就可以上手使用的算法平台。有了可视化建模Studio,PAI就可以拥有为用户提供业务支持,如构建推荐系统、金融风控、疾病预测或新闻分类等的能力。

点击查看原文 >>

@可耐芊小仙女 2019-09-18 15:27 / 0个评论
要不要再学学下面的文章?
Lamport时钟介绍 (www.codedump.info)
在分布式系统中,由于有多个机器(进程)在一起协调工作,于是如何定义分布式系统中事件的先后顺序就成了难题,本文介绍论文 《Time, Clocks, and the Ordering of Events in a Distributed System》中提到的Lamport时钟。
by @技术头条 2024-03-21 23:24 查看详情
腾讯云日志产品CLS使用以及成本控制的最佳实践 (wiki.eryajf.net)
日志成本控制主要有如下几个维度:- 减量:去掉没有意义的无效日志,只打印关键日志。- 减周期:尽可能减少日志存储的时长。- 转低频:低频相较于标准存储,可降低 6 0%--70%的成本。- 慎开全文索引:全文索引将会把所有日志全部索引一遍,并且这个存储是未压缩的存储,如果开启全文索引,则存储往往会比不开的存储高出 4--10 倍。
by @技术头条 2023-07-04 23:07 查看详情
部署机器学习方案之困(下) (blog.nsfocus.net)
在工业环境中开发基于机器学习的解决方案包括四个阶段:数据管理、模型学习、模型验证和模型部署,而这些阶段没有严格的时间轴,在一定程度上存在并行和反馈循环。本节将讨论从业者在最后一个阶段中面临的常见问题和挑战,并讨论涉及到的其他问题。
by @技术头条 2023-02-12 14:05 查看详情
部署机器学习方案之困(上) (blog.nsfocus.net)
近年来,机器学习无论是作为学术研究领域还是实际商业问题的解决方案,都受到了越来越多的关注。然而,就像其他领域一样,在学术环境中起作用的研究和实际系统的要求之间往往存在着显著差异,所以在生产系统中部署机器学习模型可能会带来许多问题。

本文介绍一篇剑桥大学2020年发表的研究综述,其调研了在各种用例、行业和应用中部署机器学习解决方案的公开报告,提取了与机器学习部署工作流阶段对应的实际考虑因素。对于从业者而言,了解在机器学习部署的各个阶段所面临的挑战是非常重要的,本文将对这方面进行主要阐述,最后介绍潜在的解决方案,共分为上、下两篇,本篇为上篇,希望各位能从中受益并引发更多思考。
by @技术头条 2023-02-12 14:04 查看详情
美团图灵机器学习平台性能起飞的秘密(一) (tech.meituan.com)
美团图灵机器学习平台在长期的优化实践中,积累了一系列独特的优化方法。本文主要介绍了图灵机器学习平台在内存优化方面沉淀的优化技术,我们深入到源码层面,介绍了Spark算子的原理并提供了最佳实践。希望为读者带来一些思路上的启发。
by @技术头条 2022-12-24 23:38 查看详情
海量文本中挖掘人物关联关系核心技术介绍 (www.52nlp.cn)
在大数据时代,通过对目标人物的轨迹、通信、社交、出行、网络等多模态行为进行挖掘并建立人物画像模型,并依托人物基础特征和高层特征,实例化人物画像,支撑有关部门分析人员全方位了解目标人物的行为、活动、状态、基本属性等信息,同时能够基于人物画像指导人物活动规律分析、人物能力分析、人物动向分析等应用。
by @技术头条 2022-12-24 23:30 查看详情
设备指纹技术介绍与综述(二) (blog.nsfocus.net)
繁荣的物联网生态构建于物联网设备的发展之上,然而广泛部署的海量设备却给设备识别与监管带来了挑战。本文对基于行为的设备指纹技术依照用途、目标设备、信息来源、评估技术进行介绍。
by @技术头条 2022-09-12 22:40 查看详情
Android DeepLink介绍与使用 (cloud.tencent.com)
前段时间公司让调研一下DeepLink,说以后会用到,之前看了很久,并做了个demo,现整理一下,方便以后查阅,如果有幸帮助到其他人就更好了。
by @shengting 2022-09-07 14:30 查看详情
介绍一种CSS变量未定义语法也OK的小妙招 (www.zhangxinxu.com)
我以为我对 CSS 变量了解够多够深入了,没想到还是有知识的盲区,今天这个小技巧小特性就是其中之一,并且是相当实用的一个特性。
by @技术头条 2022-07-24 20:54 查看详情
分布式追踪系统Jaeger介绍 (www.ipcpu.com)
Jaeger 是 Uber 公司开源的一个用于监视和诊断基于微服务的分布式系统。类似的软件还有zipkin、Skywalking等。这里我们就不谈trace和span的概念了,本站另一篇文章有介绍,我们主要谈下部署和实施的问题。
by @技术头条 2022-06-19 22:32 查看详情