PAI-STUDIO通过Tensorflow处理MaxCompute表数据 (yq.aliyun.com)

【简介】

PAI-STUDIO在支持OSS数据源的基础上,增加了对MaxCompute表的数据支持。用户可以直接使用PAI-STUDIO的Tensorflow组件读写MaxCompute数据,本教程将提供完整数据和代码供大家测试。

点击查看全文 >>

@可耐芊小仙女 2019-08-15 15:51分享 / 0个评论
要不要再学学下面的文章?
阿里巴巴大数据产品最新特性介绍--机器学习PAI (yq.aliyun.com)
在PAI的架构图中,最下层的是PAI的计算框架和数据资源。PAI可支持MaxCompute、OSS、HDFS和NAS等多种数据资源。在数据资源和多种计算框架基础之上,诞生出了PAI的最早形态:PAI-Studio——可视化建模实验平台,Studio中包括了两百多种算法,覆盖了数据预处理,特征工程,模型训练,评估预测等全链路的实验流程操作。用户可在PAI-Studio中以拖拽的方式构建实验,而无需复杂的操作。此外,PAI内置了鲲鹏计算框架,可支持百亿特征,百亿样本的超大规模矩阵训练。在最初建立过程中,PAI-Studio的定位目标为中级的算法工程师,即一个不需要很高的技术门槛就可以上手使用的算法平台。有了可视化建模Studio,PAI就可以拥有为用户提供业务支持,如构建推荐系统、金融风控、疾病预测或新闻分类等的能力。
by @可耐芊小仙女 2019-09-18 15:27 分享 查看详情
阿里巴巴飞天大数据架构体系与Hadoop生态系统 (yq.aliyun.com)
Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算,充分利用集群的威力进行高速运算和存储。Hadoop的核心有两大板块:HDFS和MapReduce。
by @可耐芊小仙女 2019-09-12 17:56 分享 查看详情
阿里云MaxCompute 2019-8月刊 (yq.aliyun.com)
MaxCompute存储计费于9月1日进行降价,原5个阶梯价调整为3个阶梯价,同时阶梯单价向下调整。计量计费方式不变,以项目为单位出账,小时级别采集每个项目空间下当前的存储使用情况,计算当天的存储平均值再乘以阶梯单价得出单项目账单。新的阶梯价,依然是存储量越高单价越低。当数据存放集中且数据量也较大的情况下,新价格统计的费用较之原价可下降达30%。
by @可耐芊小仙女 2019-09-12 17:55 分享 查看详情
MaxCompute问答整理之8月 (yq.aliyun.com)
本文是基于对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。问题一、通过数据源数据增量同步后,如何查看某一条数据具体被同步到MaxCompute中的时间?不支持,查看不了,可以看表元数据的LastModifiedTime时间,但具体某个记录看不到时间。
by @可耐芊小仙女 2019-09-06 16:11 分享 查看详情
独家 | 10个数据科学家常犯的编程错误(附解决方案) (developer.aliyun.com)
数据科学家是“比软件工程师更擅长统计学,比统计学家更擅长软件工程的人”。许多数据科学家都具有统计学背景,但是在软件工程方面的经验甚少。我是一名资深数据科学家,在Stackoverflow的python编程方面排名前1%,并与许多(初级)数据科学家共事。以下是我经常看到的10大常见错误,本文将为你相关解决方案:
by @可耐芊小仙女 2019-08-30 16:05 分享 查看详情
MaxCompute 最新特性介绍 | 2019大数据技术公开课第三季 (yq.aliyun.com)
距离上一次MaxCompute新功能的线上发布已经过去了大约一个季度的时间,而在这一段时间里,MaxCompute不断地在增加新的功能和特性,比如参数化视图、UDF支持动态参数、支持分区裁剪、生成建表DDL语句功能等功能都已经得到了广大开发者的广泛使用。那么,近期MaxCompute究竟还有哪些新特性呢?本文就为大家揭晓答案。
by @可耐芊小仙女 2019-08-27 16:10 分享 查看详情
阿里巴巴大数据产品最新特性介绍 | 2019大数据技术公开课第四季 (yq.aliyun.com)
阿里巴巴大数据产品最新特性介绍 | 2019大数据技术公开课第四季
by @可耐芊小仙女 2019-08-27 16:09 分享 查看详情
唱吧基于 MaxCompute 的大数据之路 (yq.aliyun.com)
使用 MaxCompute之前,唱吧使用自建体系来存储处理各端收集来的日志数据,包括请求访问记录、埋点数据、服务器业务数据等。初期这套基于开源组件的体系有力支撑了数据统计、业务报表、风控等业务需求。但随着每天处理数据量的增长,积累的历史数据越来越多,来自其他部门同事的需求越来越复杂,自建体系逐渐暴露出了能力上的短板。同时期,唱吧开始尝试阿里云提供的ECS、OSS等云服务,大数据部门也开始使用 MaxCompute来弥补自建体系的不足。
by @可耐芊小仙女 2019-08-27 16:08 分享 查看详情
从大数据到快数据 数据智创未来——2019 CCF大数据与计算智能大赛正式开赛! (yq.aliyun.com)
CCF BDCI大赛是由中国计算机学会大数据专家委员会于2013年创办的国际化智能算法、创新应用和大数据系统大型挑战赛事。自创办以来,大赛已成功举办六届,连续获得教育部、工信部、国家基金委等多个国家部委指导,受到北京、青岛、常熟、沈阳、郑州等政府支持,在梅宏院士、李国杰院士等百余位国内外顶尖专家的参与下,共吸引了来自海内外25个国家,1500余所高校及科研院所,1800余所企事业单位的60000余人参加。
by @可耐芊小仙女 2019-08-26 15:52 分享 查看详情
『Power AI by AI』 PAI-AutoML2.0重磅发布 (yq.aliyun.com)
PAI-AutoML调参服务是通过算法的方式解放用户调节算法参数的工作。自2018年8月发布PAI-AutoML1.0版本以来,该功能已经帮助众多PAI的中小企业用户提升了模型的准确性,得到了不错的反馈。
by @可耐芊小仙女 2019-08-26 15:48 分享 查看详情