spark安装

出门捡到一个固态硬盘，回去我就装了一套白色主题的主机

一、前言朋友家的孩子要开学了，想着攒套白色的主机出来。虽然现在显卡的价格还没有恢复正常，但是学是确实已经开过了，时间不等人啊。整体的配置方面，其他硬件都不太重要，主要问题就是显卡，一番挑选之后选择了RTX3070Ti。因为锁算力的关系，虽然显卡确有一定的溢价，但刚需是真的无解。显卡预算给高了，其他...

0610-6.2.0-如何在Redhat7.4安装CDH6.2-下

4.CDH安装4.1.CDH集群安装向导1.admin/admin登录到CM2.同意license协议，点击继续3.选择60试用，点击继续4.点击“继续”5.点击“继续”，输入集群名称，可以使用默认的“Cluster1”。6.输入主机IP或者名称，点击搜索找到主机后点击继续7.点击“继续”8.选择...

使用IDEA搭建Spark源码阅读环境 idea搭建spark开发环境

闲话一句首先建议大家首先有一定的Spark基础，再来看源码。相信会学到更多的东西，尤其是整个app的运行过程，Spark的运行流程。今天弄了一天，总算是弄好了。花费时间最多的就是在编译Spark。整个过程不是在排错就是在排错的路上。话不多说，直接说具体怎么搭建，同时也方便自己以后查阅。准...

我不壕，不能带你飞，但我有大疆“晓”Spark

那是我们第一次去上海。前一天早上我突然接到老大的通知，第二天要去上海出差，参加个什么发布会，然后因为又临近周末，老大说可以多呆两天，见识见识大上海的风光，比如美女什么的。在这时候我想起《上海滩》里冯程程第一次去找许文强说过的那句“等机缘不如自己去找”，然后正当我YY着会在大上海邂逅一美女的时候，身边...

四十四、SparkSQL整合Hive (Spark on Hive)

SparkSQL设计的目的是让用户可以在Spark上面使用SQL语法处理结构数据，它支持丰富的数据源，可以是RDD,也可以是外部的数据源(文件文件、json、csv、parquet、hive、hbase等)。SparkSQL的一个重要的分支就是Spark兼容Hive,也就是在Spark中运用了H...

Spark3.x的Cache能不能让我在2022好好睡觉

前言一转眼已经是2022年1月9日了，跨年的节点会发生很多系统性的大事，对于普通人来讲就是跨过一个新的公元年2021->2022,对于生产系统来说，尤其是离线系统，需要发生年结，虽然期望平稳度过，但是实际情况总归没那么太平，所以每次到了这种节点，我们都是第一个flag，新的一年，好好睡觉!!2...

Windows上也能用Swift编程了，官方编译安装包已上线

萧箫发自凹非寺量子位报道|公众号QbitAI最近，Swift发行了5.3版本，这意味着它可以直接在Windows10上使用了。由于Swift是苹果开发的一门编程语言，能在Ubuntu、Linux和苹果系统上使用，但在5.3版本前，Windows并不直接支持。虽然，官方在之前出过一版Wi...

谷歌推出Cloud Dataproc，缩短集群启动时间

本周三谷歌为Hadoop和Spark推出了CloudDataproc服务的beta版本，这项服务旨在帮助用户快速创建和关闭Hadoop和Spark集群，因为很多企业用户发现对Hadoop和Spark的安装和使用比想象的困难很多，尤其是当两者一起使用时。谷歌声称使用CloudDataproc每一个...

2019美骑之选:山地车整车盘点(上)

转眼就到了2019年的年底，想必各位小伙伴们的上司们都开始让各位做年终报告了吧。反正卑微的笔者我在学校里是有好几篇要写。话说回来各大厂商也该为2019年交出份“年终总结”了，这一年各大厂商都在暗自较劲。新的产品、新的技术层出不穷。前几天卑微寒静，为各位观众老爷盘点过那些公路车们了。咱今天来盘点盘点2...

安装CDH6.3 安装cdh6.2.0

?文档编写目的Cloudera在2019年7月31日，对外宣布正式发布ClouderaEnterprise6.3，相关介绍可以参考Fayson之前的文章《0682-ClouderaEnterprise6.3.0发布》，《0717-6.3.0-ClouderaManager6.3的新功能》...