全部 大数据新闻动态 大数据技术文章 大数据常见问题 技术问答

• • 

    HDFS是什么？HDFS的演变过程？

    HDFS,全称Hadoop Distributed File System,意思是分布式文件系统。Hadoop分布式文件系统是指被设计成适合du运行在通用硬件(commodity hardware)上的分zhi布式文件系统。接下来，我们从传统的文件系统入手，开始学习分布式文件系统，以及分布式文件系统是如何演变而来。 查看全文>>

    大数据技术文章2020-10-15 |传智播客 |HDFS,HDFS是什么,大数据,HDFS是怎样工作的

  • 

    oozie框架基础视频教程：大数据调度系统构成

    从零开始讲解大数据调度系统构成，集成大数据计算任务构建大数据工作流，基于Oozie构建实现企业级自动化任务开发。提取码：esu8 查看全文>>

    大数据技术文章2020-09-11 |传智播客 |oozie框架基础视频教程

  • 

    大数据迁移方案|实战视频教程【传智播客】

    从零开始讲解大数据业务及数据采集和迁移需求，以案例驱动的方式讲解基于Sqoop构建高性能的分布式数据迁移和同步平台。提取码：964s 查看全文>>

    大数据技术文章2020-09-11 |传智播客 |大数据迁移方案

  • 

    数据湖架构开发视频教程|传智教育

    对数据湖概念进行介绍，并通过Delta Lake技术配合Hadoop、Spark完成数据湖架构的搭建，并介绍通过AWS构建数据湖的方式。提取码：afhg 查看全文>>

    大数据技术文章2020-09-11 |传智播客 |数据湖架构开发视频教程

  • 

    大数据疫情防控平台搭建教程【传智播客】

    实战式教学，综合运用多种技术，实现从数据爬取到数据分析再到数据可视化全流程。提取码：oz7r 查看全文>>

    大数据技术文章2020-09-11 |传智播客 |大数据疫情防控平台搭建教程

  • 

    Hive2.x压缩配置教程

    除了创建表时指定保存数据时压缩，在查询分析过程中，Map的输出也可以进行压缩。由于map任务的输出需要写到磁盘并通过网络传输到reducer节点，所以通过使用LZO、LZ4或者Snappy这样的快速压缩方式，是可以获得性能提升的，因为需要传输的数据减少了。 查看全文>>

    大数据技术文章2020-07-30 |传智播客 |Hive2.x压缩配置教程

  • 

    大数据实战之反爬虫系统视频教程【大数据培训】

    通过不断的订座但不支付，利用这些虚占的座位进行非法盈利，通过系统日志分析等，发现官网存在大量的非法占座会员及非会员手机号用户。 为了限制伪装技术越来越强的爬虫访问和恶意占座行为，需要开发大数据防爬工具。 项目采用Lua+Spark+Redis+Hadoop框架搭建,包含状态监控,反爬指标配置,运营指标监控展示等功能。 查看全文>>

    大数据技术文章2020-06-02 |传智播客 |反爬虫系统

  • 

    Spark Streaming框架有什么特点？【大数据培训】

    Spark Streaming是构建在Spark上的实时计算框架，且是对Spark Core API的一个扩展，它能够实现对流数据进行实时处理，并具有很好的可扩展性、高吞吐量和容错性。Spark Streaming具有如下显著特点。 查看全文>>

    大数据技术文章2020-05-29 |Spark Streaming框架特点 |Spark Streaming框架

  << < 1 ... 9 10 11 12 13 14 15 ... 35 > >>