大数据工程师


  • 简介
  • 目录大纲
  • 最新文档
  • 文集下载

暂无文集简介

    互联网日志分析

    开启单节点集群环境 1.修改云主机host文件,添加内网IP,对应映射名为hadoop000,实现云主机自身使用root用户ssh访问hadoop000免密登陆 操作环境: Hadoop/Hive/Spark ``` echo "172.18.0.248 hadoop000" >> /etc/hosts ssh-keygen -t rsa ssh-copy-id -i /root...……

    LazzMan - 2024年9月27日 23:48


    高校专业学科分析

    开启单节点集群环境 修改云主机host文件,添加内网IP,对应映射名为hadoop000,实现云主机自身使用root用户ssh访问hadoop000免密登陆 操作环境:Hadoop/Hive/Spark ``` echo "172.18.39.202 hadoop000" >> /etc/hosts ssh-keygen ssh-copy-id -i /root/.ssh/i...……

    LazzMan - 2023年10月26日 23:37


    医疗数据分析

    开启单节点集群环境 修改云主机host文件,添加内网IP,对应映射名为hadoop000,实现云主机自身使用root用户ssh访问hadoop000免密登陆 操作环境:Hadoop/Hive ``` 修改hostname hostnamectl set-hostname hadoop000 bash 添加hostname映射 echo "172.18.2.86 hadoop000" &g...……

    LazzMan - 2023年10月25日 21:26


    Flume和Logstash对比

    Flume和 Logstash 对比 一、概述 在某个 Logstash 的场景下,我产生了为什么不能用 Flume 代替 Logstash 的疑问,因此查阅了不少材料在这里总结,大部分都是前人的工作经验下,加了一些我自己的思考在里面,希望对大家有帮助。 大数据的数据采集工作是大数据技术中非常重要、基础的部分,数据不会平白无故地跑到你的数据平台软件中,你得用什么东西把它从现有的设备(比如服务...……

    LazzMan - 2023年10月25日 20:13


    集群搭建

    一、基础环境配置 按照左侧虚拟机名称修改对应主机名(分别为master、slave1、slave2,使用hostnamectl命令)。 操作环境:master、slave1、slave2 ``` master [root@iZ2zebu9x0o69aeixmyzigZ ~]# hostnamectl set-hostname master [root@iZ2zebu9x0o69aeixm...……

    LazzMan - 2023年10月25日 17:51



    LazzMan