Flume安装与应用

Flume概述

  • 日志采集和汇总工具
  • 收集到的日志数据汇总到HDFS存储
  • flume: 1.9.0

Flume组件

  • source:数据源(需要采集的数据)
  • channel:临时存储的数据位置,通常存储在内存
  • sink:数据目标存储,hdfs
阅读更多

网络数据采集与存储

网络访问工具

  • 访问工具:浏览器
  • 测试工具:postman
  • 编程实现:apache httpclient
  • 响应返回的也买你数据解析
    • jsoup实时页面数据解析
    • document对象数据抽取
  • 抓包工具:Charles
  • :warning:注意
    • 多线程
    • 无间断

实现功能

  • httpclient发送请求访问豆瓣电影Top250
  • html, jsoup, 字符串
阅读更多

Ajax编程应用及Nginx部署

Ajax异步请求

  • 前后端分离
    • 发送异步请求获取接口数据(Vue/axios)
    • 请求跨域问题@CrossOrigin
  • 部署服务器
    1. 前端部署:nginx
    2. 后端接口服务,nohup java -jar xxx.jar &

Ajax特点

  • 允许在同一页面中多次发送请求,并动态加载服务器数据至页面中
  • 可以有效地避免页面的频繁刷新
  • image-20200707090233216
阅读更多

MySQL数据库搭建

MySQL安装

  1. 安装信息

    • 操作系统:centos8
    • MySQL版本:8.0.19
    • 安装方式:rpm
  2. 安装

    • 上传安装文件到服务器
    • 使用root用户安装,自动创建mysql用户

    • 客户端

    1
    2
    3
    rpm -ivh mysql-community-common-8.0.19-1.el8.x86_64.rpm 
    rpm -ivh mysql-community-libs-8.0.19-1.el8.x86_64.rpm
    rpm -ivh mysql-community-client-8.0.19-1.el8.x86_64.rpm
    • 服务端

      1
      rpm -ivh mysql-community-server-8.0.19-1.el8.x86_64.rpm
阅读更多

虚拟机环境配置

课程内容

  • Linux操作系统(VirtualBox、CentOS)
  • MySQL数据库
  • Spring Boot开发环境
  • Ajax编程(Vue/Axios)
  • 企业应用部署(Nginx/jar/负载)
  • hadoop分布式环境
  • hdfs常用命令/管理命令
  • Java应用访问hdfs数据
  • HttpClient工具应用
  • jsoup页面解析
  • logback日志存储
  • flume日志采集工具
  • Hive数据仓库
  • Sqoop数据迁移工具
阅读更多

Git学习笔记

提交代码

  1. 本地初始化环境
    • git init
  2. 创建服务关联到仓库
    • git remote add duckfarm http://username:password@xxxx.git
  3. 拉取服务器仓库的环境
    • git pull --rebase duckfarm master
  4. 创建分支
    • git branch localbranch
  5. 在分支中工作
    • git checkout localbranch
  6. 提交分支的文件到本地仓库
    • 暂存 git add .
    • 提交 git commit -a -m "Day 0 Note"
  7. 同步本地代码到服务器仓库
    • git push --set-upstream duckfarm localbranch
阅读更多