1+x2020年数据采集证书（中级）实操试卷一

1+x 2020年数据采集证书（中级）实操试卷一 采集工具运用题 一、数据采集任务场景一（工具定制题） 使用 apache httpd、filebeat、logstash、csv完成数据采集演示。 1、数据场景： apache httpd: 运行目录：/app/httpd/ filebeat 安装路径：/bigData/tools/filebeat/ 配置文件：/bigData/tools/filebeat/filebeat.yml logstash 安装路径：/bigData/tools/logstash/ 配置文件：/bigData/tools/logstash/config/logstash-filebeat-csv.conf 题目要求： 2、采集要求 1）apache httpd的配置文件修改 1.1）找到apache httpd配置文件 1.2）根据apache httpd配置文件找到access日志文件。 1.3）修改apache httpd配置文件中的apache端口为8097，然后重启apache。 1.4）通过火狐浏览器直接访问apache服务，产生新的日志数据。 2）在filebeat里配置采集的apache httpd的access日志文件路径 3）使用采集工具（filebeat）收集apache httpd的access日志数据 4）通过filebeat输出到logstash，在logstash里收集信息，通讯端口是5044。 5）通过logstash使用 HTTPD_COMMONLOG 正则规则拆分日志数据。 6）通过logstash输出到csv文件中（/home/output/httpd-outfile.csv）。 7）httpd-outfile.csv内容说明：包含"timestamp" ,"verb", "httpversion"这三个属性信息，用4个空格分隔。 3、提交的内容 1）filebeat的配置文件 2）logstash的配置文件 3）csv结果文件 1）filebeat的配置文件 filebeat.inputs: - type:log to do enabled:true to do paths: -/app/httpd/logs/access_log filebeat.config.modules: path:${path.config}/modules.d/.yml reload.enabled:false setup.template.settings: index.number_of_shards:3 setup.kibana: output.logstash: to do The Logstash hosts hosts:["localhost:5044"] processors: - add_host_metadata:~ - add_cloud_metadata:~ 评分标准 2）logstash的配置文件 Sample Logstash configuration for creating a simple Beats -> Logstash -> Elasticsearch pipeline. input{ to do beats{ port=> 5044 }}filter{ to do grok{ match=> { "message" => "%{HTTPD_COMMONLOG}" } }}output{ csv{ path=> "/home/output/httpd-outfile.csv" fields=> ["timestamp" ,"verb", "httpversion"] csv_options=> {"col_sep" => " "} } stdout{ codec=> rubydebug格式化 } } 25分 3）csv结果文件 "27/Jul/2020:15:52:47 +0800"GET 1.1 采集结果：15 分. 采集结果文件中至少包含一条数据。数据内容参考如下： "27/Jul/2020:15:30:47 +0800" GET 1.1 这一条数据中的三个数据项值分别是5分。 第一个数据是时间，时间要包含 27/Jul/2020 这个关键数据。 第二个数据是请求方法值。可以是GET、POST、PUT、DELETE等其中一个。 第三个数据是HTTP版本号。值可以是 1.1 。 编程题 题目说明： 采集要求 1）使用python采集一个指定网站的首页。 2) 对获取到的响应网页内容进行冗余数据剔除。 2.1）使用正则去掉网页中的