Skip to content

comdna/BigDataTrain

Repository files navigation

项目说明

WordCount -> 词频统计

InvertedIndex -> 倒排索引

Serializetion -> 序列化

Partition -> 自定义分区

sort -> 自定义排序, 其中AllSort只有一个分区,对该分区排序; PartitionSort既有自定义分区,又有分区内的排序

Count -> 带有Combiner的WordCount

outputFormatDemo -> 自定义Reducer结束之后的输出格式和位置

lab -> 一个综合性的小实验,实验要求在lab文件夹中的pdf文件中

TableJoin -> 使用MR处理表的连接问题

一些问题

许多路径采用的是绝对路径,所以很多代码不能直接跑

About

北邮-SSE-大三上,大数据实践课程

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published