java8实现spark wordcount并且按照value排序输出

最近在学习spark，本来应该是使用scala编程，但是无奈scala没接触过，还得学，就先使用java的spark api练练手，其实发现java8的函数式编程跟scala很多地方异曲同工啊，搞定spark的java api后面学scala应该事半功倍！
最开始当然是万年不变的wordcount，加了个排序输出，具体看注释(^o^)/

SparkConf conf = new SparkConf().setMaster("local").setAppName("word count");
JavaSparkContext sc = new JavaSparkContext(conf);
JavaRDD<String> lines = sc.textFile("xxx.txt");
//使用java8提供的lambda表达式
//一句可以完成wordcount
JavaPairRDD<String, Integer> counts = 
	lines
	//根据'\001'分割来源行
	.flatMap(line -> Arrays.asList(line.split("\\001")).iterator())
	//map输出 (单词,1)
	.mapToPair(w -> new Tuple2<String, Integer>(w, 1)) 
	//通过reduce相同key，value值相加
	.reduceByKey((x, y) -> x + y); 
		
//根据得到的value值排序而不是key，默认只提供了根据key排序
//那么想到的思路是，交换key、value，进行key排序，交换回来，完成value排序
counts
	//交换key-value，注意类型
	.mapToPair(s -> new Tuple2<Integer, String>(s._2, s._1))
	//倒序
	.sortByKey(false)
	//交换key-value，注意类型
	.mapToPair(s -> new Tuple2<String, Integer>(s._2, s._1))
	//转成集合
	.collect()
	//输出
	.forEach(tuple -> System.out.println(tuple._1() + ": " + tuple._2()));