1.varchar2把所有字符都占两字节处理(一般情况下)，varchar只对汉字和全角等字符占两字节，数字，英文字符等都是一个字节；2.VARCHAR2把空串等同于null处理，而varchar仍按照空串处理；3.VARCHAR2字符要用几个字节存储，要看数据库使用的字符集，大部分情况下建议使用varchar2类型，可以保证更好的兼容性搜索。

LGWR，是Log Writer的缩写，也是一种后台进程。主要负责将日志缓冲内容写到磁盘的在线重做日志文件或组中。DBWn将dirty块写到磁盘之前，所有与buffer修改相关的redo log都需要由LGWR写入磁盘的在线重做日志文件(组)，如果未写完，那么DBWn会等待LGWR，也会产生一些相应的等待事件(例如：log file prarllel write，后面单独作为话题再聊)。总之，这样

前面有说道spark-streaming的简单demo，也有说到kafka成功跑通的例子，这里就结合二者，也是常用的使用之一。

之前一直有项目用到，不过我并不负责这一块，所以了解不多，这次趁机会学习下。之前对kafka的了解其实仅限于知道它是一个分布式消息系统，这次详细了解了下，知道了一些关键概念(topic主题、broker服务、producers消息发布者、consumer消息订阅者消费者)，具体网上一大堆，这里不赘述，直接开始代码。

配置多节点执行服务器的时候，需要在AzkabanWebServer的配置文件azkaban.properties里添加 azkaban.use.multiple.executors=true azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus azkaban.execut

Spark 开发者都会反应一个常见问题，如何为 Spark 配置硬件。然而正确的硬件配置取决于使用的场景，我们提出以下建议。

随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。

概念这里就不说了，从案例开始，惯例，hellowrod，哦不，wordcount。

最近在学习spark，本来应该是使用scala编程，但是无奈scala没接触过，还得学，就先使用java的spark api练练手，其实发现java8的函数式编程跟scala很多地方异曲同工啊，搞定spark的java api后面学scala应该事半功倍！最开始当然是万年不变的wordcount，加了个排序输出，具体看注释(^o^)/

123456789101112131415time1=$(date -d "$currentTime" +%s)time2=$(($time1-24*3600))filepath=/root/g01/g_01_api_*_$time2.txtif [ -f $filepath ];thenecho '找到匹配的文件'for i in $filepathdo