ITeye博客

Just do it!

ghost_face · 共 25 篇文章

《京华烟云》有感——正中红心,不偏不倚

看完京华烟云小说后,忍不住写这个感受时,眼泪不由自主地流。姚木兰同父亲一样,最终得道。父亲是远离群众,一个人打坐沉思得道,而木兰最终为了国家存亡,为了民族的延续,深入群众,得到解脱,失去自我。个人的命运紧紧地同国家存亡息息相关。 为什么就这样结尾了,让我觉得胸闷气短,眼睛始终湿润。 可以说,林语堂从小说开始给我设了一个套,通过姚木兰的精神面貌的改变,随着她得道的过程,以及得道的结果,就像对着我的内心射了一箭,才使我恍然大悟。牛素云给我的印象也是如此之深,从一个“白面皇后”到一个获取日本特务信息的间谍,中间的转变过程,思考过程,让我忘记了她以往的所作所为。她是个牺牲品,那个年代的牺牲品,最后被…

2014-12-31T14:42:50Z · 非技术 · 评论(0)

Metaq服务器端的配置说明server.ini

注:从metaq官网copy下来,便于查看; 地址:https://github.com/killme2008/Metamorphosis/wiki/%E9%85%8D%E7%BD%AE%E7%AE%A1%E7%90%86 配置管理 Web管理平台 从1.4.5开始,MetaQ提供了一个Web管理平台,默认运行在8120端口,你可以通过浏览器访问 http://localhost:8120 来访问web管理平台, localhost 为本机IP,可替换为broker运行机器所在ip或者hostname。 1.4.6版本开始,Web管理平台提供RESTFul API,具体见 Dashboard…

2014-04-04T11:03:29Z · 开源软件 · 评论(0)

Storm的可靠性与Ack机制

Storm可以确保由Spout发送的每条消息都会被所有的Bolts完全处理,但是这需要用户来决定是否需要可靠性机制。如果是简单的统计分析,可靠性要求不是很高,则可以选择使用不可靠的Bolts。 Storm编程中,有各种Bolt,命名格式XXRichBolt或XXBasicBolt。其中,带有Rich的Bolt,是没有可靠性机制的,需要自己手动调用方法collect.ack()或者collect.fail();而带有Basic的Bolt是封装可靠性机制,在emit一个Tuple时,会在内部自动加入该tuple,进行锚定,所以用户只需要编写处理逻辑,系统会默认调用ack或fail方法。那么,st…

2014-04-01T17:06:01Z · 开源软件 · 评论(0)

Storm on yarn安装步骤

参考: [1] http://hi.baidu.com/clockfly/item/f977cad1239bd94fddf9beea [2] http://blog.csdn.net/jiushuai/article/details/18729367 1. 已有的环境 a. 安装有HDFS文件系统 b. 安装有YARN,且YARN服务已经开启 c. JAVA_HOME 注:本次安装实验是基于hadoop2.2.0的,jdk1.7,因此a,b,c全部满足。 2. Storm on Yarn的安装准备 a. 从GitHub上下载Storm on Yarn wget https://github.…

2014-02-14T15:02:34Z · 开源软件 · 评论(9)

计算字符串相似度【转载】

---------以下部分转载自博客 http://www.cnblogs.com/grenet/archive/2010/06/04/1751147.html ---------------- 在“ 文本比较算法Ⅰ——LD算法 ”中,介绍了编辑距离的计算。 在“ 文本比较算法Ⅱ——Needleman/Wunsch算法 ”中,介绍了最长公共子串的计算。 在给定的字符串A和字符串B,LD(A,B)表示编辑距离,LCS(A,B)表示最长公共子串的长度。 如何来度量它们之间的相似度呢? 不妨设S(A,B)来表示字符串A和字符串B的相似度。那么,比较合理的相似度应该满足下列性质。 性质一:0≤S(A…

2013-11-15T16:33:09Z · 编程语言 · 评论(0)

字符串相似度匹配算法【转载】

原文链接: http://www.cnblogs.com/grenet/archive/2010/06/04/1751147.html 文章大致内容: 1,计算两个字符串的Levenshtein距离。 Levenshtein距离:又叫做编辑距离,指两个字符串A和B中,A到B(或者B到A)的转变至少需要编辑的次 数。编辑操作包括:添加、删除、替换。 2,计算两个字符串的LCS(Longest Common Subsequence)长度 3,根据1,2,来确定最后的相似度。

2013-09-26T17:21:54Z · 编程语言 · 评论(0)

《Hadoop权威指南》——第七章MapReduce的类型与格式

输入 类FileInputFormat FileInputFormat是所有使用文件作为数据源的InputFormat实现的基类。 1,1基本的输入 通过addInputPath(s)和setInputPath(s)四种静态方法设置输入路径。 1,2有选择的输入 如果需要排除特定文件,可以使用setInputPathFilter()方法设置一个过滤器。 注:FileInputFormat会使用一个默认的过滤器来排除隐藏文件(名称中以“.”和“_”开头的文件)。如果通过调用setInputPathFilter()设置过滤器,将会在默认过滤器的基础上进行过滤。 1,3类FileInputForm…

2013-09-18T14:37:21Z · 企业架构 · 评论(0)

MapReduce,组合式,迭代式,链式(转载)

MapReduce,组合式,迭代式,链式 前面介绍一些怎样用户类制定自己的类,来达到减少中间数据: http://www.cnblogs.com/liqizhou/archive/2012/05/14/2499498.html 1.迭代式mapreduce 一些复杂的任务难以用一次mapreduce处理完成,需要多次mapreduce才能完成任务,例如Pagrank,Kmeans算法都需要多次的迭代,关于mapreduce迭代在mahout中运用较多。有兴趣的可以参考一下mahout的源码。 在map/reduce迭代过程中,思想还是比较简单,就像类似for循环一样,前一个mapreduce…

2013-07-23T10:08:01Z · 企业架构 · 评论(0)

mahout之Kmeans使用及结果分析

Mahout-Kmeans 1,两个输入路径:一个是数据的点;一个是初始集群。 点的输入文件是SequenceFile(Key, VectorWritable)格式; 而初始集群的输入文件格式是SequenceFiles(Text, Cluster | Canopy) 2,每次迭代会产生一个输出目录“cluster-N”,输出文件格式为SequenceFile(Text, Cluster),表示第N次迭代后产生的clusters。 3,输出目录“clusteredPoints”,表示最终的集群结果,即每个集群中所包含的Points。 4,解压安装Mahout0.7版本。 5,Running …

2013-07-12T19:32:54Z · 开源软件 · 评论(0)

Oozie的JavaAction使用

1编写自定义功能的main函数 功能:得到指定目录的信息(该目录下文件个数、该目录的修改时间),并将信息反馈给oozie。 代码如下: package myTest.oozie; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.File; import java.io.FileOutputStre…

2013-07-08T21:11:06Z · 开源软件 · 评论(0)

Hive环境搭建

Hive 1.安装 (1)安装要求:Java1.6;Hadoop0.20.x (2)安装步骤 l 解压 $ tar -xzvf hive-x.y.z.tar.gz l 环境变量HIVE_HOME,PATH,JAVA_HOME,HADOOP_HOME $ cd hive-x.y.z $ export HIVE_HOME={{pwd}} $ export PATH=$HIVE_HOME/bin:$PATH $ export JAVA_HOME=/usr/java/jdk1.7.0_01 $ export HADOOP_HOME=<hadoop-install-dir> l 创建目录/tmp和 /…

2013-07-05T10:35:36Z · 企业架构 · 评论(0)

hadoop环境搭建

背景:三台机器,一个主机名为master,另外两个是slave1和slave2。 将master作为jobtracker和namenode 1,在所有机器上新建用户 useradd hh -g hadoop 2,配置ssh(免密码登陆) // 在master端生成秘钥 ssh-keygen //查看秘钥 cd .ssh/ cat id-rsa.pub //将公钥内容copy到每台机器.ssh/下的autho…… 3,通过scp(远程拷贝hadoop.tar.gz到所有salves机器,以slave1为例) scp ./hadoop.tar.gz slave1:/home/hh/ ssh sl…

2013-06-14T14:16:08Z · 开源软件 · 评论(0)

Oozie相关函数

EL:Expression Language http://oozie.apache.org/docs/3.3.2/WorkflowFunctionalSpec.html#a4.2.1_Basic_EL_Constants Oozie相关函数 1.Decision Node 1.1 switch case default一定要设置。 Example: <workflow-app name="foo-wf" xmlns="uri:oozie:workflow:0.1"> ... <decision name="mydecision"> <switch> <case to="reconsolid…

2013-05-17T14:34:37Z · 开源软件 · 评论(0)

通过HadoopAPI获取task日志内容

在集群中查看Task日志的方法,一般有两个: 1,通过Hadoop提供的WebConsole,直接在页面中追踪查看; 2,到集群中运行该task的节点上,查看日志文件。每个tasktracker子进程都会用log4j产生三个日志文件,分别是syslog,stdout,stderr。这些日志文件存放到%HADOOP_LOG_DIR%目录下的userlogs的子目录中。但是通过该方法,需要追踪到哪个节点运行了该task。 下面,通过使用JobClient,以及JobClient的几个私有方法(displayTaskLogs()、getTaskLogs()、getTaskLogURL(),方法参数…

2013-05-16T11:30:38Z · 开源软件 · 评论(0)

MR实现将同一个key的内容分配到同一个输出文件

MapReduce程序默认的输出文件个数: 首先,根据setNumReduceTasks(int num)这个方法, 其次,根据Map的输出文件个数。 一般情况下,同一个key的数据,可能会被分散到不同的输出文件中。倘若我们要对某一个特定的key的所有value值进行遍历,则需要将包含该key的所有文件作为输入文件。当数据比较庞大时,这样的操作会浪费资源。如果同一个Key的所有的value值都会被分配到同一个文件中,就会比较理想。 在Hadoop-core包中,有个类MultiplyOutputs可以实现以上功能(其实就是在reduce中加一两句话,其他不变)。代码如下: package i…

2013-05-15T18:17:08Z · 编程语言 · 评论(0)