ghost_face
- 浏览: 53059 次
-
最新评论
-
ghost_face：
fireinwind 写道查看Storm ui，地址是：htt ...
Storm on yarn安装步骤 -
fireinwind：
查看Storm ui，地址是：http://<your ...
Storm on yarn安装步骤 -
chenling96：
首先谢谢你的答复，我的storm on yarn可以正常跑起来 ...
Storm on yarn安装步骤 -
ghost_face：
storm on yarn运行的时候（就是storm-yarn ...
Storm on yarn安装步骤 -
chenling96：
a.提交Topology storm jar lib/sto ...
Storm on yarn安装步骤
文章列表
之前在网上看到了一篇使用MapReduce实现二次排序的博客，自己尝试实现了，并测试成功，代码有所改动。链接如下：
http://blog.csdn.net/zyj8170/article/details/7530728
所谓的二次排序：对Key和Val都进行排序（比如升序），并输出。对Key的自动排序，MapReduce可以替我们解决，但是同时对Val进行排序，则需要其他的做法。
做法一：对每个Key的所有Val，添加到ArrayList，使用Collections.sort方法进行排序，虽然能够实现，但是存在隐患，如果key的val值很多，那么对每个Key的ArrayList消 ...
在Mysql中，字段的空值包含两种不同的含义：
1，字段值为null；
2，字段值为空字符串
去除空值的方法：
create table 表B select 列1，列2，
IFNULL(列3，'I am NULL') as 列3，
IFNULL(列4，-999) as 列4...
from 表A；
解释：将表A中，若列3为NULL，则替换成字符串‘I am NULL’，若列4为空，则替换成数值-999。
（IFNULL函数的返回值，如果该列不为空，则返回原始值，这个值的类型会根据字段类型一致，否则返回你定义的值。）
去除空字符串的方法（使用update语句 ...
Music, come on!
- 博客分类：
- 休闲
My love(R&B)
Num
Song
Singer
1
Ring My Bells
Enrique Iglesias
2
Call You Tonight Ocean
Johnta Austin
3
Melt The Snow
Shayne Ward
4
The Saltwater Room
Owl City&Breanne
5
Beautiful Soul
Jesse McCartney
6
Fall
Brandy
7
Wait For You
Elliott Yamin
8
C ...
一、《Hadoop权威指南》一书中的示例，测试了一下。
定制的Writable类型：TextPair
功能：存储一对Text对象。代码如下：
package testWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
public class TextPair implem ...
1，Configuration配置文件只有在main或者是run方法中设置才有效；
在map或reduce中只能通过context.getConf()方法获取该Job的配置文件，从而读取常量值。
注：千万不能在map或reduce中修改configuration，虽然不报错，但这样是改不了值的
补充：类的静态常量与Configuration设置常量的功能是一样的，但前者只能保留第一次赋值，即使在main或run中修改也不行
2，如果该MR程序，不需要Reducer过程，则只需要在main或run中job.setReducerClass(Reducer.class)即可。
...
SVD（Singular value decomposition）：奇异值分解，矩阵分解的算法之一。
在数据分析中的输入矩阵A一般是非奇异矩阵，而使用SVD可将A分解成一个对角阵B，形式如下：
A = P B Q
这里的B是不带有隐特征的，但由于SVD计算量太大，一般都用MF模型
MF（Matrix Factorization）：也是一种矩阵分解。形式如下：
A = （P的转置）Q
隐特征在P和Q之内
FM（Factorization Machine）：FM模型是用于推荐系统的一种新提出来的推荐模型，用于预测用户对某个该用户没有选择过的项目的评分，依据评分的高低针对用户 ...
题1，如何删除掉一张表重复记录？
--创建一个没有指定主键的表，因此可以有多个重复记录；
create table cat(
catId int,
catName varchar(30))
--插入多个重复记录
insert into cat values(1,'aa') --执行多次
insert into cat values(2,'bb') --执行多次
--使用distinct关键字去重，并将结果导入到一个临时表#temp（表名可以#开头）
select distinct * into #temp from cat
--清除表cat中的所有数据
delete fr ...
数据库简单语句：注释（开头--）
1》创建库
create database LiangshanHeros
表和列的命名规则（SqlServer 2000）：
必须以字母，下划线，或者汉字开头（最好是以字母开头）；
长度不能超过128个字符；
不能使用系统保留字； ...
获取MySql表结构
- 博客分类：
- Java语言
import java.sql.*;
public class testMySql {
public static void main(String[] args) {
String driver = "com.mysql.jdbc.Driver";
String userName = "cloud";
String userPasswd = "bigbig";
String database = "webmon_test";
String jdbc = "jdb ...
Split函数和Scanner类都可以使用正则表达式实现字符串分割。
例如从命令行接受一行字符串如： 1 2（注意1前面有多个空格，1与2之间有多个空格）
Split：
InputStreamReader isr=new InputStreamReader(System.in);
BufferedReader br=new BufferedReader(isr);
String [] a;
try{
a = br.readLine().split(" +"); //“ +”是正则 ...