ODPS 下map / reduce 的编写

ODPS 下map / reduce 的编写

  接到阿里电话说实习和竞赛智能二选一, 真伤心, 在实习前发挥余热吧.

   总结一下在ODPS下 编写map / reduce 和进行购买预测的过程.

   首先这里的hadoop输入输出都是表的形式, 我们需要一张输入表和一张输出表.

   输入表为 提供的 t_alibaba_bigdata_user_brand_total_1  输出表为自定义的wc_out

   wc_out 需要预先定义.  下面的实例的功能是合并用户对商品的操作并记录重复次数, 创建的wc_out表结构为:

   create table wc_out(user_id string,brand_id string,type string,visit_datetime string,count bigint);

  然后在eclipse 中进行map /recduce 程序的编写.

将工程导出为jar文件.(略)

在ODPS中创建资源并运行

运行完成

接下来就可以设计更复杂的模型来进行预测了