teradata数据仓库编程实用教程(Terad.pptVIP

Join之前的重分布 AMP1 Subs_id Cust_id PI 100 214 100 408 T2 Cust_id B C PI 214 725 002 Subs_id Cust_id PI 200 214 T2 Cust_id B C PI 408 133 009 AMP2 用户资料表 客户资料表 Subs_id Cust_id PI 100 214 200 214 Subs_id Cust_id PI 100 408 Spool空间 要求参与JOIN的数据必须同处于一个AMP上！！ 重分布的问题 大表的代码字段与小表的PI字段 Select city_name , count(distinct subs_id) From TB_Ofr_Subs A Join TB_CDE_City B On A.city_id = B.city_id 如果选择重分布的策略，意味着将所有的用户按照地市重分布到所有的AMP上 系统总共130个AMP、总共13个盟市 意味着只有13个AMP有数据，其它AMP根本不能被用到 同时，由于呼市的用户数较大，意味这呼市所在的AMP上数据量很大，造成了13个AMP运行过程中的不均匀。 Join之前的复制小表到所有的AMP AMP1 City_id City_name PI 100 呼市 T2 Cust_id City_id PI 214 200 City_id City_name PI 200 包头 T2 Cust_id City_id PI 408 100 AMP2 地市代码表 用户资料表 City_id City_name 100 呼市 200 包头 City_id City_name 100 呼市 200 包头 Spool空间 要求参与JOIN的数据必须同处于一个AMP上！！ 复制小表到Spool空间 1M rows 1M rows 1M rows 1M rows 1M rows 1M rows 1M rows 1M rows Table Table 1M rows 8M rows SPOOL (表被复制到所有的AMP上) 1M rows 8M rows 1M rows 8M rows 1M rows 8M rows 1M rows 8M rows 1M rows 8M rows 1M rows 8M rows 1M rows 8M rows 数据已经到了一个AMP上，关联怎么做？？？ 关联策略 Merge Join 用来Join的记录必须位于相同的AMP上 Merge Join 仅仅读取每个表一次. 对于等值条件的Join，优化器经常会选用Merge Join. 通常情况下比product join的效率更高. Merge join 处理流程: 找到一个小表. 如果需要: 将一个或者两个表要用到的数据都放在Spool空间里. 基于Join列的hash值将记录重分布到相应的AMP. 根据Join列的hash顺序对spool里面的记录进行排序. 对于Join列的Hash值相同的记录进行比较. 与Product Join相比，比较次数大大降低. A3 Data A3 Data A3 Data B7 Data B7 Data C4 Data C4 Data Join Column Hash A3 Data B8 Data C4 Data Join Column Hash 适用情况： 两个表的数据量都比较大时 例如 100万 × 30万 用Case When替代UNION sel city_id,channel_id,cust_brand_id,sum(stat_values) as stat_values from ( ...... select t.city_id ---语音杂志计费量 ,coalesce(v.channel_id,b.channel_id,-) as channel_id ,cust_brand_id ,sum(case when SMS_SVC_Type_Level_SECND