Merge remote-tracking branch 'origin/div' into div

admin

2020-04-13 dd5b15229cb15459fa7c31ccea77dac28cbfafbd

 fanli/src/main/java/com/yeshi/fanli/job/order/taobao/UpdateOrderJob.java

@@ -16,6 +16,8 @@
import org.springframework.scheduling.annotation.Scheduled;

import org.springframework.stereotype.Component;



import com.xxl.job.core.biz.model.ReturnT;

import com.xxl.job.core.handler.annotation.XxlJob;

import com.yeshi.fanli.dto.taobao.WeiQuanOrderResult;

import com.yeshi.fanli.entity.bus.user.LostOrder;

import com.yeshi.fanli.entity.bus.user.Order;

@@ -26,18 +28,20 @@
import com.yeshi.fanli.service.inter.common.DataMonitorService;

import com.yeshi.fanli.service.inter.order.CommonOrderService;

import com.yeshi.fanli.service.inter.order.LostOrderService;

import com.yeshi.fanli.service.inter.order.OrderMoneySettleService;

import com.yeshi.fanli.service.inter.order.OrderProcessService;

import com.yeshi.fanli.service.inter.order.OrderService;

import com.yeshi.fanli.service.inter.taobao.TaoBaoOrderService;

import com.yeshi.fanli.service.inter.order.tb.TaoBaoOrderService;

import com.yeshi.fanli.service.inter.order.tb.TaoBaoWeiQuanOrderService;

import com.yeshi.fanli.service.inter.taobao.TaoBaoUnionConfigService;

import com.yeshi.fanli.service.inter.taobao.TaoBaoWeiQuanOrderService;

import com.yeshi.fanli.util.CMQManager;

import com.yeshi.fanli.util.Constant;

import com.yeshi.fanli.util.RedisKeyEnum;

import com.yeshi.fanli.util.RedisManager;

import com.yeshi.fanli.util.StringUtil;

import com.yeshi.fanli.util.TaoBaoConstant;

import com.yeshi.fanli.util.TimeUtil;

import com.yeshi.fanli.util.taobao.TaoBaoOrderUtil;

import com.yeshi.fanli.util.taobao.TaoKeApiUtil;

import com.yeshi.fanli.util.taobao.TaoKeOrderApiUtil;



//从淘宝爬去订单更新

@@ -78,6 +82,9 @@
   @Resource

   private CommonOrderService commonOrderService;



   @Resource

   private OrderMoneySettleService orderMoneySettleService;



   /**

    * 新版获取普通订单

    * 

@@ -86,39 +93,8 @@
    * @return

    */

   private static List<TaoBaoOrder> getCommonOrder(long startTime, int span) {

      int page = 1;

      String startTimeStr = TimeUtil.getGernalTime(startTime, "yyyy-MM-dd HH:mm:ss");

      List<TaoBaoOrder> orderList = TaoKeOrderApiUtil.getTaoBaoAllOrder(startTimeStr, span, page,TaoKeOrderApiUtil.TK_STATUS_ALL,

            TaoBaoConstant.TAOBAO_AUTH_APPKEY, TaoBaoConstant.TAOBAO_AUTH_APPSECRET);

      while (orderList.size() == 100 * page) {

         page++;

         List<TaoBaoOrder> tempOrderList = TaoKeOrderApiUtil.getTaoBaoAllOrder(startTimeStr, span, page,TaoKeOrderApiUtil.TK_STATUS_ALL,

               TaoBaoConstant.TAOBAO_AUTH_APPKEY, TaoBaoConstant.TAOBAO_AUTH_APPSECRET);

         if (tempOrderList != null && tempOrderList.size() > 0)

            orderList.addAll(tempOrderList);

      }

      return orderList;

   }



   /**

    * 获取第三方普通订单

    * 
    * @param startTime

    * @param span

    * @return

    */

   private static List<TaoBaoOrder> getThirdCommonOrder(long startTime, int span) {

      int page = 1;

      String startTimeStr = TimeUtil.getGernalTime(startTime, "yyyy-MM-dd HH:mm:ss");

      List<TaoBaoOrder> orderList = TaoKeOrderApiUtil.getTaoBaoThirdAllOrder(startTimeStr, span, page,TaoKeOrderApiUtil.TK_STATUS_ALL,

            TaoBaoConstant.TAOBAO_AUTH_APPKEY, TaoBaoConstant.TAOBAO_AUTH_APPSECRET);

      while (orderList.size() == 100 * page) {

         page++;

         List<TaoBaoOrder> tempOrderList = TaoKeOrderApiUtil.getTaoBaoThirdAllOrder(startTimeStr, span, page,TaoKeOrderApiUtil.TK_STATUS_ALL,

               TaoBaoConstant.TAOBAO_AUTH_APPKEY, TaoBaoConstant.TAOBAO_AUTH_APPSECRET);

         if (tempOrderList != null && tempOrderList.size() > 0)

            orderList.addAll(tempOrderList);

      }

      List<TaoBaoOrder> orderList = TaoKeOrderApiUtil.getTaoBaoCommonOrderList(startTime, startTime + span * 1000L,

            1);

      return orderList;

   }



@@ -130,51 +106,7 @@
    * @return

    */

   public static List<TaoBaoOrder> getCommonOrder(long startTime, long endTime) {

      List<TaoBaoOrder> orderList = new ArrayList<>();

      long span = (endTime - startTime) % 1000 == 0 ? (endTime - startTime) / 1000 : (endTime - startTime) / 1000 + 1;

      int count = (int) (span / 1200);

      if (span % 1200 != 0)

         count++;

      for (int i = 0; i < count; i++) {

         long startT = startTime + i * 1200 * 1000L;

         int s = 1200;

         if (endTime < startT + 1200 * 1000L) {

            s = (int) ((endTime - startT) / 1000) + 1;

            if (s < 60)

               s = 60;

         }

         List<TaoBaoOrder> tempOrderList = getCommonOrder(startT, s);

         if (tempOrderList != null && tempOrderList.size() > 0)

            orderList.addAll(tempOrderList);

      }

      return orderList;

   }



   /**

    * 爬取三方订单

    * 
    * @param startTime

    * @param endTime

    * @return

    */

   public static List<TaoBaoOrder> getThirdCommonOrder(long startTime, long endTime) {

      List<TaoBaoOrder> orderList = new ArrayList<>();

      long span = (endTime - startTime) % 1000 == 0 ? (endTime - startTime) / 1000 : (endTime - startTime) / 1000 + 1;

      int count = (int) (span / 1200);

      if (span % 1200 != 0)

         count++;

      for (int i = 0; i < count; i++) {

         long startT = startTime + i * 1200 * 1000L;

         int s = 1200;

         if (endTime < startT + 1200 * 1000L) {

            s = (int) ((endTime - startT) / 1000) + 1;

            if (s < 60)

               s = 60;

         }

         List<TaoBaoOrder> tempOrderList = getThirdCommonOrder(startT, s);

         if (tempOrderList != null && tempOrderList.size() > 0)

            orderList.addAll(tempOrderList);

      }

      List<TaoBaoOrder> orderList = TaoKeOrderApiUtil.getTaoBaoCommonOrderList(startTime, endTime, 1);

      return orderList;

   }



@@ -196,40 +128,8 @@
   }



   public void updateOrder(long startTime, long endTime) {

      // 老版本处理方式

      // List<TaoBaoUnionConfig> configList =

      // taoBaoUnionConfigService.getConfigByTypeCache(PidUser.TYPE_FANLI_ANDROID);

      // List<TaoBaoOrder> orderList = new ArrayList<>();

      // try {

      // orderList = TaoBaoOrderUtil.getOrderList(startTime, endTime,

      // configList.get(0));

      // } catch (TaoBaoOrderException e2) {

      // try {

      // LogHelper.errorDetailInfo(e2);

      // } catch (Exception e) {

      // e.printStackTrace();

      // }

      // }

      // List<TaoBaoOrder> thirdOrderList = new ArrayList<>();

      // try {

      // thirdOrderList = TaoBaoOrderUtil.getThirdServiceOrderList(startTime,

      // endTime, configList.get(0));

      // } catch (TaoBaoOrderException e2) {

      // try {

      // LogHelper.errorDetailInfo(e2);

      // } catch (Exception e) {

      // e.printStackTrace();

      // }

      // }

      // if (thirdOrderList != null && thirdOrderList.size() > 0)

      // orderList.addAll(thirdOrderList);

      // 新版本处理方式

      List<TaoBaoOrder> orderList = getCommonOrder(startTime, endTime);

      List<TaoBaoOrder> tempOrderList2 = getThirdCommonOrder(startTime, endTime);

      if (tempOrderList2 != null && tempOrderList2.size() > 0)

         orderList.addAll(tempOrderList2);



      LogHelper.orderInfo("正在执行订单爬取结束，共有订单:" + orderList.size());

      LogHelper.orderInfo("常规订单共有订单:" + orderList.size());

      addOrder(orderList);

      try {

         Thread.sleep(10000);

@@ -278,6 +178,7 @@


      if (orderList != null)

         for (int i = 0; i < orderList.size(); i++) {

            LogHelper.orderInfo("常规订单爬取:" + orderList.get(i).getOrderId());

            // 移除会员运营ID与渠道专属订单

            if (orderList.get(i).getAdPositionName().contains("会员运营")

                  || orderList.get(i).getAdPositionName().contains("渠道专属")) {

@@ -310,8 +211,7 @@
            Iterator<String> its = map.keySet().iterator();

            while (its.hasNext()) {

               String key = its.next();

               List<TaoBaoOrder> orders = map.get(key);

               String redisKey = "addorderqueue-" + key;

               String redisKey = RedisKeyEnum.getRedisKey(RedisKeyEnum.addOrderQueue, key);

               // redis做频率限制

               try {

                  if (!StringUtil.isNullOrEmpty(redisManager.getCommonString(redisKey))) {

@@ -335,58 +235,6 @@
      } catch (Exception e) {

         LogHelper.errorDetailInfo(e);

      }

   }



   // 每15分钟爬取一次

   @Scheduled(cron = "0 0/15 * * * ? ")

   public void doJob1() {

      if (!Constant.IS_TASK)

         return;

      long currentTime = System.currentTimeMillis() - 1000 * 60;

      String h = TimeUtil.getGernalTime(currentTime, "HH");

      String m = TimeUtil.getGernalTime(currentTime, "mm");

      int mm = Integer.parseInt(h) * 60 + Integer.parseInt(m);

      int pos = mm / 15;

      if (pos >= 90)

         pos = 89;

      long startTime = TimeUtil.convertToTimeTemp(TimeUtil.getGernalTime(currentTime, "yyyy-MM-dd"), "yyyy-MM-dd")

            - (1000 * 60 * 60 * 24L * (90 - pos));

      long endTime = startTime + 1000 * 60 * 60 * 24L;

      LogHelper.orderInfo("正在执行订单爬取...");

      updateOrder(startTime, endTime);

   }



   // 淘宝推广订单 每隔3分13秒执行一次

   @Scheduled(cron = "13 0/3 * * * ? ")

   public void doJob6() {

      if (!Constant.IS_TASK)

         return;

      long endTime = System.currentTimeMillis() - 1000 * 60;

      updateOrder(endTime - 1000 * 60 * 20L, endTime);

   }



   // 返利

   @Scheduled(cron = "0 0/5 * * * ? ")

   public void doJob2() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.error("处理返利到账前置");

      try {

			
         doTaoBaoWeiQuanOrder(2);

      } catch (Exception e) {

      LogHelper.errorDetailInfo(e);

      }

      LogHelper.error("开始处理返利");

      orderProcessService.fanli();

   }



   // 每月25号9点执行返利

   @Scheduled(cron = "0 0 9 25 * ? ")

   public void doJob3() {

      if (!Constant.IS_TASK)

         return;

      orderProcessService.fanliInvaiteAndShare();

   }



   private void doTaoBaoWeiQuanOrder(int day) {

@@ -450,20 +298,109 @@


   }



   public void updateLocalTaoBaoOrder(Long startTime, Long endTime, int page, int count) {

      List<TaoBaoOrder> list = taoBaoOrderService.listBySettlementTime(startTime, endTime, page, count);

      Set<String> orderIds = new HashSet<>();

      for (TaoBaoOrder co : list) {

         orderIds.add(co.getOrderId());

      }

      for (Iterator<String> its = orderIds.iterator(); its.hasNext();) {

         String orderId = its.next();

         // 查询是否有处于订单付款状态的单

         List<CommonOrder> commonOrderList = commonOrderService

               .listBySourceTypeAndOrderId(Constant.SOURCE_TYPE_TAOBAO, orderId);

         boolean update = false;

         if (commonOrderList != null)

            for (CommonOrder co : commonOrderList) {

               if (co.getState() == CommonOrder.STATE_FK && co.getPayment().compareTo(new BigDecimal(0)) > 0) {

                  update = true;

                  break;

               }

            }

         if (update) {

            List<TaoBaoOrder> orderList = taoBaoOrderService.getTaoBaoOrderByOrderId(orderId);

            Map<String, List<TaoBaoOrder>> orders = new HashMap<>();

            orders.put(orderId, orderList);

            orderProcessService.processOrder(orders);

         }

      }

   }



   // 每15分钟爬取一次

   @Scheduled(cron = "0 0/15 * * * ? ")

   public void pullCommonOrder() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.job("正在执行15min订单爬取");

      long currentTime = System.currentTimeMillis() - 1000 * 60;

      String h = TimeUtil.getGernalTime(currentTime, "HH");

      String m = TimeUtil.getGernalTime(currentTime, "mm");

      int mm = Integer.parseInt(h) * 60 + Integer.parseInt(m);

      int pos = mm / 15;

      if (pos >= 90)

         pos = 89;

      long startTime = TimeUtil.convertToTimeTemp(TimeUtil.getGernalTime(currentTime, "yyyy-MM-dd"), "yyyy-MM-dd")

            - (1000 * 60 * 60 * 24L * (90 - pos));

      long endTime = startTime + 1000 * 60 * 60 * 24L;



      updateOrder(startTime, endTime);

   }



   // 淘宝推广订单 每隔1分执行一次

   @Scheduled(cron = "0 0/1 * * * ? ")

   public void pullLatestCommonOrder() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.job("pullLatestCommonOrder");

      Date systemDate = TaoKeApiUtil.getTaoBaoSystemTime();

      long endTime = systemDate != null ? systemDate.getTime() : System.currentTimeMillis();

      //

      updateOrder(endTime - 1000 * 60 * 20L, endTime);

   }



   // 返利

   @Scheduled(cron = "0 0/5 * * * ? ")

   public void fanli() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.job("处理返利到账前置");

      try {



         doTaoBaoWeiQuanOrder(2);

      } catch (Exception e) {

         LogHelper.errorDetailInfo(e);

      }

      LogHelper.job("开始处理返利");

      orderProcessService.fanli();

   }



   // 每月25号9点执行返利

   // @Scheduled(cron = "0 0 9 25 * ? ")

   @XxlJob("fanliInvaiteAndShareHandler")

   public ReturnT<String> fanliInvaiteAndShareHandler(String param) throws Exception {

      if (StringUtil.isNullOrEmpty(param))

         orderProcessService.fanliInvaiteAndShare();

      else

         orderProcessService.fanliInvaiteAndShare(Long.parseLong(param));

      return ReturnT.SUCCESS;

   }



   // 维权订单处理-处理最近60天的

   // 30分钟一次

   @Scheduled(cron = "0 0/30 * * * ? ")

   public void doTaoBaoWeiQuan() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.job("维权订单爬取");

      doTaoBaoWeiQuanOrder(5);

   }



   // 每6个小时执行一次

   // 处理订单找回失败的情况 每6个小时执行一次

   @Scheduled(cron = "0 0 0/6 * * ? ")

   public void doLostOrder() {

   public void doFailLostOrder() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.job("处理丢失订单自动找回失败的情况");

      lostOrderService.processFail();

   }



@@ -472,7 +409,7 @@
   public void addLostOrder() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.test("处理丢失订单");

      LogHelper.job("处理丢失订单");

      List<LostOrder> list = lostOrderService.listByStateAndResultCode(LostOrder.STATE_PASS,

            LostOrder.RESULT_CODE_VERFING, 1, 50);

      if (list != null)

@@ -480,7 +417,8 @@
            List<TaoBaoOrder> taoBaoOrderList = taoBaoOrderService.getTaoBaoOrderByOrderId(lo.getOrderId());

            // 清除频率限制

            if (taoBaoOrderList != null && taoBaoOrderList.size() > 0) {

               String key = "addorderqueue-" + lo.getOrderId();

               String key = RedisKeyEnum.getRedisKey(RedisKeyEnum.addOrderQueue, lo.getOrderId());



               redisManager.removeCommonString(key);

               addOrder(taoBaoOrderList);

               LogHelper.test("自动处理淘宝订单:" + lo.getOrderId());

@@ -489,42 +427,37 @@
   }



   /**

    * 处理淘宝结算订单,30fen执行一次

    * 处理淘宝结算订单,30分执行一次

    */

   @Scheduled(cron = "30 0 0/1 * * ? ")

   public void doSettleOrders() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.job("doSettleOrders");

      // 处理3-15天前的订单，每天跑一次

      Calendar ca = Calendar.getInstance();

      int hour = ca.get(Calendar.HOUR_OF_DAY);



      long startTime = TimeUtil.convertToTimeTemp(

            TimeUtil.getGernalTime(ca.getTimeInMillis() - 1000 * 60 * 60 * 24 * 3L, "yyyy-MM-dd"), "yyyy-MM-dd")

            - hour * (1000 * 60 * 60 * 12L);

      long endTime = startTime + 1000 * 60 * 60 * 12L;

      List<TaoBaoOrder> orderList = TaoKeOrderApiUtil.getTaoBaoSettleOrders(startTime, endTime, false);

      List<TaoBaoOrder> tempOrderList = TaoKeOrderApiUtil.getTaoBaoSettleOrders(startTime, endTime, true);

      if (tempOrderList != null && tempOrderList.size() > 0)

         orderList.addAll(tempOrderList);

      List<TaoBaoOrder> orderList = TaoKeOrderApiUtil.getTaoBaoCommonOrderList(startTime, endTime, 3);

      addOrder(orderList);

   }



   /**

    * 13分钟更新最近13分钟的结算数据

    * 13分钟更新最近2小时的结算数据

    */

   @Scheduled(cron = "0 0/13 * * * ? ")

   public void doSettleOrdersToday() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.job("doSettleOrdersToday");

      // 处理3-15天前的订单，每天跑一次

      Calendar ca = Calendar.getInstance();

      long startTime = ca.getTimeInMillis() - 1000 * 60 * 5L - 1000 * 60 * 13L;

      long endTime = startTime + 1000 * 60 * 13L;

      List<TaoBaoOrder> orderList = TaoKeOrderApiUtil.getTaoBaoSettleOrders(startTime, endTime, false);

      List<TaoBaoOrder> tempOrderList = TaoKeOrderApiUtil.getTaoBaoSettleOrders(startTime, endTime, true);

      if (tempOrderList != null && tempOrderList.size() > 0)

         orderList.addAll(tempOrderList);

      long startTime = ca.getTimeInMillis() - 1000 * 60 * 5L - 1000 * 60 * 60 * 2L;

      long endTime = startTime + 1000 * 60 * 60 * 2L;

      List<TaoBaoOrder> orderList = TaoKeOrderApiUtil.getTaoBaoCommonOrderList(startTime, endTime, 3);

      addOrder(orderList);

   }



@@ -535,6 +468,7 @@
   public void doLocalTaoBaoOrder() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.job("doLocalTaoBaoOrder");

      // 处理3-15天前的订单，每天跑一次

      Long startTime = System.currentTimeMillis() - 1000 * 60 * 60 * 24 * 60L;

      Long endTime = startTime + 1000 * 60 * 60 * 24 * 48L;

@@ -562,46 +496,20 @@
   public void doLatestLocalTaoBaoOrder() {

      if (!Constant.IS_TASK)

         return;



      Long endTime = System.currentTimeMillis() - 1000 * 60 * 10L;

      Long startTime = endTime - 1000 * 60 * 60 * 12L;

      updateLocalTaoBaoOrder(startTime, endTime, 1, 2000);



   }



   public void updateLocalTaoBaoOrder(Long startTime, Long endTime, int page, int count) {

      List<TaoBaoOrder> list = taoBaoOrderService.listBySettlementTime(startTime, endTime, page, count);

      Set<String> orderIds = new HashSet<>();

      for (TaoBaoOrder co : list) {

         orderIds.add(co.getOrderId());

      }



      for (Iterator<String> its = orderIds.iterator(); its.hasNext();) {

         String orderId = its.next();

         // 查询是否有处于订单付款状态的单

         List<CommonOrder> commonOrderList = commonOrderService

               .listBySourceTypeAndOrderId(Constant.SOURCE_TYPE_TAOBAO, orderId);

         boolean update = false;

         if (commonOrderList != null)

            for (CommonOrder co : commonOrderList) {

               if (co.getState() == CommonOrder.STATE_FK && co.getPayment().compareTo(new BigDecimal(0)) > 0) {

                  update = true;

                  break;

               }

            }



         if (update) {

            List<TaoBaoOrder> orderList = taoBaoOrderService.getTaoBaoOrderByOrderId(orderId);

            Map<String, List<TaoBaoOrder>> orders = new HashMap<>();

            orders.put(orderId, orderList);

            orderProcessService.processOrder(orders);

         }

      }

   }



   /**

    * 处理最近5天的本地订单

    */

   @Scheduled(cron = "30 13 3 * * ? ")

   public void doLatest5DayLocalTaoBaoOrder() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.job("doLatest5DayLocalTaoBaoOrder");

      Long endTime = System.currentTimeMillis() - 1000 * 60 * 60 * 12L;

      Long startTime = endTime - 1000 * 60 * 60 * 24 * 5L;

      long count = taoBaoOrderService.countBySettlementTime(startTime, endTime);

@@ -612,4 +520,31 @@
      }

   }



   /**

    * 处理上月订单成功

    */

   @Scheduled(cron = "0 0 12 25 * ? ")

   public void doSellerNotPayOrder() {

      if (!Constant.IS_TASK)

         return;

      LogHelper.job("doSellerNotPayOrder");

      Calendar calender = Calendar.getInstance();

      long endTime = TimeUtil.convertToTimeTemp(TimeUtil.getGernalTime(calender.getTimeInMillis(), "yyyy-MM"),

            "yyyy-MM");

      calender.add(Calendar.MONTH, -1);

      long startTime = TimeUtil.convertToTimeTemp(TimeUtil.getGernalTime(calender.getTimeInMillis(), "yyyy-MM"),

            "yyyy-MM");

      // 商家未付款

      List<TaoBaoOrder> orderList = taoBaoOrderService.listByStateAndCreateTime("订单成功", new Date(startTime),

            new Date(endTime));



      if (orderList != null)

         for (TaoBaoOrder order : orderList)

            try {

               orderProcessService.doTaoBaoSellerNotPaid(order);

            } catch (Exception e) {

               LogHelper.errorDetailInfo(e);

            }

   }



}