订单到账一次性爬取的数量增加

admin

2019-07-26 35cf951bb5528828ffea52d010d13b68f192d43f

 fanli/src/main/java/com/yeshi/fanli/job/UpdateOrderJob.java

@@ -1,25 +1,30 @@
package com.yeshi.fanli.job;



import java.math.BigDecimal;

import java.util.ArrayList;

import java.util.Calendar;

import java.util.Date;

import java.util.HashMap;

import java.util.HashSet;

import java.util.Iterator;

import java.util.List;

import java.util.Map;

import java.util.Set;



import javax.annotation.Resource;



import org.springframework.scheduling.annotation.Scheduled;

import org.springframework.stereotype.Component;



import com.yeshi.fanli.dto.taobao.WeiQuanOrderResult;

import com.yeshi.fanli.entity.bus.user.LostOrder;

import com.yeshi.fanli.entity.bus.user.Order;

import com.yeshi.fanli.entity.taobao.PidUser;

import com.yeshi.fanli.entity.order.CommonOrder;

import com.yeshi.fanli.entity.taobao.TaoBaoOrder;

import com.yeshi.fanli.entity.taobao.TaoBaoUnionConfig;

import com.yeshi.fanli.entity.taobao.TaoBaoWeiQuanOrder;

import com.yeshi.fanli.log.LogHelper;

import com.yeshi.fanli.service.inter.common.DataMonitorService;

import com.yeshi.fanli.service.inter.order.CommonOrderService;

import com.yeshi.fanli.service.inter.order.LostOrderService;

import com.yeshi.fanli.service.inter.order.OrderProcessService;

import com.yeshi.fanli.service.inter.order.OrderService;

@@ -69,6 +74,9 @@


   @Resource

   private OrderService orderService;



   @Resource

   private CommonOrderService commonOrderService;



   /**

    * 新版获取普通订单

@@ -293,11 +301,8 @@
      try {

         taoBaoOrderService.addTaoBaoOrderList(orderList);

      } catch (Exception e) {

         try {

            LogHelper.errorDetailInfo(e);

         } catch (Exception e1) {

            e1.printStackTrace();

         }

         LogHelper.errorDetailInfo(e);



      }



      try {

@@ -318,7 +323,7 @@


               }



               CMQManager.getInstance().addTaoBaoOrderMsg(key, orders);

               CMQManager.getInstance().addTaoBaoOrderMsg(key);



               try {

                  // 6小时内不再处理

@@ -329,11 +334,7 @@
            }

         }

      } catch (Exception e) {

         try {

            LogHelper.errorDetailInfo(e);

         } catch (Exception e1) {

            e1.printStackTrace();

         }

         LogHelper.errorDetailInfo(e);

      }

   }



@@ -371,8 +372,7 @@
   public void doJob2() {

      if (!Constant.IS_TASK)

         return;

      doTaoBaoWeiQuan();



      doTaoBaoWeiQuan(10);

      orderProcessService.fanli();

   }



@@ -390,14 +390,40 @@
   public void doTaoBaoWeiQuan() {

      if (!Constant.IS_TASK)

         return;

      List<TaoBaoUnionConfig> configList = taoBaoUnionConfigService.getConfigByTypeCache(PidUser.TYPE_FANLI_ANDROID);

      List<TaoBaoWeiQuanOrder> orderList = TaoBaoOrderUtil.getWeiQuanOrders(

            System.currentTimeMillis() - 1000 * 60 * 60 * 24 * 60L, System.currentTimeMillis(), configList.get(0));

      if (orderList != null)

      // 新版维权订单处理

      doTaoBaoWeiQuan(60);

   }



   private void doTaoBaoWeiQuan(int day) {

      for (int i = 0; i < day; i++) {

         List<TaoBaoWeiQuanOrder> orderList = new ArrayList<>();

         WeiQuanOrderResult result = TaoKeOrderApiUtil

               .getTaoBaoSpecialWeiQuanOrderList(new Date(TimeUtil.convertToTimeTemp(

                     TimeUtil.getGernalTime(System.currentTimeMillis() - 1000 * 60 * 60 * 24L * i, "yyyy-MM-dd"),

                     "yyyy-MM-dd")), 1, false);

         orderList.addAll(result.orderList);



         result = TaoKeOrderApiUtil.getTaoBaoSpecialWeiQuanOrderList(new Date(TimeUtil.convertToTimeTemp(

               TimeUtil.getGernalTime(System.currentTimeMillis() - 1000 * 60 * 60 * 24L * i, "yyyy-MM-dd"),

               "yyyy-MM-dd")), 1, true);

         orderList.addAll(result.orderList);



         result = TaoKeOrderApiUtil.getTaoBaoRelationWeiQuanOrderList(new Date(TimeUtil.convertToTimeTemp(

               TimeUtil.getGernalTime(System.currentTimeMillis() - 1000 * 60 * 60 * 24L * i, "yyyy-MM-dd"),

               "yyyy-MM-dd")), 1, false);

         orderList.addAll(result.orderList);



         result = TaoKeOrderApiUtil.getTaoBaoRelationWeiQuanOrderList(new Date(TimeUtil.convertToTimeTemp(

               TimeUtil.getGernalTime(System.currentTimeMillis() - 1000 * 60 * 60 * 24L * i, "yyyy-MM-dd"),

               "yyyy-MM-dd")), 1, true);

         orderList.addAll(result.orderList);



         for (TaoBaoWeiQuanOrder order : orderList)

            taoBaoWeiQuanOrderService.addWeiQuanOrder(order);// 添加维权订单到数据库

      // 处理维权订单

      orderProcessService.weiQuanOrder(orderList);

         // 处理维权订单

         orderProcessService.weiQuanOrder(orderList);

      }



   }



   // 每6个小时执行一次

@@ -469,4 +495,88 @@
      addOrder(orderList);

   }



   /**

    * 更新本地订单（凌晨25分更新）

    */

   @Scheduled(cron = "25 0 0 * * ? ")

   public void doLocalTaoBaoOrder() {

      if (!Constant.IS_TASK)

         return;

      // 处理3-15天前的订单，每天跑一次

      Long startTime = System.currentTimeMillis() - 1000 * 60 * 60 * 24 * 60L;

      Long endTime = startTime + 1000 * 60 * 60 * 24 * 48L;

      List<CommonOrder> commonOrderList = commonOrderService.listBySourceTypeAndStateAndThirdCrateTime(

            Constant.SOURCE_TYPE_TAOBAO, CommonOrder.STATE_FK, startTime, endTime, 1, 500);

      Set<String> orderIds = new HashSet<>();

      for (CommonOrder co : commonOrderList) {

         orderIds.add(co.getOrderNo());

      }



      for (Iterator<String> its = orderIds.iterator(); its.hasNext();) {

         String orderId = its.next();

         List<TaoBaoOrder> orderList = taoBaoOrderService.getTaoBaoOrderByOrderId(orderId);

         Map<String, List<TaoBaoOrder>> orders = new HashMap<>();

         orders.put(orderId, orderList);

         orderProcessService.processOrder(orders);

      }

   }



   /**

    * 更新最近的本地单(30分钟更新一次)

    */



   @Scheduled(cron = "0 0/30 * * * ? ")

   public void doLatestLocalTaoBaoOrder() {

      if (!Constant.IS_TASK)

         return;

      Long endTime = System.currentTimeMillis() - 1000 * 60 * 10L;

      Long startTime = endTime - 1000 * 60 * 60 * 12L;

      updateLocalTaoBaoOrder(startTime, endTime, 1, 2000);



   }



   public void updateLocalTaoBaoOrder(Long startTime, Long endTime, int page, int count) {

      List<TaoBaoOrder> list = taoBaoOrderService.listBySettlementTime(startTime, endTime, page, count);

      Set<String> orderIds = new HashSet<>();

      for (TaoBaoOrder co : list) {

         orderIds.add(co.getOrderId());

      }



      for (Iterator<String> its = orderIds.iterator(); its.hasNext();) {

         String orderId = its.next();

         // 查询是否有处于订单付款状态的单

         List<CommonOrder> commonOrderList = commonOrderService

               .listBySourceTypeAndOrderId(Constant.SOURCE_TYPE_TAOBAO, orderId);

         boolean update = false;

         if (commonOrderList != null)

            for (CommonOrder co : commonOrderList) {

               if (co.getState() == CommonOrder.STATE_FK && co.getPayment().compareTo(new BigDecimal(0)) > 0) {

                  update = true;

                  break;

               }

            }



         if (update) {

            List<TaoBaoOrder> orderList = taoBaoOrderService.getTaoBaoOrderByOrderId(orderId);

            Map<String, List<TaoBaoOrder>> orders = new HashMap<>();

            orders.put(orderId, orderList);

            orderProcessService.processOrder(orders);

         }

      }

   }



   @Scheduled(cron = "30 13 3 * * ? ")

   public void doLatest5DayLocalTaoBaoOrder() {

      if (!Constant.IS_TASK)

         return;

      Long endTime = System.currentTimeMillis() - 1000 * 60 * 60 * 12L;

      Long startTime = endTime - 1000 * 60 * 60 * 24 * 5L;

      long count = taoBaoOrderService.countBySettlementTime(startTime, endTime);

      int pageSize = 100;

      long page = count % pageSize == 0 ? count / pageSize : count / pageSize + 1;

      for (int i = 0; i < page; i++) {

         updateLocalTaoBaoOrder(startTime, endTime, i + 1, pageSize);

      }

   }



}