淘宝转链接口更新

admin

2025-02-25 30d8e227e8d823b6c38c3b9c90ac2df03b63befe

 fanli/src/main/java/com/yeshi/fanli/job/order/jd/UpdateJDOrderJob.java

@@ -1,154 +1,270 @@
package com.yeshi.fanli.job.order.jd;



import java.util.ArrayList;

import java.util.Date;

import java.util.List;



import javax.annotation.Resource;



import org.springframework.scheduling.annotation.Scheduled;

import org.springframework.stereotype.Component;



import com.yeshi.fanli.dto.jd.JDOrderResult;

import com.yeshi.fanli.entity.jd.JDOrder;

import com.yeshi.fanli.exception.jd.JDOrderException;

import com.yeshi.fanli.service.inter.jd.JDOrderService;

import com.yeshi.fanli.util.Constant;

import com.yeshi.fanli.util.RedisManager;

import com.yeshi.fanli.util.TimeUtil;

import com.yeshi.fanli.util.cmq.JDOrderCMQManager;

import com.yeshi.fanli.util.jd.JDApiUtil;



//从淘宝爬去订单更新

@Component

public class UpdateJDOrderJob {



   @Resource

   private JDOrderService jdOrderService;



   @Resource

   private RedisManager redisManager;



   /**

    * 保存订单

    * 
    * @param jdOrderList

    */

   public void saveJDOrders(List<JDOrder> jdOrderList) {

      for (JDOrder order : jdOrderList) {

         if (order.getValidCode() == 15)// 过滤掉代付款状态

            continue;

         try {

            jdOrderService.addJDOrder(order);

            /**

             * 做频率限制

             */

            String key = "jd-order-" + order.getOrderId();

            String result = redisManager.getCommonString(key);



            JDOrderCMQManager.getInstance().addJDOrder(order.getOrderId() + "");

            redisManager.cacheCommonString(key, "1", 60 * 60 * 2);// 2小时内不再更新

         } catch (JDOrderException e) {

            e.printStackTrace();

         }

      }

   }



   /**

    * 快速订单更新（爬取本小时内的单,每分钟一次）

    */

   @Scheduled(cron = "0 0/1 * * * ? ")

   public void updateSoonOrder() {

      if (!Constant.IS_TASK)

         return;

      long now = System.currentTimeMillis();



      JDOrderResult result = JDApiUtil.getOrderList(1, 200, new Date(now), JDApiUtil.ORDER_TYPE_CREATETIME);

      if (result != null && result.getOrderList() != null)

         saveJDOrders(result.getOrderList());

      // 查询上个小时的

      result = JDApiUtil.getOrderList(1, 200, new Date(now - 1000 * 60 * 60L), JDApiUtil.ORDER_TYPE_CREATETIME);

      if (result != null && result.getOrderList() != null)

         saveJDOrders(result.getOrderList());

   }



   /**

    * 爬取最近一小时内的状态更新了的单(10分钟一次)

    */

   @Scheduled(cron = "0 0/10 * * * ? ")

   public void updateUpdateOrder() {

      if (!Constant.IS_TASK)

         return;

      List<JDOrder> jdOrderList = new ArrayList<>();

      int pageSize = 200;

      int page = 1;

      JDOrderResult result = JDApiUtil.getOrderList(page++, pageSize, new Date(), JDApiUtil.ORDER_TYPE_UPDATETIME);

      if (result != null) {

         jdOrderList.addAll(result.getOrderList());

         while (result != null && result.isHasMore()) {

            result = JDApiUtil.getOrderList(page++, pageSize, new Date(), JDApiUtil.ORDER_TYPE_UPDATETIME);

            if (result != null)

               jdOrderList.addAll(result.getOrderList());

         }

      }

      saveJDOrders(jdOrderList);

   }



   /**

    * 更新一个小时的订单

    * 
    * @param date

    */

   private List<JDOrder> getHourOrder(Date date) {

      List<JDOrder> jdOrderList = new ArrayList<>();

      int pageSize = 200;

      int page = 1;

      JDOrderResult result = JDApiUtil.getOrderList(page++, pageSize, date, JDApiUtil.ORDER_TYPE_UPDATETIME);

      if (result != null) {

         jdOrderList.addAll(result.getOrderList());

         while (result != null && result.isHasMore()) {

            result = JDApiUtil.getOrderList(page++, pageSize,date, JDApiUtil.ORDER_TYPE_UPDATETIME);

            if (result != null)

               jdOrderList.addAll(result.getOrderList());

         }

      }

      return jdOrderList;

   }



   /**

    * 更新一天的数据

    * 
    * @param date

    */

   public void updateDayOrder(Date date) {

      Date now = new Date();

      List<JDOrder> orderList = new ArrayList<>();

      Date startTime = new Date(

            TimeUtil.convertToTimeTemp(TimeUtil.getGernalTime(date.getTime(), "yyyy-MM-dd"), "yyyy-MM-dd"));

      // 一个小时为一个步长

      for (int i = 0; i < 24; i++) {

         Date da = new Date(startTime.getTime() + 1000 * 60 * 60L * i);

         if (da.getTime() > now.getTime())

            return;

         List<JDOrder> tempOrderList = getHourOrder(da);

         if (tempOrderList != null && tempOrderList.size() > 0)

            orderList.addAll(tempOrderList);

      }

      saveJDOrders(orderList);

   }



	
   /**

    * 更新最近3天的订单（每天早上凌晨0点过10分，早上8点过10分）

    */

   @Scheduled(cron = "0 10 0,8 * * ? ")

   public void updateLatest3DayOrder() {

      if (!Constant.IS_TASK)

         return;

      Date now = new Date();

      for (int i = 1; i < 4; i++) {

         updateDayOrder(new Date(now.getTime() - 1000 * 60 * 60 * 24L * i));

      }

   }



}

package com.yeshi.fanli.job.order.jd;

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.annotation.XxlJob;
import com.yeshi.fanli.dao.jd.JDOrderBackUpDao;
import com.yeshi.fanli.dto.jd.JDOrderForBackUpResult;
import com.yeshi.fanli.dto.jd.JDOrderResult;
import com.yeshi.fanli.dto.mq.order.body.CommonOrderMQMsg;
import com.yeshi.fanli.entity.jd.JDBackUpOrder;
import com.yeshi.fanli.entity.jd.JDOrder;
import com.yeshi.fanli.entity.order.CommonOrder;
import com.yeshi.fanli.exception.jd.JDOrderException;
import com.yeshi.fanli.log.LogHelper;
import com.yeshi.fanli.service.inter.order.CommonOrderService;
import com.yeshi.fanli.service.inter.order.jd.JDOrderService;
import com.yeshi.fanli.util.Constant;
import com.yeshi.fanli.util.RedisKeyEnum;
import com.yeshi.fanli.util.RedisManager;
import com.yeshi.fanli.util.StringUtil;
import com.yeshi.fanli.util.annotation.JobMonitor;
import com.yeshi.fanli.util.jd.JDApiUtil;
import com.yeshi.fanli.util.mq.cmq.order.OrdersCMQManager;
import org.springframework.stereotype.Component;
import org.yeshi.utils.TimeUtil;

import javax.annotation.Resource;
import java.util.*;

//从淘宝爬去订单更新
@Component
public class UpdateJDOrderJob {

    @Resource
    private JDOrderService jdOrderService;

    @Resource
    private RedisManager redisManager;

    @Resource
    private JDOrderBackUpDao jdOrderBackUpDao;

    @Resource
    private CommonOrderService commonOrderService;

    @Resource
    private OrdersCMQManager ordersCMQManager;


    /**
     * 保存订单
     *
     * @param jdOrderList
     */
    public void saveJDOrders(List<JDOrder> jdOrderList) {
        //5分钟不更新就报警
        try {
            redisManager.cacheCommonString(RedisKeyEnum.monitor.getKey() + Constant.SOURCE_TYPE_JD, "1", 60 * 5);
        } catch (Exception e) {
        }

        for (JDOrder order : jdOrderList) {
            LogHelper.orderInfo("京东订单:" + order.getOrderId() + "-" + order.getValidCode());
            if (order.getValidCode() == 15)// 过滤掉待付款
                continue;

            // 防止多个商品拆单问题，爬取
            if (order.getOrderItemList().size() > 1
                    && order.getOrderTime() > System.currentTimeMillis() - 1000 * 60 * 3L) {
                continue;
            }

            try {
                jdOrderService.addJDOrder(order);
                /**
                 * 做频率限制
                 */
                String key = RedisKeyEnum.getRedisKey(RedisKeyEnum.JDOrder, order.getOrderId() + "");
                String result = redisManager.getCommonString(key);
                // 判断
                if (StringUtil.isNullOrEmpty(result)) {
                   ordersCMQManager.addOrder(new CommonOrderMQMsg(order.getOrderId() + "", Constant.SOURCE_TYPE_JD));
                    redisManager.cacheCommonString(key, "1", 60 * 60 * 2);// 2小时内不再更新
                }
            } catch (JDOrderException e) {
                e.printStackTrace();
            }
        }
    }

    /**
     * 快速订单更新（爬取本小时内的单,每分钟一次）
     */
    @XxlJob("updateJDOrderHandler")
    public ReturnT<String> updateJDSoonOrder(String param) throws Exception {
        try {
            if ("1".equalsIgnoreCase(param)) {// 更新本小时内的单
                LogHelper.job("开始爬取京东订单");
                long now = System.currentTimeMillis();

                JDOrderResult result = JDApiUtil.getOrderList(1, 200, new Date(now), JDApiUtil.ORDER_TYPE_CREATETIME);
                if (result != null && result.getOrderList() != null)
                    saveJDOrders(result.getOrderList());
                // 查询上个小时的
                result = JDApiUtil.getOrderList(1, 200, new Date(now - 1000 * 60 * 60L), JDApiUtil.ORDER_TYPE_CREATETIME);
                if (result != null && result.getOrderList() != null)
                    saveJDOrders(result.getOrderList());
            } else if ("1hour".equalsIgnoreCase(param)) {// 更新1小时内的订单
                updateUpdateOrder();
            } else if ("1day".equalsIgnoreCase(param)) {// 更新1天内的订单
                updateLatestDayOrder(new Date(System.currentTimeMillis()));
            } else if ("3day".equalsIgnoreCase(param)) {// 更新最近3天更新的数据
                updateLatest3DayOrder();
            }
        }catch(Exception e){
            e.printStackTrace();
        }

        return ReturnT.SUCCESS;
    }

    /**
     * 爬取最近一小时内的状态更新了的单(10分钟一次)
     */

    public void updateUpdateOrder() {
        List<JDOrder> jdOrderList = new ArrayList<>();
        int pageSize = 200;
        int page = 1;
        JDOrderResult result = JDApiUtil.getOrderList(page++, pageSize, new Date(), JDApiUtil.ORDER_TYPE_UPDATETIME);
        if (result != null) {
            jdOrderList.addAll(result.getOrderList());
            while (result != null && result.isHasMore()) {
                result = JDApiUtil.getOrderList(page++, pageSize, new Date(), JDApiUtil.ORDER_TYPE_UPDATETIME);
                if (result != null)
                    jdOrderList.addAll(result.getOrderList());
            }
        }
        saveJDOrders(jdOrderList);
    }

    /**
     * 更新一个小时的订单
     *
     * @param date
     */
    private List<JDOrder> getHourOrder(Date date) {
        List<JDOrder> jdOrderList = new ArrayList<>();
        int pageSize = 200;
        int page = 1;
        JDOrderResult result = JDApiUtil.getOrderList(page++, pageSize, date, JDApiUtil.ORDER_TYPE_UPDATETIME);
        if (result != null) {
            jdOrderList.addAll(result.getOrderList());
            while (result != null && result.isHasMore()) {
                result = JDApiUtil.getOrderList(page++, pageSize, date, JDApiUtil.ORDER_TYPE_UPDATETIME);
                if (result != null)
                    jdOrderList.addAll(result.getOrderList());
            }
        }
        return jdOrderList;
    }

    /**
     * 更新一天的数据
     *
     * @param date
     */
    public void updateDayOrder(Date date) {
        Date now = new Date();
        List<JDOrder> orderList = new ArrayList<>();
        Date startTime = new Date(
                TimeUtil.convertToTimeTemp(TimeUtil.getGernalTime(date.getTime(), "yyyy-MM-dd"), "yyyy-MM-dd"));
        // 一个小时为一个步长
        for (int i = 0; i < 24; i++) {
            Date da = new Date(startTime.getTime() + 1000 * 60 * 60L * i);
            if (da.getTime() > now.getTime())
                break;
            List<JDOrder> tempOrderList = getHourOrder(da);
            if (tempOrderList != null && tempOrderList.size() > 0)
                orderList.addAll(tempOrderList);
        }
        saveJDOrders(orderList);
    }

    /**
     * 更新最近一天的数据
     *
     * @param date
     */
    public void updateLatestDayOrder(Date date) {
        Date now = new Date();
        List<JDOrder> orderList = new ArrayList<>();
        Date startTime = new Date(date.getTime() - 1000 * 60 * 60 * 24L);
        // 一个小时为一个步长
        for (int i = 0; i < 24; i++) {
            Date da = new Date(startTime.getTime() + 1000 * 60 * 60L * i);
            if (da.getTime() > now.getTime())
                break;
            List<JDOrder> tempOrderList = getHourOrder(da);
            if (tempOrderList != null && tempOrderList.size() > 0)
                orderList.addAll(tempOrderList);
        }
        saveJDOrders(orderList);
    }

    /**
     * 更新最近3天的订单（每天早上凌晨0点过10分，早上8点过10分）
     */
    public void updateLatest3DayOrder() {
        Date now = new Date();
        for (int i = 1; i < 4; i++) {
            updateDayOrder(new Date(now.getTime() - 1000 * 60 * 60 * 24L * i));
        }
    }


    @JobMonitor(key = "", maxSpaceTime = 60 * 60 * 25)
    @XxlJob("order-jd-backup")
    public ReturnT<String> backUpOrder(String param) throws Exception {
        //更新90天以前的近3天的数据
        long startTime = System.currentTimeMillis() - 1000 * 60 * 60 * 24L * 90;

        for (int i = 0; i < 24 * 3; i++) {
            List<JDBackUpOrder> orderList = getBackUpOrders(new Date(startTime + i * 1000 * 60 * 60L));
            if (orderList != null && orderList.size() > 0) {
                for (JDBackUpOrder order : orderList) {
                    order.setUpdateTime(new Date());
                    jdOrderBackUpDao.save(order);
                }
            }
        }
        return ReturnT.SUCCESS;
    }


    //处理很久没处理的数据
    @JobMonitor(key = "", maxSpaceTime = 60 * 60 * 25)
    @XxlJob("order-jd-process-outdate")
    public ReturnT<String> processoutOfDate(String param) throws Exception {
        //查询 1个月到5个月处于已付款状态的数据
        long maxTime = System.currentTimeMillis() - 1000 * 60 * 60 * 24L * 30;
        long minTime = maxTime - 1000 * 60 * 60 * 24L * 120;
        List<CommonOrder> orderList = commonOrderService.listBySourceTypeAndStateAndThirdCrateTime(Constant.SOURCE_TYPE_JD, CommonOrder.STATE_FK, minTime, maxTime, 1, 200);
        Set<String> orderIds = new HashSet<>();
        for (CommonOrder co : orderList) {
            orderIds.add(co.getOrderNo());
        }
        for (String orderId : orderIds) {
           ordersCMQManager.addOrder(new CommonOrderMQMsg(orderId, Constant.SOURCE_TYPE_JD));
        }
        return ReturnT.SUCCESS;
    }

    private List<JDBackUpOrder> getBackUpOrders(Date hourDate) {
        List<JDBackUpOrder> jdOrderList = new ArrayList<>();
        int pageSize = 200;
        int page = 1;
        JDOrderForBackUpResult result = JDApiUtil.getOrderListForBackUp(page++, pageSize, hourDate, JDApiUtil.ORDER_TYPE_UPDATETIME);
        if (result != null) {
            jdOrderList.addAll(result.getOrderList());
            while (result != null && result.isHasMore()) {
                result = JDApiUtil.getOrderListForBackUp(page++, pageSize, hourDate, JDApiUtil.ORDER_TYPE_UPDATETIME);
                if (result != null)
                    jdOrderList.addAll(result.getOrderList());
            }
        }
        return jdOrderList;
    }


}