Merge remote-tracking branch 'origin/div' into 2.1.2

admin

2020-05-20 98b1a0affd69bbe63223c21fdd2c404e8bedfccb

 fanli/src/main/java/com/yeshi/fanli/util/jd/JDUtil.java

@@ -1,13 +1,22 @@
package com.yeshi.fanli.util.jd;



import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.io.UnsupportedEncodingException;

import java.math.BigDecimal;

import java.net.URLDecoder;

import java.net.URLEncoder;

import java.util.ArrayList;

import java.util.Collections;

import java.util.Comparator;

import java.util.HashMap;

import java.util.Iterator;

import java.util.List;

import java.util.Map;

import java.util.regex.Matcher;

import java.util.regex.Pattern;



import javax.script.Invocable;

import javax.script.ScriptEngine;

@@ -15,13 +24,16 @@


import org.apache.commons.httpclient.HttpClient;

import org.apache.commons.httpclient.methods.PostMethod;

import org.jsoup.Connection;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

import org.yeshi.utils.BigDecimalUtil;

import org.yeshi.utils.HttpUtil;

import org.yeshi.utils.NumberUtil;



import com.yeshi.fanli.dto.GoodsClassDTO;

import com.yeshi.fanli.dto.jd.JDCommissionInfo;

import com.yeshi.fanli.dto.jd.JDCouponInfo;

import com.yeshi.fanli.dto.jd.JDPingouInfo;

@@ -29,6 +41,7 @@
import com.yeshi.fanli.dto.jd.JDSearchResult;

import com.yeshi.fanli.dto.jd.JDShopInfo;

import com.yeshi.fanli.entity.jd.JDGoods;

import com.yeshi.fanli.log.LogHelper;

import com.yeshi.fanli.tag.PageEntity;

import com.yeshi.fanli.util.MoneyBigDecimalUtil;

import com.yeshi.fanli.util.StringUtil;

@@ -37,6 +50,8 @@
import net.sf.json.JSONObject;



public class JDUtil {



   public static final String TM_PHONE_URL = "https://item.m.jd.com/product/%s.html";



   public void test() {

      Map<String, String> systemParams = new HashMap<>();

@@ -323,11 +338,13 @@
         BigDecimal finalPriceDecimal = new BigDecimal(json.optString("finalPrice"));

         if (finalPriceDecimal != null && json.optString("hasCoupon") != null && json.optInt("hasCoupon") == 1

               && json.optInt("couponRemainCnt") > 0) {

            List<JDCouponInfo> couponList = new ArrayList<>();

            JDCouponInfo coupon = new JDCouponInfo();

            coupon.setDiscount(new BigDecimal(json.optString("couponDiscount")));

            coupon.setQuota(new BigDecimal(json.optString("couponQuota")));

            coupon.setLink("https:" + json.optString("couponLink"));

            goods.setCouponInfo(coupon);

            couponList.add(coupon);

            goods.setCouponInfoList(couponList);

         }

      }



@@ -357,7 +374,7 @@
         price = pinGouInfo.getPingouPrice();

      }



      JDCouponInfo couponInfo = goods.getCouponInfo();

      JDCouponInfo couponInfo = getShowCouponInfo(goods.getCouponInfoList(), price);

      if (couponInfo == null) {

         money = MoneyBigDecimalUtil.mul(MoneyBigDecimalUtil

               .mul(MoneyBigDecimalUtil.mul(price, commissionInfo.getCommissionShare()), new BigDecimal("0.01")),

@@ -378,9 +395,56 @@
                        new BigDecimal("0.01")),

                  MoneyBigDecimalUtil.div(rate, new BigDecimal(100)));

         }



      }

      return BigDecimalUtil.getWithNoZera(money);

      // 返利比例为原来的90%

      return BigDecimalUtil.getWithNoZera(MoneyBigDecimalUtil.mul(money, new BigDecimal("0.9")));

   }



   /**

    * 商品佣金计算

    * 
    * @param goods

    * @param rate

    * @return

    */

   public static BigDecimal getGoodsFanLiMoneyPlus(JDGoods goods, BigDecimal rate) {

      BigDecimal money = new BigDecimal(0);

      BigDecimal commissionPlus = goods.getCommissionPlus();

      if (commissionPlus == null) {

         return money;

      }



      BigDecimal price = null;

      JDPingouInfo pinGouInfo = goods.getPinGouInfo();

      if (pinGouInfo == null) {

         price = goods.getPrice();

      } else {

         price = pinGouInfo.getPingouPrice();

      }



      JDCouponInfo couponInfo = getShowCouponInfo(goods.getCouponInfoList(), price);

      if (couponInfo == null) {

         money = MoneyBigDecimalUtil.mul(

               MoneyBigDecimalUtil.mul(MoneyBigDecimalUtil.mul(price, commissionPlus), new BigDecimal("0.01")),

               MoneyBigDecimalUtil.div(rate, new BigDecimal(100)));

      } else {

         BigDecimal quota = couponInfo.getQuota();

         BigDecimal discount = couponInfo.getDiscount();

         if (quota.compareTo(price) <= 0 && price.compareTo(discount) > 0) {



            BigDecimal finalPrice = price.subtract(discount);

            money = MoneyBigDecimalUtil.mul(MoneyBigDecimalUtil

                  .mul(MoneyBigDecimalUtil.mul(finalPrice, commissionPlus), new BigDecimal("0.01")),

                  MoneyBigDecimalUtil.div(rate, new BigDecimal(100)));



         } else {// 不能用券

            money = MoneyBigDecimalUtil.mul(

                  MoneyBigDecimalUtil.mul(MoneyBigDecimalUtil.mul(price, commissionPlus), new BigDecimal("0.01")),

                  MoneyBigDecimalUtil.div(rate, new BigDecimal(100)));

         }

      }

      // 返利比例为原来的90%

      return BigDecimalUtil.getWithNoZera(MoneyBigDecimalUtil.mul(money, new BigDecimal("0.9")));

   }



   /**

@@ -390,12 +454,6 @@
    * @return

    */

   public static BigDecimal getQuanPrice(JDGoods jdGoods) {

      JDCouponInfo couponInfo = jdGoods.getCouponInfo();

      if (couponInfo == null) {

         return jdGoods.getPrice();

      }



      BigDecimal discount = couponInfo.getDiscount();

      BigDecimal price = null;

      JDPingouInfo pinGouInfo = jdGoods.getPinGouInfo();

      if (pinGouInfo == null) {

@@ -403,6 +461,12 @@
      } else {

         price = pinGouInfo.getPingouPrice();

      }

      JDCouponInfo couponInfo = getShowCouponInfo(jdGoods.getCouponInfoList(), price);

      if (couponInfo == null) {

         return jdGoods.getPrice();

      }



      BigDecimal discount = couponInfo.getDiscount();

      // 计算券后价

      BigDecimal sub = price.subtract(couponInfo.getQuota());

      if (sub.compareTo(BigDecimal.valueOf(0)) >= 0) {

@@ -524,28 +588,363 @@


      return null;

   }

	


   public static String getJDGoodsJS() {

      InputStream input = JDUtil.class.getClassLoader().getResourceAsStream("jdGoods.js");

      StringBuilder sb = new StringBuilder();

      String line;

      BufferedReader br = new BufferedReader(new InputStreamReader(input));

      try {

         while ((line = br.readLine()) != null) {

            sb.append(line);

         }

      } catch (IOException e) {

         e.printStackTrace();

      }

      return sb.toString();

   }



   static String jdGoodsJs = null;

   static ScriptEngine engine = null;

   static {

      if (jdGoodsJs == null)

         jdGoodsJs = getJDGoodsJS();

      ScriptEngineManager manager = new ScriptEngineManager();

      engine = manager.getEngineByName("javascript");

      try {

         engine.eval(jdGoodsJs);

      } catch (Exception e) {

      }

   }



   public static String getJDGoodsId(String url) {

      try {

         if (url.startsWith("https://item.m.jd.com/product/") || url.startsWith("http://item.m.jd.com/product/")

               || url.startsWith("https://item.jd.com/") || url.startsWith("http://item.jd.com/")) {

            String preUrl = url.split("\\?")[0];

            String index = preUrl.split("/")[preUrl.split("/").length - 1];

            index = index.split("\\.")[0];

            return index.trim();

         } else if (url.startsWith("https://item.m.jd.com/ware/view.action?")) {

            String preUrl = url.substring(url.indexOf("?") + 1, url.length());

            String[] sts = preUrl.split("&");

            for (String st : sts) {

               if (st.startsWith("wareId=")) {

                  return st.split("=")[1].trim();

         if (engine instanceof Invocable) {

            Invocable in = (Invocable) engine;

            Object goodsId = in.invokeFunction("getGoodsId", url);

            if (goodsId != null)

               return goodsId.toString().trim();

         }

      } catch (Exception e) {

         e.printStackTrace();

      }

      return null;

   }



   /**

    * 通过链接id

    * 
    * @param url

    * @return

    */

   public static String getJDGoodsIdByWeiXin(String url) {

      if (StringUtil.isNullOrEmpty(url) || url.indexOf("jd.com") < 0)

         return null;



      try {

         String id = null;

         int indexOf = url.indexOf("?");

         url = url.substring(indexOf + 1, url.length() - 1);

         String[] temp = url.split("&");

         for (int i = 0; i < temp.length; i++) {

            String content = temp[i];

            if (content.startsWith("sku")) {

               id = content.split("=")[content.split("=").length - 1];

               break;

            }

         }

         return id;

      } catch (Exception e) {

         e.printStackTrace();

      }

      return null;

   }



   /**

    * 根据 u.jd短连接获取真实的商品id

    * 
    * @param url

    * @return

    */

   public static String getJDGoodsIdByUJD(String url) {

      try {

         String body = HttpUtil.get(url);

         Document doc = Jsoup.parse(body);

         Elements els = doc.getElementsByTag("script");

         for (int i = 0; i < els.size(); i++) {

            String content = els.get(i).html();

            if (content.indexOf("var hrl") > -1) {

               ScriptEngineManager manager = new ScriptEngineManager();

               ScriptEngine engine = manager.getEngineByName("javascript");



               int indexOf = content.indexOf("var hrl");

               content = content.substring(indexOf, content.length());



               int indexOf2 = content.indexOf(";");

               content = content.substring(0, indexOf2 + 1);



               String js = "function getData(){return  JSON.stringify(hrl);}" + content;



               engine.eval(js);

               if (engine instanceof Invocable) {

                  Invocable in = (Invocable) engine;

                  String data = in.invokeFunction("getData").toString();

                  String link = data.substring(1, data.length() - 1);

                  // 将链接中未encode的参数encode

                  String param = link.split("\\?")[1];

                  String host = link.split("\\?")[0];

                  String[] params = param.split("&");

                  String paramStr = "";

                  for (String p : params) {

                     String value = p.substring(p.indexOf("=") + 1);

                     String key = p.substring(0, p.indexOf("="));

                     if (URLDecoder.decode(value, "UTF-8").equalsIgnoreCase(value)) {

                        value = URLEncoder.encode(value, "UTF-8");

                     }

                     paramStr += key + "=" + value + "&";

                  }

                  link = host + "?" + paramStr;

                  String realLink = HttpUtil.getLocation(link);

                  Map<String, String> paramsMap = new HashMap<>();



                  param = realLink.split("\\?")[1];

                  params = param.split("&");

                  for (String p : params) {

                     String value = p.substring(p.indexOf("=") + 1);

                     String key = p.substring(0, p.indexOf("="));

                     paramsMap.put(key, value);

                  }

                  if (!StringUtil.isNullOrEmpty(paramsMap.get("sku"))) {

                     return paramsMap.get("sku");

                  }



                  if (!StringUtil.isNullOrEmpty(paramsMap.get("wareId"))) {

                     return paramsMap.get("wareId");

                  }



                  // 判断纯数字大于4位的返回

                  for (Iterator<String> its = paramsMap.keySet().iterator(); its.hasNext();) {

                     String key = its.next();

                     String value = paramsMap.get(key);

                     if (NumberUtil.isNumeric(value) && value.length() >= 4) {

                        return value;

                     }

                  }

                  String id = JDUtil.getJDGoodsId(realLink);

                  if (!StringUtil.isNullOrEmpty(id)) {

                     return id;

                  }

                  LogHelper.error("京东短接解析失败:" + url);

                  return null;

               }

            }

         }



      } catch (Exception e) {

         e.printStackTrace();

         LogHelper.errorDetailInfo(e, "京东短链获取商品ID失败:", url);

      }

      return null;

   }



   /**

    * 查询天猫商品图片、标题

    * 
    * @param auctionId

    * @return

    */

   public static JDGoods getSimpleGoodsInfo(String goodsId) {

      JDGoods jdGoods = null;

      try {

         Connection connect = Jsoup.connect(String.format(TM_PHONE_URL, goodsId));

         Document document = connect.get();

         Elements elements = document.getElementsByTag("script");

         if (elements.size() >= 0) {

            for (int i = 0; i < elements.size(); i++) {

               String content = elements.get(i).toString();

               if (content.contains("window._itemOnly")) {

                  System.out.println("存在");

                  content = content.replace("<script>", "");

                  content = content.replace("</script>", "");

                  int indexOf = content.indexOf("window._isLogin");

                  content = content.substring(0, indexOf);



                  int indexItem = content.indexOf("\"item\":");

                  content = content.substring(indexItem, content.length() - 1);

                  content = content.replace("\"item\":", "var item =");

                  content = content.replace("});", "").trim();



                  content += ";function getData() {return item;}";

                  ScriptEngineManager manager = new ScriptEngineManager();

                  ScriptEngine engine = manager.getEngineByName("javascript");

                  engine.eval(content);



                  if (engine instanceof Invocable) {

                     Invocable in = (Invocable) engine;

                     JSONObject json = JSONObject.fromObject(in.invokeFunction("getData"));



                     jdGoods = new JDGoods();

                     jdGoods.setSkuName(json.getString("skuName"));

                     JSONObject jsonImage = json.getJSONObject("image");

                     if (jsonImage != null && jsonImage.size() > 0) {

                        String picUrl = jsonImage.getString("0");

                        jdGoods.setPicUrl("http://m.360buyimg.com/mobilecms/s750x750_" + picUrl);

                     }

                  }



                  break;

               }

            }

         }

      } catch (Exception e) {

         e.printStackTrace();

      }

      return jdGoods;

   }



   /**

    * 获取类目

    * 
    * @param level

    *            等级

    * @param parentId

    *            上级id

    * @return

    */

   public static List<GoodsClassDTO> getCategoryList(int level, int parentId) {

      try {

         // 请求地址

         String requestUrl = "https://union.jd.com/api/help/getCategoryList?level=%s&parentId=%s";

         // 执行请求

         String result = HttpUtil.get(String.format(requestUrl, level, parentId));



         if (!StringUtil.isNullOrEmpty(result)) {

            JSONObject json = JSONObject.fromObject(result);

            JSONArray jsonArray = json.getJSONArray("data");

            if (jsonArray != null && jsonArray.size() > 0) {

               List<GoodsClassDTO> list = new ArrayList<GoodsClassDTO>();

               for (int i = 0; i < jsonArray.size(); i++) {

                  Object object = jsonArray.get(i);

                  if (object == null)

                     continue;

                  JSONObject jsonClass = JSONObject.fromObject(object);



                  GoodsClassDTO goodsClass = new GoodsClassDTO();

                  goodsClass.setId(jsonClass.optString("id"));

                  goodsClass.setName(jsonClass.optString("categoryName"));

                  list.add(goodsClass);

               }

               return list;

            }

         }

      } catch (Exception e) {

         e.printStackTrace();

      }

      return null;

   }



   /**

    * 获取类目

    * 
    * @param level

    *            等级

    * @param parentId

    *            上级id

    * @return

    */

   public static List<GoodsClassDTO> getCategoryCommiPlus(int level, int parentId) {

      try {

         // 请求地址

         String requestUrl = "https://union.jd.com/api/help/getCategoryCommiPlus?level=%s&parentId=%s";

         // 执行请求

         String result = HttpUtil.get(String.format(requestUrl, level, parentId));



         if (!StringUtil.isNullOrEmpty(result)) {

            JSONObject json = JSONObject.fromObject(result);

            JSONArray jsonArray = json.getJSONArray("data");

            if (jsonArray != null && jsonArray.size() > 0) {

               List<GoodsClassDTO> list = new ArrayList<GoodsClassDTO>();

               for (int i = 0; i < jsonArray.size(); i++) {

                  Object object = jsonArray.get(i);

                  if (object == null)

                     continue;

                  JSONObject jsonClass = JSONObject.fromObject(object);



                  GoodsClassDTO goodsClass = new GoodsClassDTO();

                  goodsClass.setId(jsonClass.optString("id"));

                  goodsClass.setName(jsonClass.optString("name"));



                  String selfMobileComm = jsonClass.optString("selfMobileComm");

                  if (!StringUtil.isNullOrEmpty(selfMobileComm))

                     goodsClass.setSelfComm(new BigDecimal(selfMobileComm));



                  String popMobileComm = jsonClass.optString("popMobileComm");

                  if (!StringUtil.isNullOrEmpty(popMobileComm))

                     goodsClass.setPopComm(new BigDecimal(popMobileComm));



                  list.add(goodsClass);

               }

               return list;

            }

         }

      } catch (Exception e) {

         e.printStackTrace();

      }

      return null;

   }



   /**

    * 获取需要展示的券

    * 
    * @param couponInfoList

    *            券列表

    * @param price

    *            商品价格

    * @return

    */

   public static JDCouponInfo getShowCouponInfo(List<JDCouponInfo> couponInfoList, BigDecimal price) {

      if (couponInfoList != null && couponInfoList.size() > 0) {

         // 根据消费条件排序

         Comparator<JDCouponInfo> cm = new Comparator<JDCouponInfo>() {

            @Override

            public int compare(JDCouponInfo o1, JDCouponInfo o2) {

               return o1.getQuota().compareTo(o2.getQuota());

            }

         };

         Collections.sort(couponInfoList, cm);



         // 设置券信息为最接近的一个

         for (int i = couponInfoList.size() - 1; i >= 0; i--) {

            if (couponInfoList.get(i).getQuota().compareTo(price) <= 0) {

               return couponInfoList.get(i);

            }

         }

         return couponInfoList.get(0);

      }

      return null;

   }



   public static JDCouponInfo getShowCouponInfo(JDGoods goods) {

      if (goods == null)

         return null;

      BigDecimal price = null;

      JDPingouInfo pinGouInfo = goods.getPinGouInfo();

      if (pinGouInfo == null) {

         price = goods.getPrice();

      } else {

         price = pinGouInfo.getPingouPrice();

      }

      return getShowCouponInfo(goods.getCouponInfoList(), price);

   }



   public static List<String> getJDShortLinksFromText(String text) {

      String regex = "(https://u\\.jd\\.com/)[0-9A-Za-z]{1,20}";

      Pattern pattern = Pattern.compile(regex);

      Matcher m = pattern.matcher(text);

      List<String> urlList = new ArrayList<>();

      while (m.find()) {

         urlList.add(m.group());

      }

      return urlList;

   }



}