异常保护

Administrator

4 天以前 48fb7a00951f91bdc707e5dd2d196e5bccb752c3

 code_attribute/gpcode_manager.py

@@ -1,135 +1,128 @@
"""
股票代码管理器
"""
import copy
import json
import time

import constant
from db import redis_manager
from db.redis_manager import RedisUtils
from db import redis_manager_delegate as redis_manager
from db.mysql_data_delegate import Mysqldb
from db.redis_manager_delegate import RedisUtils
from log_module import log_export, async_log_util
from log_module.log import logger_pre_close_price, logger_debug
from trade import trade_record_log_util
from utils import tool
import decimal

from ths import l2_listen_pos_health_manager, client_manager

__redisManager = redis_manager.RedisManager(0)
__db = 0


class CodesNameManager:
    redisManager = redis_manager.RedisManager(0)
    __gp_list_names_first_cache = []
class BuyOpenLimitUpCodeManager:
    """
    排1代码管理
    """
    __db = 2
    __redisManager = redis_manager.RedisManager(2)
    __instance = None
    __codes_cache = set()

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(BuyOpenLimitUpCodeManager, cls).__new__(cls, *args, **kwargs)
            cls.__load_data()
        return cls.__instance

    @classmethod
    def __get_redis(cls):
        return cls.redisManager.getRedis()
        return cls.__redisManager.getRedis()

    @classmethod
    def __load_data(cls):
        val = RedisUtils.get(cls.__get_redis(), "buy_open_limit_up_codes")
        if val:
            val = json.loads(val)
            cls.__codes_cache = set(val)

    def set_codes(self, codes):
        self.__codes_cache = copy.deepcopy(codes)
        RedisUtils.set_async(self.__db, "buy_open_limit_up_codes", json.dumps(list(codes)))

    def get_codes(self):
        return self.__codes_cache

    def is_in_cache(self, code):
        if not self.__codes_cache:
            return False
        if code in self.__codes_cache:
            return True
        return False


class CodesNameManager:
    __mysqldb = Mysqldb()
    __code_name_dict = {}
    __instance = None

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(CodesNameManager, cls).__new__(cls, *args, **kwargs)
            cls.__load_data()
        return cls.__instance

    @classmethod
    def __load_data(cls):
        cls.__code_name_dict = cls.list_code_name_dict()

    @classmethod
    def list_code_name_dict(cls):
        # 获取所有的代码名称对应表
        dict_ = {}
        val = cls.list_first_code_name_dict()
        if val is not None:
            for k in val:
                dict_[k] = val[k]
        val = cls.list_second_code_name_dict()
        if val is not None:
            for k in val:
                dict_[k] = val[k]
        fresults = cls.__mysqldb.select_all("select code, code_name from code_name")
        for result in fresults:
            dict_[result[0]] = result[1]
        return dict_

    @classmethod
    def list_first_code_name_dict(cls):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names_first")
        if val is not None:
            val = json.loads(val)
            return val
    def get_code_name(cls, code):
        if code in cls.__code_name_dict:
            return cls.__code_name_dict[code]
        fresults = cls.__mysqldb.select_one(f"select code_name from code_name where code = '{code}'")
        if fresults:
            cls.__code_name_dict[code] = fresults[0]
            return fresults[0]
        return None

    @classmethod
    def list_first_code_name_dict_cache(cls):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names_first")
        if val is not None:
            val = json.loads(val)
            return val
        return None
    def add_code_name(cls, code, name):
        cls.__code_name_dict[code] = name
        fresults = cls.__mysqldb.select_one(f"select code_name from code_name where code = '{code}'")
        if fresults:
            cls.__mysqldb.execute(f"update code_name set code_name ='{name}', update_time = now() where code= '{code}'")
        else:
            cls.__mysqldb.execute(f"insert into code_name(code,code_name,update_time ) values('{code}','{name}',now())")

    @classmethod
    def get_first_code_name(cls, code):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names_first")
        if not val:
            return None
        val = json.loads(val)
        for k in val:
            if val[k] == code:
                return k
        return None

    @classmethod
    def get_first_name_code(cls, name):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names_first")
        if not val:
            return None
        val = json.loads(val)
        return val.get(name)
    def add_code_names(cls, code_name_dict):
        """
        批量添加代码名称
        @param code_name_dict:
        @return:
        """
        for code in code_name_dict:
            if code in cls.__code_name_dict and cls.__code_name_dict[code] == code_name_dict[code]:
                continue
            cls.add_code_name(code, code_name_dict[code])

    @classmethod
    def add_first_code_name(cls, code, name):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names_first")
        if not val:
            return None
        val = json.loads(val)
        val[name] = code
        cls.set_first_code_names(val)

    # 设置首板代码名称
    @classmethod
    def set_first_code_names(cls, datas):
        RedisUtils.set(cls.__get_redis(), "gp_list_names_first", json.dumps(datas))

    # 删除首板代码名称
    @classmethod
    def clear_first_code_names(cls):
        RedisUtils.delete(cls.__get_redis(), "gp_list_names_first")

    @classmethod
    def list_second_code_name_dict(cls):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names")
        if val is not None:
            val = json.loads(val)
            return val
        return None

    @classmethod
    def get_second_code_name(cls, code):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names")
        if not val:
            return None
        val = json.loads(val)
        for k in val:
            if val[k] == code:
                return k

    @classmethod
    def get_second_name_code(cls, name):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names")
        if not val:
            return None
        val = json.loads(val)
        return val.get(name)

    # 设置二板代码名称
    @classmethod
    def set_second_code_names(cls, datas):
        RedisUtils.set(cls.__get_redis(), "gp_list_names", json.dumps(datas))

    # 设置二板代码名称
    @classmethod
    def clear_second_code_names(cls):
        RedisUtils.delete(cls.__get_redis(), "gp_list_names")
        cls.add_code_name(code, name)


# 首板代码管理
class FirstCodeManager:
    __instance = None
    __db = 0

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
@@ -139,8 +132,6 @@
            cls.__instance.redisManager = redis_manager.RedisManager(0)
            cls.__instance.__first_code_record_cache = RedisUtils.smembers(cls.__instance.__get_redis(),
                                                                           "first_code_record")
            cls.__instance.__first_code_limited_up_record_cache = RedisUtils.smembers(cls.__instance.__get_redis(),
                                                                                      "first_code_limited_up_record")
        return cls.__instance

    def __get_redis(self):
@@ -151,11 +142,11 @@
        hasChanged = False
        for code in codes:
            if code not in self.__first_code_record_cache:
                RedisUtils.sadd(self.__get_redis(), "first_code_record", code)
                RedisUtils.sadd_async(self.__db, "first_code_record", code)
                hasChanged = True
            self.__first_code_record_cache.add(code)
        if hasChanged:
            RedisUtils.expire(self.__get_redis(), "first_code_record", tool.get_expire())
            RedisUtils.expire_async(self.__db, "first_code_record", tool.get_expire())

    def is_in_first_record(self, code):
        if RedisUtils.sismember(self.__get_redis(), "first_code_record", code):
@@ -166,47 +157,28 @@
    def is_in_first_record_cache(self, code):
        return code in self.__first_code_record_cache

    # 加入首板涨停过代码集合
    def add_limited_up_record(self, codes):
        hasChanged = False
        for code in codes:
            if code not in self.__first_code_limited_up_record_cache:
                RedisUtils.sadd(self.__get_redis(), "first_code_limited_up_record", code)
                hasChanged = True
            self.__first_code_limited_up_record_cache.add(code)
        if hasChanged:
            RedisUtils.expire(self.__get_redis(), "first_code_limited_up_record", tool.get_expire())

    # 是否涨停过
    def is_limited_up(self, code):
        if RedisUtils.sismember(self.__get_redis(), "first_code_limited_up_record", code):
            return True
        else:
            return False

    def is_limited_up_cache(self, code):
        return code in self.__first_code_limited_up_record_cache


# 想要买的代码
class WantBuyCodesManager:
    __instance = None
    __db = 0
    redisManager = redis_manager.RedisManager(0)
    __redis_key = "want_buy_codes"

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(WantBuyCodesManager, cls).__new__(cls, *args, **kwargs)
            # 初始化设置
            # 获取交易窗口的锁
            cls.__instance.redisManager = redis_manager.RedisManager(0)
            cls.__instance.__redis_key = "want_buy_codes"
            cls.__instance.__want_buy_codes_cache = RedisUtils.smembers(cls.__instance.__get_redis(),
                                                                        cls.__instance.__redis_key)
            cls.__instance.__want_buy_codes_cache = RedisUtils.smembers(cls.__get_redis(),
                                                                        cls.__redis_key)
        return cls.__instance

    __want_buy_codes_cache = set()

    def __get_redis(self):
        return self.redisManager.getRedis()
    @classmethod
    def __get_redis(cls):
        return cls.redisManager.getRedis()

    def clear(self):
        RedisUtils.delete(self.__get_redis(), self.__redis_key)
@@ -218,13 +190,13 @@

    def remove_code(self, code):
        self.__want_buy_codes_cache.discard(code)
        RedisUtils.srem(self.__get_redis(), self.__redis_key, code)
        RedisUtils.srem_async(self.__db, self.__redis_key, code)

    def sync(self):
        codes = self.list_code()
        self.__want_buy_codes_cache.clear()
        codes = RedisUtils.smembers(self.__get_redis(), self.__redis_key)
        if codes:
            self.__want_buy_codes_cache += set(codes)
            self.__want_buy_codes_cache |= set(codes)

    def is_in(self, code):
        return RedisUtils.sismember(self.__get_redis(), self.__redis_key, code)
@@ -239,36 +211,377 @@
        return self.__want_buy_codes_cache


# 暂停下单代码管理
# 与黑名单的区别是暂停交易代码只是不交易，不能移除L2监控位
class PauseBuyCodesManager:
@tool.singleton
class HumanRemoveForbiddenManager:
    """
    认为移黑管理
    """
    __db = 0
    redisManager = redis_manager.RedisManager(0)
    __redis_key = "pause_buy_codes"
    __redis_key = "human_remove_forbidden_codes"

    __codes_cache = set()

    def __init__(self):
        self.__load_data()

    @classmethod
    def __get_redis(cls):
        return cls.redisManager.getRedis()

    @classmethod
    def clear(cls):
        RedisUtils.delete(cls.__get_redis(), cls.__redis_key)
    def __load_data(self):
        self.__codes_cache = RedisUtils.smembers(self.__get_redis(), self.__redis_key)
        if self.__codes_cache is None:
            self.__codes_cache = set()

    def add_code(self, code):
        self.__codes_cache.add(code)
        RedisUtils.sadd_async(self.__db, self.__redis_key, code)
        RedisUtils.expire_async(self.__db, self.__redis_key, tool.get_expire())

    def remove_code(self, code):
        self.__codes_cache.discard(code)
        RedisUtils.srem_async(self.__db, self.__redis_key, code)

    def is_in_cache(self, code):
        return code in self.__codes_cache


@tool.singleton
class HumanForbiddenManager:
    """
    人为拉黑管理
    """
    __db = 0
    redisManager = redis_manager.RedisManager(0)
    __redis_key = "human_forbidden_codes"

    __codes_cache = set()

    def __init__(self):
        self.__load_data()

    @classmethod
    def add_code(cls, code):
        RedisUtils.sadd(cls.__get_redis(), cls.__redis_key, code)
        RedisUtils.expire(cls.__get_redis(), cls.__redis_key, tool.get_expire())
    def __get_redis(cls):
        return cls.redisManager.getRedis()

    def __load_data(self):
        self.__codes_cache = RedisUtils.smembers(self.__get_redis(), self.__redis_key)
        if self.__codes_cache is None:
            self.__codes_cache = set()

    def add_code(self, code):
        trade_record_log_util.add_common_msg(code, "人为加黑", f"")
        self.__codes_cache.add(code)
        RedisUtils.sadd_async(self.__db, self.__redis_key, code)
        RedisUtils.expire_async(self.__db, self.__redis_key, tool.get_expire())

    def remove_code(self, code):
        trade_record_log_util.add_common_msg(code, "人为移黑", f"")
        self.__codes_cache.discard(code)
        RedisUtils.srem_async(self.__db, self.__redis_key, code)

    def is_in_cache(self, code):
        return code in self.__codes_cache



# 暂停下单代码管理
# 与黑名单的区别是暂停交易代码只是不交易，不能移除L2监控位
class PauseBuyCodesManager:
    __instance = None
    redisManager = redis_manager.RedisManager(0)
    __redis_key = "pause_buy_codes"

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(PauseBuyCodesManager, cls).__new__(cls, *args, **kwargs)
            cls.__instance.__pause_buy_codes_cache = RedisUtils.smembers(cls.__get_redis(),
                                                                         cls.__redis_key)
        return cls.__instance

    @classmethod
    def remove_code(cls, code):
        RedisUtils.srem(cls.__get_redis(), cls.__redis_key, code)
    def __get_redis(cls):
        return cls.redisManager.getRedis()

    def clear(self):
        self.__pause_buy_codes_cache.clear()
        RedisUtils.delete(self.__get_redis(), self.__redis_key)

    def sync(self):
        data = RedisUtils.smembers(self.__get_redis(),
                                   self.__redis_key)
        self.__pause_buy_codes_cache.clear()
        if data:
            self.__pause_buy_codes_cache |= data

    def add_code(self, code):
        self.__pause_buy_codes_cache.add(code)
        RedisUtils.sadd(self.__get_redis(), self.__redis_key, code)
        RedisUtils.expire(self.__get_redis(), self.__redis_key, tool.get_expire())

    def remove_code(self, code):
        self.__pause_buy_codes_cache.discard(code)
        RedisUtils.srem(self.__get_redis(), self.__redis_key, code)

    def is_in(self, code):
        return RedisUtils.sismember(self.__get_redis(), self.__redis_key, code)

    def is_in_cache(self, code):
        return code in self.__pause_buy_codes_cache

    def list_code(self):
        return RedisUtils.smembers(self.__get_redis(), self.__redis_key)

    def list_code_cache(self):
        return self.__pause_buy_codes_cache


# 必买单/红名单
class MustBuyCodesManager:
    __instance = None
    __db = 0
    redisManager = redis_manager.RedisManager(0)
    __redis_key = "must_buy_rate-"
    __must_buy_code_cancel_rate_cache = {}

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(MustBuyCodesManager, cls).__new__(cls, *args, **kwargs)
            keys = RedisUtils.keys(cls.__get_redis(), cls.__redis_key + "*")
            for k in keys:
                code = k.split("-")[-1]
                val = RedisUtils.get(cls.__get_redis(), k)
                cls.__must_buy_code_cancel_rate_cache[code] = round(float(val), 2)
        return cls.__instance

    @classmethod
    def is_in(cls, code):
        return RedisUtils.sismember(cls.__get_redis(), cls.__redis_key, code)
    def __get_redis(cls):
        return cls.redisManager.getRedis()

    def clear(self):
        self.__must_buy_code_cancel_rate_cache.clear()
        keys = RedisUtils.keys(self.__get_redis(), self.__redis_key + "*")
        for k in keys:
            RedisUtils.delete(self.__get_redis(), k)

    def add_code(self, code, rate=0.9):
        self.__must_buy_code_cancel_rate_cache[code] = round(rate, 2)
        RedisUtils.setex_async(self.__db, self.__redis_key + str(code), tool.get_expire(), str(round(rate, 2)))

    def remove_code(self, code):
        if code in self.__must_buy_code_cancel_rate_cache:
            self.__must_buy_code_cancel_rate_cache.pop(code)
        RedisUtils.delete_async(self.__db, self.__redis_key + str(code))

    def is_in(self, code):
        return RedisUtils.get(self.__get_redis(), self.__redis_key + str(code))

    def is_in_cache(self, code):
        return code in self.__must_buy_code_cancel_rate_cache

    def list_code(self):
        codes = set()
        keys = RedisUtils.keys(self.__get_redis(), self.__redis_key + "*")
        if keys:
            for k in keys:
                code = k.split("-")[-1]
                codes.add(code)
        return codes

    def list_code_cache(self):
        return self.__must_buy_code_cancel_rate_cache.keys()

    def get_cancel_rate_cache(self, code):
        if code not in self.__must_buy_code_cancel_rate_cache:
            return None
        return self.__must_buy_code_cancel_rate_cache[code]


class WhiteListCodeManager:
    __instance = None
    __redis_manager = redis_manager.RedisManager(2)
    __human_remove_codes = set()

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(WhiteListCodeManager, cls).__new__(cls, *args, **kwargs)
            # 初始化设置
            # 获取交易窗口的锁
            cls.__instance.__white_codes_cache = RedisUtils.smembers(cls.__get_redis(), "white_list_codes")

        return cls.__instance

    @classmethod
    def list_code(cls):
        return RedisUtils.smembers(cls.__get_redis(), cls.__redis_key)
    def __get_redis(cls):
        return cls.__redis_manager.getRedis()

    def sync(self):
        data = RedisUtils.smembers(self.__get_redis(), "white_list_codes")
        self.__white_codes_cache.clear()
        if data:
            self.__white_codes_cache |= data

    def add_code(self, code, is_human=False):

        if not is_human and code in self.__human_remove_codes:
            # 机器加白，且被人为移白了就不能再加白
            return

        self.__white_codes_cache.add(code)
        RedisUtils.sadd(self.__get_redis(), "white_list_codes", code)
        RedisUtils.expire(self.__get_redis(), "white_list_codes", tool.get_expire())

    def remove_code(self, code, is_human=False):
        self.__white_codes_cache.discard(code)
        RedisUtils.srem(self.__get_redis(), "white_list_codes", code)
        if is_human:
            self.human_remove(code)

    def is_in(self, code):
        return RedisUtils.sismember(self.__get_redis(), "white_list_codes", code)

    def is_in_cache(self, code):
        return code in self.__white_codes_cache

    def list_codes(self):
        return RedisUtils.smembers(self.__get_redis(), "white_list_codes")

    def list_codes_cache(self):
        return self.__white_codes_cache

    def clear(self):
        self.__white_codes_cache.clear()
        RedisUtils.delete(self.__get_redis(), "white_list_codes")

    def human_remove(self, code):
        """
        人为移白
        @param code:
        @return:
        """
        self.__human_remove_codes.add(code)

    def clear_huamn_info(self, code):
        """
        移除人为干预信息
        @param code:
        @return:
        """
        if code in self.__human_remove_codes:
            self.__human_remove_codes.discard(code)



class BlackListCodeManager:
    __instance = None
    __db = 2
    __redis_manager = redis_manager.RedisManager(2)

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(BlackListCodeManager, cls).__new__(cls, *args, **kwargs)
            # 初始化设置
            # 获取交易窗口的锁
            cls.__instance.__forbidden_trade_codes_cache = RedisUtils.smembers(cls.__get_redis(),
                                                                               "forbidden-trade-codes")
            logger_debug.info(f"加载加黑列表：{cls.__instance.__forbidden_trade_codes_cache}")

        return cls.__instance

    @classmethod
    def __get_redis(cls):
        return cls.__redis_manager.getRedis()

    def add_code(self, code):
        self.__forbidden_trade_codes_cache.add(code)
        RedisUtils.sadd_async(self.__db, "forbidden-trade-codes", code)
        RedisUtils.expire_async(self.__db, "forbidden-trade-codes", tool.get_expire())

    def sync(self):
        data = RedisUtils.smembers(self.__get_redis(),
                                   "forbidden-trade-codes")
        self.__forbidden_trade_codes_cache.clear()
        if data:
            self.__forbidden_trade_codes_cache |= data

    def remove_code(self, code):
        self.__forbidden_trade_codes_cache.discard(code)
        RedisUtils.srem(self.__get_redis(), "forbidden-trade-codes", code)

    def is_in(self, code):
        return RedisUtils.sismember(self.__get_redis(), "forbidden-trade-codes", code)

    def is_in_cache(self, code):
        return code in self.__forbidden_trade_codes_cache

    def list_codes(self):
        codes = RedisUtils.smembers(self.__get_redis(), "forbidden-trade-codes")
        self.__forbidden_trade_codes_cache = codes
        return codes

    def list_codes_cache(self):
        return self.__forbidden_trade_codes_cache

    def clear(self):
        self.__forbidden_trade_codes_cache.clear()
        RedisUtils.delete(self.__get_redis(), "forbidden-trade-codes")


class GreenListCodeManager:
    """
    绿名单：买入即加红，撤单不移红
    """
    __instance = None
    __db = 2
    __redis_manager = redis_manager.RedisManager(2)
    __codes_set = set()

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(GreenListCodeManager, cls).__new__(cls, *args, **kwargs)
            # 初始化设置
            # 获取交易窗口的锁
            cls.__codes_set = RedisUtils.smembers(cls.__get_redis(), "green-trade-codes")
        return cls.__instance

    @classmethod
    def __get_redis(cls):
        return cls.__redis_manager.getRedis()

    def add_code(self, code):
        self.__codes_set.add(code)
        RedisUtils.sadd_async(self.__db, "green-trade-codes", code)
        RedisUtils.expire_async(self.__db, "green-trade-codes", tool.get_expire())

    def sync(self):
        data = RedisUtils.smembers(self.__get_redis(),
                                   "green-trade-codes")
        self.__codes_set.clear()
        if data:
            self.__codes_set |= data

    def remove_code(self, code):
        self.__codes_set.discard(code)
        RedisUtils.srem_async(self.__db, "green-trade-codes", code)

    def is_in(self, code):
        return RedisUtils.sismember(self.__get_redis(), "green-trade-codes", code)

    def is_in_cache(self, code):
        return code in self.__codes_set

    def list_codes(self):
        codes = RedisUtils.smembers(self.__get_redis(), "green-trade-codes")
        self.__codes_set = codes
        return codes

    def list_codes_cache(self):
        return self.__codes_set

    def clear(self):
        self.__codes_set.clear()
        RedisUtils.delete(self.__get_redis(), "green-trade-codes")


def __parse_codes_data(code_datas):
@@ -278,7 +591,7 @@
        # 正常的股票
        if _data["sec_type"] == 1 and _data["sec_level"] == 1:
            code = _data["symbol"].split(".")[1]
            if code.find("30") != 0 and code.find("68") != 0:
            if tool.is_can_buy_code(code):
                name = _data["sec_name"]
                codes.append(code)
                # 保存代码对应的名称
@@ -286,109 +599,97 @@
    return codes, name_codes


# -------------------------------二板代码管理---------------------------------

def set_gp_list(code_datas):
    codes, name_codes = __parse_codes_data(code_datas)
    redis_instance = __redisManager.getRedis()
    try:
        # 删除之前的
        RedisUtils.delete(redis_instance, "gp_list", auto_free=False)
        CodesNameManager.clear_second_code_names()
        for d in codes:
            RedisUtils.sadd(redis_instance, "gp_list", d, auto_free=False)
        CodesNameManager.set_second_code_names(name_codes)
    finally:
        redis_instance.connection_pool.disconnect()


# 新增代码
def add_gp_list(code_datas):
    if len(code_datas) > 200:
        raise Exception("不能超过200个数据")
    redis_instance = __redisManager.getRedis()
    try:
        codes, name_codes = __parse_codes_data(code_datas)
        for d in codes:
            RedisUtils.sadd(redis_instance, "gp_list", d, auto_free=False)
        old_name_codes = CodesNameManager.list_second_code_name_dict()
        if old_name_codes is None:
            old_name_codes = name_codes
        else:
            for key in name_codes:
                old_name_codes[key] = name_codes[key]
        CodesNameManager.set_second_code_names(old_name_codes)
    finally:
        redis_instance.connection_pool.disconnect()


__gp_list_first_codes_cache = set()


# -------------------------------首板代码管理-------------------------------
# 添加首板代码
# code_datas 掘金返回的数据
def set_first_gp_codes_with_data(code_datas):
    redis_instance = __redisManager.getRedis()
    try:
        codes, name_codes = __parse_codes_data(code_datas)
        codes_set = set()
        for code in codes:
            codes_set.add(code)
        old_codes_set = __gp_list_first_codes_cache
        if old_codes_set is None:
            old_codes_set = set()
        del_set = old_codes_set - codes_set
        add_codes = codes_set - old_codes_set
        for code in add_codes:
            RedisUtils.sadd(redis_instance, "gp_list_first", code, auto_free=False)
        for code in del_set:
            RedisUtils.srem(redis_instance, "gp_list_first", code, auto_free=False)
        if add_codes or del_set:
            RedisUtils.expire(redis_instance, "gp_list_first", tool.get_expire(), auto_free=False)
        # 更新缓存
        __gp_list_first_codes_cache.clear()
        for code in codes_set:
            __gp_list_first_codes_cache.add(code)
class FirstGPCodesManager:
    __db = 0
    __redisManager = redis_manager.RedisManager(0)
    __gp_list_first_codes_cache = set()
    __instance = None

        old_name_codes = CodesNameManager.list_first_code_name_dict()
        if old_name_codes is None:
            old_name_codes = name_codes
        else:
    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(FirstGPCodesManager, cls).__new__(cls, *args, **kwargs)
            cls.__load_datas()
        return cls.__instance

    @classmethod
    def __get_redis(cls):
        return cls.__redisManager.getRedis()

    @classmethod
    def __load_datas(cls):
        __redis = cls.__get_redis()
        try:
            cls.__gp_list_first_codes_cache = RedisUtils.smembers(__redis, "gp_list_first")
        finally:
            RedisUtils.realse(__redis)

    @classmethod
    def __parse_codes_data(cls, code_datas):
        codes = []
        name_codes = {}
        for _data in code_datas:
            # 正常的股票
            if _data["sec_type"] == 1 and _data["sec_level"] == 1:
                code = _data["symbol"].split(".")[1]
                if tool.is_can_buy_code(code):
                    name = _data["sec_name"]
                    codes.append(code)
                    # 保存代码对应的名称
                    name_codes[name] = code
        return codes, name_codes

    # 添加首板代码
    # code_datas 掘金返回的数据
    def set_first_gp_codes_with_data(self, code_datas):
        try:
            codes, name_codes = self.__parse_codes_data(code_datas)
            codes_set = set()
            for code in codes:
                codes_set.add(code)
            old_codes_set = self.__gp_list_first_codes_cache
            if old_codes_set is None:
                old_codes_set = set()
            del_set = old_codes_set - codes_set
            add_codes = codes_set - old_codes_set
            for code in add_codes:
                RedisUtils.sadd_async(self.__db, "gp_list_first", code, auto_free=False)
            for code in del_set:
                RedisUtils.srem_async(self.__db, "gp_list_first", code, auto_free=False)
            if add_codes or del_set:
                RedisUtils.expire_async(self.__db, "gp_list_first", tool.get_expire(), auto_free=False)
            # 更新缓存
            self.__gp_list_first_codes_cache.clear()
            self.__gp_list_first_codes_cache |= codes_set
            for key in name_codes:
                old_name_codes[key] = name_codes[key]
        CodesNameManager.set_first_code_names(old_name_codes)
    finally:
        redis_instance.connection_pool.disconnect()
                CodesNameManager.add_code_name(name_codes[key], key)
        finally:
            pass

    # 移除首板代码
    def remove_first_gp_code(self, codes):
        redis_instance = self.__get_redis()
        try:
            for code in codes:
                self.__gp_list_first_codes_cache.discard(code)
                RedisUtils.srem(redis_instance, "gp_list_first", code, auto_free=False)
        finally:
            RedisUtils.realse(redis_instance)

# 移除首板代码
def remove_first_gp_code(codes):
    redis_instance = __redisManager.getRedis()
    try:
        for code in codes:
            RedisUtils.srem(redis_instance, "gp_list_first", code, auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()
    # 获取首板代码
    def get_first_gp_codes(self):
        return RedisUtils.smembers(self.__get_redis(), "gp_list_first")

    def get_first_gp_codes_cache(self):
        return self.__gp_list_first_codes_cache

# 获取首板代码
def get_first_gp_codes():
    return RedisUtils.smembers(__redisManager.getRedis(), "gp_list_first")
    # 是否在首板里面
    def is_in_first_gp_codes(self, code):
        return RedisUtils.sismember(self.__get_redis(), "gp_list_first", code)


# 是否在首板里面
def is_in_first_gp_codes(code):
    return RedisUtils.sismember(__redisManager.getRedis(), "gp_list_first", code)


# 获取名称对应的代码
def get_name_code(name):
    code = CodesNameManager.get_second_name_code(name)
    if code is not None:
        return code
    code = CodesNameManager.get_first_name_code(name)
    return code
    # 是否在首板里面
    def is_in_first_gp_codes_cache(self, code):
        return code in self.__gp_list_first_codes_cache


# 代码名字缓存
@@ -397,20 +698,12 @@

# 获取代码的名称
def get_code_name(code):
    if code in __code_name_dict:
        return __code_name_dict.get(code)
    name = CodesNameManager.get_second_code_name(code)
    if name is not None:
        __code_name_dict[code] = name
        return name
    name = CodesNameManager.get_first_code_name(code)
    if name:
        __code_name_dict[code] = name
    return name
    return CodesNameManager().get_code_name(code)


def get_name_codes():
    return CodesNameManager.list_code_name_dict()
    code_name_dict = CodesNameManager.list_code_name_dict()
    return {code_name_dict[x]: x for x in code_name_dict}


# 涨停数据保存
@@ -425,9 +718,11 @@
        for d in gpset:
            RedisUtils.sadd(redis_instance, "gp_limit_up_list", json.dumps(d), auto_free=False)
        RedisUtils.expire(redis_instance, "gp_limit_up_list", tool.get_expire(), auto_free=False)
        RedisUtils.setex(redis_instance, "gp_limit_up_list_update_time", tool.get_expire(), round(time.time() * 1000), auto_free=False)
        RedisUtils.setex(redis_instance, "gp_limit_up_list_update_time", tool.get_expire(), round(time.time() * 1000),
                         auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()
        RedisUtils.realse(redis_instance)


# 获取涨停列表
def get_limit_up_list():
@@ -437,21 +732,22 @@
                              auto_free=False), RedisUtils.smembers(redis_instance,
                                                                    "gp_limit_up_list", auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()
        RedisUtils.realse(redis_instance)


def rm_gp(code):
    RedisUtils.srem(__redisManager.getRedis(), "gp_list", code)
    remove_first_gp_code([code])
    FirstGPCodesManager().remove_first_gp_code([code])


def is_in_gp_pool(code):
    return RedisUtils.sismember(__redisManager.getRedis(), "gp_list", code) or is_in_first_gp_codes(code)
    return RedisUtils.sismember(__redisManager.getRedis(), "gp_list",
                                code) or FirstGPCodesManager().is_in_first_gp_codes_cache(code)


def get_gp_list():
    codes = RedisUtils.smembers( __redisManager.getRedis(), "gp_list")
    first_codes = get_first_gp_codes()
    codes = RedisUtils.smembers(__redisManager.getRedis(), "gp_list")
    first_codes = FirstGPCodesManager().get_first_gp_codes_cache()
    return set.union(codes, first_codes)


@@ -466,9 +762,9 @@
        data = get_gp_list()
    list = []
    for d in data:
        if d[0:2] == '00':
        if tool.is_sz_code(d):
            list.append("SZSE.{}".format(d))
        elif d[0:2] == '60':
        elif tool.is_sh_code(d):
            list.append("SHSE.{}".format(d))
    return list

@@ -480,9 +776,9 @@
    # 获取收盘价
    @classmethod
    def get_price_pre(cls, code):
        result = RedisUtils.get(cls.__redisManager.getRedis(), "price-pre-{}".format(code))
        if result is not None:
            return float(result)
        fdatas = log_export.load_pre_close_price()
        if code in fdatas:
            return round(float(fdatas.get(code)), 2)
        return None

    # 获取缓存
@@ -498,11 +794,14 @@
    # 设置收盘价
    @classmethod
    def set_price_pre(cls, code, price, force=False):
        codes = get_gp_list()
        if code not in codes and not FirstCodeManager().is_in_first_record_cache(code) and not force:
        if float(price) > 1000:
            async_log_util.info(logger_debug, f"获取昨日收盘价异常：{code}-{price}")
            return
        RedisUtils.setex( cls.__redisManager.getRedis(), "price-pre-{}".format(code), tool.get_expire(), str(price))
        cls.__price_pre_cache[code] = float(price)
        if code in cls.__price_pre_cache and not force:
            return
        price = round(float(price), 2)
        logger_pre_close_price.info(f"{code}-{price}")
        cls.__price_pre_cache[code] = price


__limit_up_price_dict = {}
@@ -516,15 +815,34 @@
    price = CodePrePriceManager.get_price_pre_cache(code)
    if price is None:
        return None
    limit_up_price = tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal("1.1"))
    limit_up_price = tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal(tool.get_limit_up_rate(code)))
    __limit_up_price_dict[code] = limit_up_price
    return limit_up_price


def get_limit_up_price_by_preprice(price):
def get_limit_up_price_as_num(code):
    limit_up_price = get_limit_up_price(code)
    if limit_up_price:
        return round(float(limit_up_price), 2)
    return None


def get_limit_up_price_cache(code):
    if code in __limit_up_price_dict:
        return __limit_up_price_dict[code]
    return None


def get_limit_up_price_by_preprice(code, price):
    if price is None:
        return None
    return tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal("1.1"))
    return tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal(f"{tool.get_limit_up_rate(code)}"))


def get_limit_down_price_by_preprice(code, price):
    if price is None:
        return None
    return tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal(f"{tool.get_limit_down_rate(code)}"))


# 获取跌停价
@@ -532,7 +850,7 @@
    price = CodePrePriceManager.get_price_pre_cache(code)
    if price is None:
        return None
    return tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal("0.9"))
    return tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal(f"{tool.get_limit_down_rate(code)}"))


# 获取现价
@@ -554,6 +872,16 @@
    RedisUtils.setex(__redisManager.getRedis(), "price-{}".format(code), tool.get_expire(), price)


# datas:[(code,price)]
def set_prices(datas):
    for d in datas:
        code, price = d[0], d[1]
        if code in __current_price_cache and __current_price_cache[code] == price:
            continue
        __current_price_cache[code] = price
        RedisUtils.setex_async(__db, "price-{}".format(code), tool.get_expire(), price)


# 获取正在监听的代码
def get_listen_codes():
    redis_instance = __redisManager.getRedis()
@@ -566,7 +894,7 @@
                codes.add(code)
        return codes
    finally:
        redis_instance.connection_pool.disconnect()
        RedisUtils.realse(redis_instance)


# 根据位置获取正在监听的代码
@@ -617,7 +945,7 @@
        for code_ in codes_set:
            RedisUtils.delete(redis_instance, code_, auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()
        RedisUtils.realse(redis_instance)


# 初始化位置
@@ -635,7 +963,7 @@
        for key in keys:
            RedisUtils.setex(redis_instance, key, tool.get_expire(), "", auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()
        RedisUtils.realse(redis_instance)


def clear_first_codes():
@@ -646,143 +974,4 @@
        RedisUtils.delete(redis_instance, "first_code_record", auto_free=False)
        RedisUtils.delete(redis_instance, "first_code_limited_up_record", auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()


# 获取可以操作的位置
def get_can_listen_pos(client_id=0):
    client_ids = []
    if client_id <= 0:
        client_ids = client_manager.getValidL2Clients()
    else:
        client_ids.append(client_id)
    # random.shuffle(client_ids)
    available_positions = []
    for client_id in client_ids:
        redis_instance = __redisManager.getRedis()
        k = "listen_code-{}-*".format(client_id)
        keys = RedisUtils.keys(redis_instance, k, auto_free=False)
        # random.shuffle(keys)
        codes = []
        for key in keys:
            index = key.split("-")[-1]
            if int(index) + 1 > constant.L2_CODE_COUNT_PER_DEVICE:
                continue
            result = RedisUtils.get(redis_instance, key, auto_free=False)
            if result is None or len(result) == 0:
                available_positions.append((client_id, int(key.replace("listen_code-{}-".format(client_id), ""))))
            else:
                codes.append((key, result))
        redis_instance.connection_pool.disconnect()
        # 查询是否有重复的代码
        codes_set = set()
        count = 0
        for code in codes:
            count = count + 1
            codes_set.add(code[1])
            if len(codes_set) < count:
                return client_id, int(code[0].replace("listen_code-{}-".format(client_id), ""))

    if available_positions:
        # 获取健康状态
        available_positions_health_states = l2_listen_pos_health_manager.list_health_state(available_positions)
        # 尽量不分配第一个位置
        available_positions_new = sorted(available_positions,
                                         key=lambda x: (available_positions_health_states[x], 0 if x[1] == 0 else 1),
                                         reverse=True)
        # available_positions.sort(key=lambda x: available_positions_health_states[x], reverse=True)
        # 取第1个数据
        return available_positions_new[0][0], available_positions_new[0][1]

    return None, None


# 获取可以操作的位置
def get_free_listen_pos_count():
    client_ids = client_manager.getValidL2Clients()
    free_count = 0
    for client_id in client_ids:
        redis_instance = __redisManager.getRedis()
        try:
            k = "listen_code-{}-*".format(client_id)
            keys = RedisUtils.keys(redis_instance, k, auto_free=False)
            for key in keys:
                code = RedisUtils.get(redis_instance, key, auto_free=False)
                if not code:
                    free_count += 1
        finally:
            redis_instance.connection_pool.disconnect()
    return free_count


# 获取正在监听的代码的位置
def get_listen_code_pos(code):
    val = RedisUtils.get(__redisManager.getRedis(), "code_listen_pos-{}".format(code))
    if val is None:
        return None, None
    val = json.loads(val)
    cid, pid = val[0], val[1]
    code_ = get_listen_code_by_pos(cid, pid)
    # 校验代码
    if code_ == code:
        return cid, pid
    else:
        return None, None


# 是否正在监听
def is_listen(code):
    val = RedisUtils.get(__redisManager.getRedis(), "code_listen_pos-{}".format(code))
    if val is None:
        return False
    else:
        return True
    # codes = get_listen_codes()
    # return codes.__contains__(code)


def is_listen_old(code):
    codes = get_listen_codes()
    return codes.__contains__(code)


# 监听是否满了
def is_listen_full():
    clients = client_manager.getValidL2Clients()
    codes = get_listen_codes()
    return len(codes) >= constant.L2_CODE_COUNT_PER_DEVICE * len(clients)


# 是否正在操作
def is_operate(code):
    return RedisUtils.get(__redisManager.getRedis(), "gp_operate-{}".format(code)) is not None


# 设置正在操作的代码
def set_operate(code):
    RedisUtils.setex( __redisManager.getRedis(), "gp_operate-{}".format(code), 30, "1")


# 批量设置正在操作的代码
def set_operates(codes):
    for code in codes:
        RedisUtils.setex(__redisManager.getRedis(), "gp_operate-{}".format(code), 30, "1")


# 移除正在操作的代码
def rm_operate(code):
    RedisUtils.delete(__redisManager.getRedis(), "gp_operate-{}".format(code))


# 批量移除正在操作的代码
def rm_operates(codes):
    redis_instance = __redisManager.getRedis()
    try:
        for code in codes:
            RedisUtils.delete(redis_instance, "gp_operate-{}".format(code), auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()


if __name__ == '__main__':
    get_can_listen_pos()
        RedisUtils.realse(redis_instance)