L撤成交进度相关改进

Administrator

2024-06-13 cbe19ea6066a600cbd0b5110db5d43f8252d14a8

 code_attribute/gpcode_manager.py

@@ -5,131 +5,61 @@
import time

import constant
from db import redis_manager
from db.redis_manager import RedisUtils
from db import redis_manager_delegate as redis_manager
from db.mysql_data_delegate import Mysqldb
from db.redis_manager_delegate import RedisUtils
from log_module import log_export
from log_module.log import logger_pre_close_price
from utils import tool
import decimal

from ths import l2_listen_pos_health_manager, client_manager

__redisManager = redis_manager.RedisManager(0)
__db = 0


class CodesNameManager:
    redisManager = redis_manager.RedisManager(0)
    __gp_list_names_first_cache = []

    @classmethod
    def __get_redis(cls):
        return cls.redisManager.getRedis()
    __mysqldb = Mysqldb()
    __code_name_dict = {}

    @classmethod
    def list_code_name_dict(cls):
        # 获取所有的代码名称对应表
        dict_ = {}
        val = cls.list_first_code_name_dict()
        if val is not None:
            for k in val:
                dict_[k] = val[k]
        val = cls.list_second_code_name_dict()
        if val is not None:
            for k in val:
                dict_[k] = val[k]
        fresults = cls.__mysqldb.select_all("select code, code_name from code_name")
        for result in fresults:
            dict_[result[0]] = result[1]
        return dict_

    @classmethod
    def list_first_code_name_dict(cls):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names_first")
        if val is not None:
            val = json.loads(val)
            return val
    def get_code_name(cls, code):
        if code in cls.__code_name_dict:
            return cls.__code_name_dict[code]
        fresults = cls.__mysqldb.select_one(f"select code_name from code_name where code = '{code}'")
        if fresults:
            cls.__code_name_dict[code] = fresults[0]
            return fresults[0]
        return None

    @classmethod
    def list_first_code_name_dict_cache(cls):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names_first")
        if val is not None:
            val = json.loads(val)
            return val
        return None

    @classmethod
    def get_first_code_name(cls, code):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names_first")
        if not val:
            return None
        val = json.loads(val)
        for k in val:
            if val[k] == code:
                return k
        return None

    @classmethod
    def get_first_name_code(cls, name):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names_first")
        if not val:
            return None
        val = json.loads(val)
        return val.get(name)
    def add_code_name(cls, code, name):
        cls.__code_name_dict[code] = name
        fresults = cls.__mysqldb.select_one(f"select code_name from code_name where code = '{code}'")
        if fresults:
            cls.__mysqldb.execute(f"update code_name set code_name ='{name}', update_time = now() where code= '{code}'")
        else:
            cls.__mysqldb.execute(f"insert into code_name(code,code_name,update_time ) values('{code}','{name}',now())")

    @classmethod
    def add_first_code_name(cls, code, name):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names_first")
        if not val:
            return None
        val = json.loads(val)
        val[name] = code
        cls.set_first_code_names(val)

    # 设置首板代码名称
    @classmethod
    def set_first_code_names(cls, datas):
        RedisUtils.set(cls.__get_redis(), "gp_list_names_first", json.dumps(datas))

    # 删除首板代码名称
    @classmethod
    def clear_first_code_names(cls):
        RedisUtils.delete(cls.__get_redis(), "gp_list_names_first")

    @classmethod
    def list_second_code_name_dict(cls):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names")
        if val is not None:
            val = json.loads(val)
            return val
        return None

    @classmethod
    def get_second_code_name(cls, code):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names")
        if not val:
            return None
        val = json.loads(val)
        for k in val:
            if val[k] == code:
                return k

    @classmethod
    def get_second_name_code(cls, name):
        val = RedisUtils.get(cls.__get_redis(), "gp_list_names")
        if not val:
            return None
        val = json.loads(val)
        return val.get(name)

    # 设置二板代码名称
    @classmethod
    def set_second_code_names(cls, datas):
        RedisUtils.set(cls.__get_redis(), "gp_list_names", json.dumps(datas))

    # 设置二板代码名称
    @classmethod
    def clear_second_code_names(cls):
        RedisUtils.delete(cls.__get_redis(), "gp_list_names")
        cls.add_code_name(code, name)


# 首板代码管理
class FirstCodeManager:
    __instance = None
    __db = 0

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
@@ -151,11 +81,11 @@
        hasChanged = False
        for code in codes:
            if code not in self.__first_code_record_cache:
                RedisUtils.sadd(self.__get_redis(), "first_code_record", code)
                RedisUtils.sadd_async(self.__db, "first_code_record", code)
                hasChanged = True
            self.__first_code_record_cache.add(code)
        if hasChanged:
            RedisUtils.expire(self.__get_redis(), "first_code_record", tool.get_expire())
            RedisUtils.expire_async(self.__db, "first_code_record", tool.get_expire())

    def is_in_first_record(self, code):
        if RedisUtils.sismember(self.__get_redis(), "first_code_record", code):
@@ -171,11 +101,11 @@
        hasChanged = False
        for code in codes:
            if code not in self.__first_code_limited_up_record_cache:
                RedisUtils.sadd(self.__get_redis(), "first_code_limited_up_record", code)
                RedisUtils.sadd_async(self.__db, "first_code_limited_up_record", code)
                hasChanged = True
            self.__first_code_limited_up_record_cache.add(code)
        if hasChanged:
            RedisUtils.expire(self.__get_redis(), "first_code_limited_up_record", tool.get_expire())
            RedisUtils.expire_async(self.__db, "first_code_limited_up_record", tool.get_expire())

    # 是否涨停过
    def is_limited_up(self, code):
@@ -254,8 +184,9 @@
                                                                         cls.__redis_key)
        return cls.__instance

    def __get_redis(self):
        return self.redisManager.getRedis()
    @classmethod
    def __get_redis(cls):
        return cls.redisManager.getRedis()

    def clear(self):
        self.__pause_buy_codes_cache.clear()
@@ -290,6 +221,170 @@
        return self.__pause_buy_codes_cache


# 必买单/红名单
class MustBuyCodesManager:
    __instance = None
    __db = 0
    redisManager = redis_manager.RedisManager(0)
    __redis_key = "must_buy_rate-"
    __must_buy_code_cancel_rate_cache = {}

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(MustBuyCodesManager, cls).__new__(cls, *args, **kwargs)
            keys = RedisUtils.keys(cls.__get_redis(), cls.__redis_key + "*")
            for k in keys:
                code = k.split("-")[-1]
                val = RedisUtils.get(cls.__get_redis(), k)
                cls.__must_buy_code_cancel_rate_cache[code] = round(float(val), 2)
        return cls.__instance

    @classmethod
    def __get_redis(cls):
        return cls.redisManager.getRedis()

    def clear(self):
        self.__must_buy_code_cancel_rate_cache.clear()
        keys = RedisUtils.keys(self.__get_redis(), self.__redis_key + "*")
        for k in keys:
            RedisUtils.delete(self.__get_redis(), k)

    def add_code(self, code, rate=0.9):
        self.__must_buy_code_cancel_rate_cache[code] = round(rate, 2)
        RedisUtils.setex_async(self.__db, self.__redis_key + str(code), tool.get_expire(), str(round(rate, 2)))

    def remove_code(self, code):
        if code in self.__must_buy_code_cancel_rate_cache:
            self.__must_buy_code_cancel_rate_cache.pop(code)
        RedisUtils.delete_async(self.__db, self.__redis_key + str(code))

    def is_in(self, code):
        return RedisUtils.get(self.__get_redis(), self.__redis_key + str(code))

    def is_in_cache(self, code):
        return code in self.__must_buy_code_cancel_rate_cache

    def list_code(self):
        codes = set()
        keys = RedisUtils.keys(self.__get_redis(), self.__redis_key + "*")
        if keys:
            for k in keys:
                code = k.split("-")[-1]
                codes.add(code)
        return codes

    def list_code_cache(self):
        return self.__must_buy_code_cancel_rate_cache.keys()

    def get_cancel_rate_cache(self, code):
        if code not in self.__must_buy_code_cancel_rate_cache:
            return None
        return self.__must_buy_code_cancel_rate_cache[code]


class WhiteListCodeManager:
    __instance = None
    __redis_manager = redis_manager.RedisManager(2)

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(WhiteListCodeManager, cls).__new__(cls, *args, **kwargs)
            # 初始化设置
            # 获取交易窗口的锁
            cls.__instance.__white_codes_cache = RedisUtils.smembers(cls.__get_redis(), "white_list_codes")

        return cls.__instance

    @classmethod
    def __get_redis(cls):
        return cls.__redis_manager.getRedis()

    def sync(self):
        data = RedisUtils.smembers(self.__get_redis(), "white_list_codes")
        self.__white_codes_cache.clear()
        if data:
            self.__white_codes_cache |= data

    def add_code(self, code):
        self.__white_codes_cache.add(code)
        RedisUtils.sadd(self.__get_redis(), "white_list_codes", code)
        RedisUtils.expire(self.__get_redis(), "white_list_codes", tool.get_expire())

    def remove_code(self, code):
        self.__white_codes_cache.discard(code)
        RedisUtils.srem(self.__get_redis(), "white_list_codes", code)

    def is_in(self, code):
        return RedisUtils.sismember(self.__get_redis(), "white_list_codes", code)

    def is_in_cache(self, code):
        return code in self.__white_codes_cache

    def list_codes(self):
        return RedisUtils.smembers(self.__get_redis(), "white_list_codes")

    def list_codes_cache(self):
        return self.__white_codes_cache

    def clear(self):
        self.__white_codes_cache.clear()
        RedisUtils.delete(self.__get_redis(), "white_list_codes")


class BlackListCodeManager:
    __instance = None
    __db = 2
    __redis_manager = redis_manager.RedisManager(2)

    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(BlackListCodeManager, cls).__new__(cls, *args, **kwargs)
            # 初始化设置
            # 获取交易窗口的锁
            cls.__instance.__forbidden_trade_codes_cache = RedisUtils.smembers(cls.__get_redis(),
                                                                               "forbidden-trade-codes")

        return cls.__instance

    @classmethod
    def __get_redis(cls):
        return cls.__redis_manager.getRedis()

    def add_code(self, code):
        self.__forbidden_trade_codes_cache.add(code)
        RedisUtils.sadd_async(self.__db, "forbidden-trade-codes", code)
        RedisUtils.expire_async(self.__db, "forbidden-trade-codes", tool.get_expire())

    def sync(self):
        data = RedisUtils.smembers(self.__get_redis(),
                                   "forbidden-trade-codes")
        self.__forbidden_trade_codes_cache.clear()
        if data:
            self.__forbidden_trade_codes_cache |= data

    def remove_code(self, code):
        self.__forbidden_trade_codes_cache.discard(code)
        RedisUtils.srem(self.__get_redis(), "forbidden-trade-codes", code)

    def is_in(self, code):
        return RedisUtils.sismember(self.__get_redis(), "forbidden-trade-codes", code)

    def is_in_cache(self, code):
        return code in self.__forbidden_trade_codes_cache

    def list_codes(self):
        codes = RedisUtils.smembers(self.__get_redis(), "forbidden-trade-codes")
        self.__forbidden_trade_codes_cache = codes
        return codes

    def list_codes_cache(self):
        return self.__forbidden_trade_codes_cache

    def clear(self):
        self.__forbidden_trade_codes_cache.clear()
        RedisUtils.delete(self.__get_redis(), "forbidden-trade-codes")


def __parse_codes_data(code_datas):
    codes = []
    name_codes = {}
@@ -297,7 +392,7 @@
        # 正常的股票
        if _data["sec_type"] == 1 and _data["sec_level"] == 1:
            code = _data["symbol"].split(".")[1]
            if code.find("30") != 0 and code.find("68") != 0:
            if tool.is_can_buy_code(code):
                name = _data["sec_name"]
                codes.append(code)
                # 保存代码对应的名称
@@ -305,109 +400,97 @@
    return codes, name_codes


# -------------------------------二板代码管理---------------------------------

def set_gp_list(code_datas):
    codes, name_codes = __parse_codes_data(code_datas)
    redis_instance = __redisManager.getRedis()
    try:
        # 删除之前的
        RedisUtils.delete(redis_instance, "gp_list", auto_free=False)
        CodesNameManager.clear_second_code_names()
        for d in codes:
            RedisUtils.sadd(redis_instance, "gp_list", d, auto_free=False)
        CodesNameManager.set_second_code_names(name_codes)
    finally:
        RedisUtils.realse(redis_instance)


# 新增代码
def add_gp_list(code_datas):
    if len(code_datas) > 200:
        raise Exception("不能超过200个数据")
    redis_instance = __redisManager.getRedis()
    try:
        codes, name_codes = __parse_codes_data(code_datas)
        for d in codes:
            RedisUtils.sadd(redis_instance, "gp_list", d, auto_free=False)
        old_name_codes = CodesNameManager.list_second_code_name_dict()
        if old_name_codes is None:
            old_name_codes = name_codes
        else:
            for key in name_codes:
                old_name_codes[key] = name_codes[key]
        CodesNameManager.set_second_code_names(old_name_codes)
    finally:
        RedisUtils.realse(redis_instance)


__gp_list_first_codes_cache = set()


# -------------------------------首板代码管理-------------------------------
# 添加首板代码
# code_datas 掘金返回的数据
def set_first_gp_codes_with_data(code_datas):
    redis_instance = __redisManager.getRedis()
    try:
        codes, name_codes = __parse_codes_data(code_datas)
        codes_set = set()
        for code in codes:
            codes_set.add(code)
        old_codes_set = __gp_list_first_codes_cache
        if old_codes_set is None:
            old_codes_set = set()
        del_set = old_codes_set - codes_set
        add_codes = codes_set - old_codes_set
        for code in add_codes:
            RedisUtils.sadd(redis_instance, "gp_list_first", code, auto_free=False)
        for code in del_set:
            RedisUtils.srem(redis_instance, "gp_list_first", code, auto_free=False)
        if add_codes or del_set:
            RedisUtils.expire(redis_instance, "gp_list_first", tool.get_expire(), auto_free=False)
        # 更新缓存
        __gp_list_first_codes_cache.clear()
        for code in codes_set:
            __gp_list_first_codes_cache.add(code)
class FirstGPCodesManager:
    __db = 0
    __redisManager = redis_manager.RedisManager(0)
    __gp_list_first_codes_cache = set()
    __instance = None

        old_name_codes = CodesNameManager.list_first_code_name_dict()
        if old_name_codes is None:
            old_name_codes = name_codes
        else:
    def __new__(cls, *args, **kwargs):
        if not cls.__instance:
            cls.__instance = super(FirstGPCodesManager, cls).__new__(cls, *args, **kwargs)
            cls.__load_datas()
        return cls.__instance

    @classmethod
    def __get_redis(cls):
        return cls.__redisManager.getRedis()

    @classmethod
    def __load_datas(cls):
        __redis = cls.__get_redis()
        try:
            cls.__gp_list_first_codes_cache = RedisUtils.smembers(__redis, "gp_list_first")
        finally:
            RedisUtils.realse(__redis)

    @classmethod
    def __parse_codes_data(cls, code_datas):
        codes = []
        name_codes = {}
        for _data in code_datas:
            # 正常的股票
            if _data["sec_type"] == 1 and _data["sec_level"] == 1:
                code = _data["symbol"].split(".")[1]
                if tool.is_can_buy_code(code):
                    name = _data["sec_name"]
                    codes.append(code)
                    # 保存代码对应的名称
                    name_codes[name] = code
        return codes, name_codes

    # 添加首板代码
    # code_datas 掘金返回的数据
    def set_first_gp_codes_with_data(self, code_datas):
        try:
            codes, name_codes = self.__parse_codes_data(code_datas)
            codes_set = set()
            for code in codes:
                codes_set.add(code)
            old_codes_set = self.__gp_list_first_codes_cache
            if old_codes_set is None:
                old_codes_set = set()
            del_set = old_codes_set - codes_set
            add_codes = codes_set - old_codes_set
            for code in add_codes:
                RedisUtils.sadd_async(self.__db, "gp_list_first", code, auto_free=False)
            for code in del_set:
                RedisUtils.srem_async(self.__db, "gp_list_first", code, auto_free=False)
            if add_codes or del_set:
                RedisUtils.expire_async(self.__db, "gp_list_first", tool.get_expire(), auto_free=False)
            # 更新缓存
            self.__gp_list_first_codes_cache.clear()
            self.__gp_list_first_codes_cache |= codes_set
            for key in name_codes:
                old_name_codes[key] = name_codes[key]
        CodesNameManager.set_first_code_names(old_name_codes)
    finally:
        RedisUtils.realse(redis_instance)
                CodesNameManager.add_code_name(name_codes[key], key)
        finally:
            pass

    # 移除首板代码
    def remove_first_gp_code(self, codes):
        redis_instance = self.__get_redis()
        try:
            for code in codes:
                self.__gp_list_first_codes_cache.discard(code)
                RedisUtils.srem(redis_instance, "gp_list_first", code, auto_free=False)
        finally:
            RedisUtils.realse(redis_instance)

# 移除首板代码
def remove_first_gp_code(codes):
    redis_instance = __redisManager.getRedis()
    try:
        for code in codes:
            RedisUtils.srem(redis_instance, "gp_list_first", code, auto_free=False)
    finally:
        RedisUtils.realse(redis_instance)
    # 获取首板代码
    def get_first_gp_codes(self):
        return RedisUtils.smembers(self.__get_redis(), "gp_list_first")

    def get_first_gp_codes_cache(self):
        return self.__gp_list_first_codes_cache

# 获取首板代码
def get_first_gp_codes():
    return RedisUtils.smembers(__redisManager.getRedis(), "gp_list_first")
    # 是否在首板里面
    def is_in_first_gp_codes(self, code):
        return RedisUtils.sismember(self.__get_redis(), "gp_list_first", code)


# 是否在首板里面
def is_in_first_gp_codes(code):
    return RedisUtils.sismember(__redisManager.getRedis(), "gp_list_first", code)


# 获取名称对应的代码
def get_name_code(name):
    code = CodesNameManager.get_second_name_code(name)
    if code is not None:
        return code
    code = CodesNameManager.get_first_name_code(name)
    return code
    # 是否在首板里面
    def is_in_first_gp_codes_cache(self, code):
        return code in self.__gp_list_first_codes_cache


# 代码名字缓存
@@ -416,20 +499,12 @@

# 获取代码的名称
def get_code_name(code):
    if code in __code_name_dict:
        return __code_name_dict.get(code)
    name = CodesNameManager.get_second_code_name(code)
    if name is not None:
        __code_name_dict[code] = name
        return name
    name = CodesNameManager.get_first_code_name(code)
    if name:
        __code_name_dict[code] = name
    return name
    return CodesNameManager.get_code_name(code)


def get_name_codes():
    return CodesNameManager.list_code_name_dict()
    code_name_dict = CodesNameManager.list_code_name_dict()
    return {code_name_dict[x]: x for x in code_name_dict}


# 涨停数据保存
@@ -463,16 +538,17 @@

def rm_gp(code):
    RedisUtils.srem(__redisManager.getRedis(), "gp_list", code)
    remove_first_gp_code([code])
    FirstGPCodesManager().remove_first_gp_code([code])


def is_in_gp_pool(code):
    return RedisUtils.sismember(__redisManager.getRedis(), "gp_list", code) or is_in_first_gp_codes(code)
    return RedisUtils.sismember(__redisManager.getRedis(), "gp_list",
                                code) or FirstGPCodesManager().is_in_first_gp_codes_cache(code)


def get_gp_list():
    codes = RedisUtils.smembers(__redisManager.getRedis(), "gp_list")
    first_codes = get_first_gp_codes()
    first_codes = FirstGPCodesManager().get_first_gp_codes_cache()
    return set.union(codes, first_codes)


@@ -487,9 +563,9 @@
        data = get_gp_list()
    list = []
    for d in data:
        if d[0:2] == '00':
        if tool.is_sz_code(d):
            list.append("SZSE.{}".format(d))
        elif d[0:2] == '60':
        elif tool.is_sh_code(d):
            list.append("SHSE.{}".format(d))
    return list

@@ -501,9 +577,9 @@
    # 获取收盘价
    @classmethod
    def get_price_pre(cls, code):
        result = RedisUtils.get(cls.__redisManager.getRedis(), "price-pre-{}".format(code))
        if result is not None:
            return float(result)
        fdatas = log_export.load_pre_close_price()
        if code in fdatas:
            return round(float(fdatas.get(code)), 2)
        return None

    # 获取缓存
@@ -522,8 +598,9 @@
        codes = get_gp_list()
        if code not in codes and not FirstCodeManager().is_in_first_record_cache(code) and not force:
            return
        RedisUtils.setex(cls.__redisManager.getRedis(), "price-pre-{}".format(code), tool.get_expire(), str(price))
        cls.__price_pre_cache[code] = float(price)
        price = round(float(price), 2)
        logger_pre_close_price.info(f"{code}-{price}")
        cls.__price_pre_cache[code] = price


__limit_up_price_dict = {}
@@ -537,15 +614,27 @@
    price = CodePrePriceManager.get_price_pre_cache(code)
    if price is None:
        return None
    limit_up_price = tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal("1.1"))
    limit_up_price = tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal(tool.get_limit_up_rate(code)))
    __limit_up_price_dict[code] = limit_up_price
    return limit_up_price


def get_limit_up_price_by_preprice(price):
def get_limit_up_price_cache(code):
    if code in __limit_up_price_dict:
        return __limit_up_price_dict[code]
    return None


def get_limit_up_price_by_preprice(code, price):
    if price is None:
        return None
    return tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal("1.1"))
    return tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal(f"{tool.get_limit_up_rate(code)}"))


def get_limit_down_price_by_preprice(code, price):
    if price is None:
        return None
    return tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal(f"{tool.get_limit_down_rate(code)}"))


# 获取跌停价
@@ -553,7 +642,7 @@
    price = CodePrePriceManager.get_price_pre_cache(code)
    if price is None:
        return None
    return tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal("0.9"))
    return tool.to_price(decimal.Decimal(str(price)) * decimal.Decimal(f"{tool.get_limit_down_rate(code)}"))


# 获取现价
@@ -575,6 +664,16 @@
    RedisUtils.setex(__redisManager.getRedis(), "price-{}".format(code), tool.get_expire(), price)


# datas:[(code,price)]
def set_prices(datas):
    for d in datas:
        code, price = d[0], d[1]
        if code in __current_price_cache and __current_price_cache[code] == price:
            continue
        __current_price_cache[code] = price
        RedisUtils.setex_async(__db, "price-{}".format(code), tool.get_expire(), price)


# 获取正在监听的代码
def get_listen_codes():
    redis_instance = __redisManager.getRedis()