redis连接池归还

Administrator

2023-08-03 4d321ae069fce2c0f6f7884bec8fa6c4ec534d1a

 code_attribute/gpcode_manager.py

@@ -291,12 +291,15 @@
def set_gp_list(code_datas):
    codes, name_codes = __parse_codes_data(code_datas)
    redis_instance = __redisManager.getRedis()
    # 删除之前的
    RedisUtils.delete(redis_instance, "gp_list")
    CodesNameManager.clear_second_code_names()
    for d in codes:
        RedisUtils.sadd(redis_instance, "gp_list", d)
    CodesNameManager.set_second_code_names(name_codes)
    try:
        # 删除之前的
        RedisUtils.delete(redis_instance, "gp_list", auto_free=False)
        CodesNameManager.clear_second_code_names()
        for d in codes:
            RedisUtils.sadd(redis_instance, "gp_list", d, auto_free=False)
        CodesNameManager.set_second_code_names(name_codes)
    finally:
        redis_instance.connection_pool.disconnect()


# 新增代码
@@ -304,16 +307,19 @@
    if len(code_datas) > 200:
        raise Exception("不能超过200个数据")
    redis_instance = __redisManager.getRedis()
    codes, name_codes = __parse_codes_data(code_datas)
    for d in codes:
        RedisUtils.sadd(redis_instance, "gp_list", d)
    old_name_codes = CodesNameManager.list_second_code_name_dict()
    if old_name_codes is None:
        old_name_codes = name_codes
    else:
        for key in name_codes:
            old_name_codes[key] = name_codes[key]
    CodesNameManager.set_second_code_names(old_name_codes)
    try:
        codes, name_codes = __parse_codes_data(code_datas)
        for d in codes:
            RedisUtils.sadd(redis_instance, "gp_list", d, auto_free=False)
        old_name_codes = CodesNameManager.list_second_code_name_dict()
        if old_name_codes is None:
            old_name_codes = name_codes
        else:
            for key in name_codes:
                old_name_codes[key] = name_codes[key]
        CodesNameManager.set_second_code_names(old_name_codes)
    finally:
        redis_instance.connection_pool.disconnect()


__gp_list_first_codes_cache = set()
@@ -324,52 +330,56 @@
# code_datas 掘金返回的数据
def set_first_gp_codes_with_data(code_datas):
    redis_instance = __redisManager.getRedis()
    codes, name_codes = __parse_codes_data(code_datas)
    codes_set = set()
    for code in codes:
        codes_set.add(code)
    old_codes_set = __gp_list_first_codes_cache
    if old_codes_set is None:
        old_codes_set = set()
    del_set = old_codes_set - codes_set
    add_codes = codes_set - old_codes_set
    for code in add_codes:
        RedisUtils.sadd(redis_instance, "gp_list_first", code)
    for code in del_set:
        RedisUtils.srem(redis_instance, "gp_list_first", code)
    if add_codes or del_set:
        RedisUtils.expire(redis_instance, "gp_list_first", tool.get_expire())
    # 更新缓存
    __gp_list_first_codes_cache.clear()
    for code in codes_set:
        __gp_list_first_codes_cache.add(code)
    try:
        codes, name_codes = __parse_codes_data(code_datas)
        codes_set = set()
        for code in codes:
            codes_set.add(code)
        old_codes_set = __gp_list_first_codes_cache
        if old_codes_set is None:
            old_codes_set = set()
        del_set = old_codes_set - codes_set
        add_codes = codes_set - old_codes_set
        for code in add_codes:
            RedisUtils.sadd(redis_instance, "gp_list_first", code, auto_free=False)
        for code in del_set:
            RedisUtils.srem(redis_instance, "gp_list_first", code, auto_free=False)
        if add_codes or del_set:
            RedisUtils.expire(redis_instance, "gp_list_first", tool.get_expire(), auto_free=False)
        # 更新缓存
        __gp_list_first_codes_cache.clear()
        for code in codes_set:
            __gp_list_first_codes_cache.add(code)

    old_name_codes = CodesNameManager.list_first_code_name_dict()
    if old_name_codes is None:
        old_name_codes = name_codes
    else:
        for key in name_codes:
            old_name_codes[key] = name_codes[key]
    CodesNameManager.set_first_code_names(old_name_codes)
        old_name_codes = CodesNameManager.list_first_code_name_dict()
        if old_name_codes is None:
            old_name_codes = name_codes
        else:
            for key in name_codes:
                old_name_codes[key] = name_codes[key]
        CodesNameManager.set_first_code_names(old_name_codes)
    finally:
        redis_instance.connection_pool.disconnect()


# 移除首板代码
def remove_first_gp_code(codes):
    redis_instance = __redisManager.getRedis()
    for code in codes:
        RedisUtils.srem(redis_instance, "gp_list_first", code)
    try:
        for code in codes:
            RedisUtils.srem(redis_instance, "gp_list_first", code, auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()


# 获取首板代码
def get_first_gp_codes():
    redis_instance = __redisManager.getRedis()
    return RedisUtils.smembers(redis_instance, "gp_list_first")
    return RedisUtils.smembers(__redisManager.getRedis(), "gp_list_first")


# 是否在首板里面
def is_in_first_gp_codes(code):
    redis_instance = __redisManager.getRedis()
    return RedisUtils.sismember(redis_instance, "gp_list_first", code)
    return RedisUtils.sismember(__redisManager.getRedis(), "gp_list_first", code)


# 获取名称对应的代码
@@ -409,43 +419,45 @@
        return
    # 获取基本信息
    redis_instance = __redisManager.getRedis()
    # 删除之前的
    RedisUtils.delete(redis_instance, "gp_limit_up_list")
    for d in gpset:
        RedisUtils.sadd(redis_instance, "gp_limit_up_list", json.dumps(d))
    RedisUtils.expire(redis_instance, "gp_limit_up_list", tool.get_expire())
    RedisUtils.setex(redis_instance, "gp_limit_up_list_update_time", tool.get_expire(), round(time.time() * 1000))

    try:
        # 删除之前的
        RedisUtils.delete(redis_instance, "gp_limit_up_list", auto_free=False)
        for d in gpset:
            RedisUtils.sadd(redis_instance, "gp_limit_up_list", json.dumps(d), auto_free=False)
        RedisUtils.expire(redis_instance, "gp_limit_up_list", tool.get_expire(), auto_free=False)
        RedisUtils.setex(redis_instance, "gp_limit_up_list_update_time", tool.get_expire(), round(time.time() * 1000), auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()

# 获取涨停列表
def get_limit_up_list():
    redis_instance = __redisManager.getRedis()
    return RedisUtils.get(redis_instance, "gp_limit_up_list_update_time"), RedisUtils.smembers(redis_instance,
                                                                                               "gp_limit_up_list")
    try:
        return RedisUtils.get(redis_instance, "gp_limit_up_list_update_time",
                              auto_free=False), RedisUtils.smembers(redis_instance,
                                                                    "gp_limit_up_list", auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()


def rm_gp(code):
    redis_instance = __redisManager.getRedis()
    RedisUtils.srem(redis_instance, "gp_list", code)
    RedisUtils.srem(__redisManager.getRedis(), "gp_list", code)
    remove_first_gp_code([code])


def is_in_gp_pool(code):
    redis_instance = __redisManager.getRedis()
    return RedisUtils.sismember(redis_instance, "gp_list", code) or is_in_first_gp_codes(code)
    return RedisUtils.sismember(__redisManager.getRedis(), "gp_list", code) or is_in_first_gp_codes(code)


def get_gp_list():
    redis_instance = __redisManager.getRedis()
    codes = RedisUtils.smembers(redis_instance, "gp_list")
    codes = RedisUtils.smembers( __redisManager.getRedis(), "gp_list")
    first_codes = get_first_gp_codes()
    return set.union(codes, first_codes)


# 获取二板代码
def get_second_gp_list():
    redis_instance = __redisManager.getRedis()
    codes = RedisUtils.smembers(redis_instance, "gp_list")
    codes = RedisUtils.smembers(__redisManager.getRedis(), "gp_list")
    return codes


@@ -468,8 +480,7 @@
    # 获取收盘价
    @classmethod
    def get_price_pre(cls, code):
        redis_instance = cls.__redisManager.getRedis()
        result = RedisUtils.get(redis_instance, "price-pre-{}".format(code))
        result = RedisUtils.get(cls.__redisManager.getRedis(), "price-pre-{}".format(code))
        if result is not None:
            return float(result)
        return None
@@ -490,8 +501,7 @@
        codes = get_gp_list()
        if code not in codes and not FirstCodeManager().is_in_first_record_cache(code) and not force:
            return
        redis_instance = cls.__redisManager.getRedis()
        RedisUtils.setex(redis_instance, "price-pre-{}".format(code), tool.get_expire(), str(price))
        RedisUtils.setex( cls.__redisManager.getRedis(), "price-pre-{}".format(code), tool.get_expire(), str(price))
        cls.__price_pre_cache[code] = float(price)


@@ -527,8 +537,7 @@

# 获取现价
def get_price(code):
    redis_instance = __redisManager.getRedis()
    result = RedisUtils.get(redis_instance, "price-{}".format(code))
    result = RedisUtils.get(__redisManager.getRedis(), "price-{}".format(code))
    if result is not None:
        return float(result)
    return None
@@ -542,35 +551,35 @@
    if code in __current_price_cache and __current_price_cache[code] == price:
        return
    __current_price_cache[code] = price
    redis_instance = __redisManager.getRedis()
    RedisUtils.setex(redis_instance, "price-{}".format(code), tool.get_expire(), price)
    RedisUtils.setex(__redisManager.getRedis(), "price-{}".format(code), tool.get_expire(), price)


# 获取正在监听的代码
def get_listen_codes():
    redis_instance = __redisManager.getRedis()
    keys = RedisUtils.keys(redis_instance, "listen_code-*-*")
    codes = set()
    for k in keys:
        code = RedisUtils.get(redis_instance, k)
        if code is not None and len(code) > 0:
            codes.add(code)
    return codes
    try:
        keys = RedisUtils.keys(redis_instance, "listen_code-*-*", auto_free=False)
        codes = set()
        for k in keys:
            code = RedisUtils.get(redis_instance, k, auto_free=False)
            if code is not None and len(code) > 0:
                codes.add(code)
        return codes
    finally:
        redis_instance.connection_pool.disconnect()


# 根据位置获取正在监听的代码
def get_listen_code_by_pos(client_id, pos):
    redis_instance = __redisManager.getRedis()
    key = "listen_code-{}-{}".format(client_id, pos)
    value = RedisUtils.get(redis_instance, key)
    value = RedisUtils.get(__redisManager.getRedis(), key)
    # print("redis:", key,value)
    return value


# 设置位置的监听代码
def set_listen_code_by_pos(client_id, pos, code):
    redis_instance = __redisManager.getRedis()
    RedisUtils.setex(redis_instance, "listen_code-{}-{}".format(client_id, pos), tool.get_expire(), code)
    RedisUtils.setex(__redisManager.getRedis(), "listen_code-{}-{}".format(client_id, pos), tool.get_expire(), code)
    # 同步监听的代码集合
    __sync_listen_codes_pos()

@@ -578,56 +587,66 @@
# 同步监听代码位置信息
def __sync_listen_codes_pos():
    redis_instance = __redisManager.getRedis()
    # 获取已经正在监听的代码
    keys = RedisUtils.keys(redis_instance, "code_listen_pos-*")
    codes_set = set()
    for key in keys:
        codes_set.add(key.replace("code_listen_pos-", ""))
    try:
        # 获取已经正在监听的代码
        keys = RedisUtils.keys(redis_instance, "code_listen_pos-*", auto_free=False)
        codes_set = set()
        for key in keys:
            codes_set.add(key.replace("code_listen_pos-", ""))

    keys = RedisUtils.keys(redis_instance, "listen_code-*-*")
        keys = RedisUtils.keys(redis_instance, "listen_code-*-*", auto_free=False)

    for key in keys:
        result = RedisUtils.get(redis_instance, key)
        if result:
            # 移除需要添加的代码
            codes_set.discard(result)
            client_id_, pos_, code_ = int(key.split("-")[1]), int(key.split("-")[2]), result
            key_ = "code_listen_pos-{}".format(code_)
            val = RedisUtils.get(redis_instance, key_)
            if val is None:
                RedisUtils.setex(redis_instance, key_, tool.get_expire(), json.dumps((client_id_, pos_)))
            else:
                val = json.loads(val)
                if val[0] != client_id_ or val[1] != pos_:
                    RedisUtils.setex(redis_instance, key_, tool.get_expire(), json.dumps((client_id_, pos_)))
        for key in keys:
            result = RedisUtils.get(redis_instance, key, auto_free=False)
            if result:
                # 移除需要添加的代码
                codes_set.discard(result)
                client_id_, pos_, code_ = int(key.split("-")[1]), int(key.split("-")[2]), result
                key_ = "code_listen_pos-{}".format(code_)
                val = RedisUtils.get(redis_instance, key_, auto_free=False)
                if val is None:
                    RedisUtils.setex(redis_instance, key_, tool.get_expire(), json.dumps((client_id_, pos_)),
                                     auto_free=False)
                else:
                    val = json.loads(val)
                    if val[0] != client_id_ or val[1] != pos_:
                        RedisUtils.setex(redis_instance, key_, tool.get_expire(), json.dumps((client_id_, pos_)),
                                         auto_free=False)

    # 移除没有监听的代码
    for code_ in codes_set:
        RedisUtils.delete(redis_instance, code_)
        # 移除没有监听的代码
        for code_ in codes_set:
            RedisUtils.delete(redis_instance, code_, auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()


# 初始化位置
def init_listen_code_by_pos(client_id, pos):
    redis_instance = __redisManager.getRedis()
    key = "listen_code-{}-{}".format(client_id, pos)
    RedisUtils.setnx(redis_instance, key, "")
    RedisUtils.expire(redis_instance, key, tool.get_expire())
    RedisUtils.setnx(__redisManager.getRedis(), key, "")
    RedisUtils.expire(__redisManager.getRedis(), key, tool.get_expire())


# 清除所有监听代码
def clear_listen_codes():
    redis_instance = __redisManager.getRedis()
    keys = RedisUtils.keys(redis_instance, "listen_code-*-*")
    for key in keys:
        RedisUtils.setex(redis_instance, key, tool.get_expire(), "")
    try:
        keys = RedisUtils.keys(redis_instance, "listen_code-*-*", auto_free=False)
        for key in keys:
            RedisUtils.setex(redis_instance, key, tool.get_expire(), "", auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()


def clear_first_codes():
    redis_instance = __redisManager.getRedis()
    RedisUtils.delete(redis_instance, "gp_list_first")
    RedisUtils.delete(redis_instance, "gp_list_names_first")
    RedisUtils.delete(redis_instance, "first_code_record")
    RedisUtils.delete(redis_instance, "first_code_limited_up_record")
    try:
        RedisUtils.delete(redis_instance, "gp_list_first", auto_free=False)
        RedisUtils.delete(redis_instance, "gp_list_names_first", auto_free=False)
        RedisUtils.delete(redis_instance, "first_code_record", auto_free=False)
        RedisUtils.delete(redis_instance, "first_code_limited_up_record", auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()


# 获取可以操作的位置
@@ -642,18 +661,19 @@
    for client_id in client_ids:
        redis_instance = __redisManager.getRedis()
        k = "listen_code-{}-*".format(client_id)
        keys = RedisUtils.keys(redis_instance, k)
        keys = RedisUtils.keys(redis_instance, k, auto_free=False)
        # random.shuffle(keys)
        codes = []
        for key in keys:
            index = key.split("-")[-1]
            if int(index) + 1 > constant.L2_CODE_COUNT_PER_DEVICE:
                continue
            result = RedisUtils.get(redis_instance, key)
            result = RedisUtils.get(redis_instance, key, auto_free=False)
            if result is None or len(result) == 0:
                available_positions.append((client_id, int(key.replace("listen_code-{}-".format(client_id), ""))))
            else:
                codes.append((key, result))
        redis_instance.connection_pool.disconnect()
        # 查询是否有重复的代码
        codes_set = set()
        count = 0
@@ -683,19 +703,21 @@
    free_count = 0
    for client_id in client_ids:
        redis_instance = __redisManager.getRedis()
        k = "listen_code-{}-*".format(client_id)
        keys = RedisUtils.keys(redis_instance, k)
        for key in keys:
            code = RedisUtils.get(redis_instance, key)
            if not code:
                free_count += 1
        try:
            k = "listen_code-{}-*".format(client_id)
            keys = RedisUtils.keys(redis_instance, k, auto_free=False)
            for key in keys:
                code = RedisUtils.get(redis_instance, key, auto_free=False)
                if not code:
                    free_count += 1
        finally:
            redis_instance.connection_pool.disconnect()
    return free_count


# 获取正在监听的代码的位置
def get_listen_code_pos(code):
    redis_instance = __redisManager.getRedis()
    val = RedisUtils.get(redis_instance, "code_listen_pos-{}".format(code))
    val = RedisUtils.get(__redisManager.getRedis(), "code_listen_pos-{}".format(code))
    if val is None:
        return None, None
    val = json.loads(val)
@@ -710,8 +732,7 @@

# 是否正在监听
def is_listen(code):
    redis_instance = __redisManager.getRedis()
    val = RedisUtils.get(redis_instance, "code_listen_pos-{}".format(code))
    val = RedisUtils.get(__redisManager.getRedis(), "code_listen_pos-{}".format(code))
    if val is None:
        return False
    else:
@@ -734,36 +755,33 @@

# 是否正在操作
def is_operate(code):
    redis_instance = __redisManager.getRedis()
    return RedisUtils.get(redis_instance, "gp_operate-{}".format(code)) is not None
    return RedisUtils.get(__redisManager.getRedis(), "gp_operate-{}".format(code)) is not None


# 设置正在操作的代码
def set_operate(code):
    redis_instance = __redisManager.getRedis()
    RedisUtils.setex(
        redis_instance, "gp_operate-{}".format(code), 30, "1")
    RedisUtils.setex( __redisManager.getRedis(), "gp_operate-{}".format(code), 30, "1")


# 批量设置正在操作的代码
def set_operates(codes):
    redis_instance = __redisManager.getRedis()
    for code in codes:
        RedisUtils.setex(
            redis_instance, "gp_operate-{}".format(code), 30, "1")
        RedisUtils.setex(__redisManager.getRedis(), "gp_operate-{}".format(code), 30, "1")


# 移除正在操作的代码
def rm_operate(code):
    redis_instance = __redisManager.getRedis()
    RedisUtils.delete(redis_instance, "gp_operate-{}".format(code))
    RedisUtils.delete(__redisManager.getRedis(), "gp_operate-{}".format(code))


# 批量移除正在操作的代码
def rm_operates(codes):
    redis_instance = __redisManager.getRedis()
    for code in codes:
        RedisUtils.delete(redis_instance, "gp_operate-{}".format(code))
    try:
        for code in codes:
            RedisUtils.delete(redis_instance, "gp_operate-{}".format(code), auto_free=False)
    finally:
        redis_instance.connection_pool.disconnect()


if __name__ == '__main__':