B
|
<cân ã @ s d dl Z d dlZd dlZd dlmZ d dlZd dlZd dlZd dlZd dl Z d dl
|
Z
|
d dl Z d dl Z d dl mZ e
|
d¡Zi Zi Zi ZG dd deZG dd dZd5d
|
d Zd d Zdd Zdd Zdd Zdd Z dd Z dd Z dd Z d Z d d Z!d d Z"d!d" Z#d#d$ Z$d%d& Z%d'd( Z&d)d* Z'd+d, Z(d-d. Z)d/d0 Z*d1d2 Z+e,d3kre
|
d¡ -¡ Z.e. /d4¡Z/xe/D ]Z0e. 1e0¡ qrW dS )6é N)Údatetime)Úlogger_l2_tradeé c s4 e Zd ZdZdZ fddZdd Zdd Z ZS ) ÚL2DataExceptionr é c s t | ¡ || _|| _d S )N)ÚsuperÚ__init__ÚcodeÚmsg)Úselfr r
|
)Ú __class__© ú%D:\workspace\trade\l2_data_manager.pyr " s zL2DataException.__init__c C s | j S )N)r
|
)r r r r Ú__str__' s zL2DataException.__str__c C s | j S )N)r )r r r r Úget_code* s zL2DataException.get_code) Ú__name__Ú
|
__module__Ú __qualname__ÚCODE_PRICE_ERRORZCODE_NO_CLOSE_PRICEr r r Ú __classcell__r r )r r r s
|
r c @ sd e Zd Zedd Zedd Zedd Zedd Zedd
|
d Zed d Z edddZ
|
d S )ÚTradePointManagerc C s t ¡ S )N)Ú _redisManagerÚgetRedisr r r r Z __get_redis0 s z TradePointManager.__get_redisc C s, t ¡ }| d | ¡¡ | d | ¡¡ d S )Nzbuy_compute_index-{}zbuy_compute_num-{})r Ú _TradePointManager__get_redisÚdeleteÚformat)r Úredisr r r Údelete_buy_point5 s z"TradePointManager.delete_buy_pointc C s, t ¡ }| d | ¡¡ | d | ¡¡ d S )Nzbuy_cancel_compute_index-{}zbuy_cancel_compute_num-{})r r r r )r r r r r Údelete_buy_cancel_point< s z)TradePointManager.delete_buy_cancel_pointc C sH t ¡ }| d | ¡¡}| d | ¡¡}|d kr4dS t|t|fS d S )Nzbuy_compute_index-{}zbuy_compute_num-{})Nr )r r Úgetr Úint)r r ÚindexÚ total_numr r r Úget_buy_compute_start_dataC s z,TradePointManager.get_buy_compute_start_dataNc C sd t ¡ }t ¡ }|d k r,| d | ¡||¡ d | ¡}| |¡d krT| |||¡ n | ||¡ d S )Nzbuy_compute_index-{}zbuy_compute_num-{})r r ÚtoolÚ
|
get_expireÚsetexr r Úincrby)r Únum_addr! r ÚexpireÚkeyr r r Úset_buy_compute_start_dataN s
|
z,TradePointManager.set_buy_compute_start_datac C sH t ¡ }| d | ¡¡}| d | ¡¡}|d kr4dS t|t|fS d S )Nzbuy_cancel_compute_index-{}zbuy_cancel_compute_num-{})Nr )r r r r r )r r r! r" r r r Ú!get_buy_cancel_compute_start_data[ s z3TradePointManager.get_buy_cancel_compute_start_datac C sd t ¡ }t ¡ }|d k r,| d | ¡||¡ d | ¡}| |¡d krT| |||¡ n | ||¡ d S )Nzbuy_cancel_compute_index-{}zbuy_cancel_compute_num-{})r r r$ r% r& r r r' )r r( r! r r) r* r r r Ú!set_buy_cancel_compute_start_dataf s
|
z3TradePointManager.set_buy_cancel_compute_start_data)N)N) r r r Ú staticmethodr r r r# r+ r, r- r r r r r / s r Fc C sâ t ¡ }t | ¡d ks|r\| d | ¡¡}|d k r\| tkrJt |¡t| < nt | t |¡¡ t | ¡d ksn|rÈg }| d | ¡¡}x,|D ]$}| |¡}t
|
||¡}| |¡ qW t |dd d}|t| < t
|
t| t | ¡|¡ d S )Nzl2-data-latest-{}zl2-{}-*c S s$ t | d¡d dd¡| d¡fS )NÚvalÚtimeú:Ú r! )r Ú __getitem__Úreplace)Úer r r Ú<lambda> ó z load_l2_data.<locals>.<lambda>)r* )r r Úlocal_latest_datasr r ÚjsonÚloadsÚ
|
setdefaultÚlocal_today_datasÚkeysÚ l2_data_utilZl2_data_key_2_objÚappendÚsortedÚload_num_operate_mapÚlocal_today_num_operate_map) r Úforcer Ú_dataÚdatasr= ÚkÚvalueÚ new_datasr r r Ú load_l2_datas s$
|
|
rI c C s4 t | ¡sd S t ¡ }z| d | ¡d¡dkrt ¡ }d}| d | ¡¡}|d kr\d}nt |}|}x|D ]}|d }d|d }| |¡} | d krÈ|| }|| |d d } |
|
||t | ¡¡ qnt | ¡}
|
|
|
d |d krn|d |
|
d< |
|
||t |
|
¡¡ qnW |
|
d | ¡||¡ W d | d | ¡¡ X |S )
|
Nz
|
l2-save-{}Ú1r zl2-maxindex-{}r zl2-r* Úre)r! rK )Úgpcode_managerÚ is_in_gp_poolr r Úsetnxr r$ r% r r r& r9 Údumpsr: r ) r rE Úredis_instancer) r! Ú start_indexÚ max_indexrD r* rG Z
|
json_valuer r r Ú
|
saveL2Data s6
|
|
|
|
rS c C sü t t ¡ }t ¡ d¡}t | ¡}|d }|d }|d }|d }|d }g }i } t |¡}
|
i } x|D ]ú} | d } | | kr| | d | | < nd| | < t
|
| d }| d }| d
|
}|
|
d k râ|
|
t t |¡¡krâd}d |¡| d
|
< | d }| d }| d }d ||| |||||¡}|| kr>|| | d d || | d< qj| || dd¡ | |t|d ¡ qjW x| D ]|}| | dkrnt |d d d ¡}t t ¡ d¡¡}t|| dkrnt ¡ }| d |t tt ¡ d ¡| ¡ qnW |||||fS )Nz%Y%m%dÚdataÚclientr Úchannelr0 r ÚpriceÚnumÚ
|
limitPricez{}Ú operateTypeÚ
|
cancelTimeÚcancelTimeUnitz{}-{}-{}-{}-{}-{}-{}-{}rK )r* r/ rK é2 éÿÿÿÿr/ z%H:%M:%Sé zbig_data-{}-{}iè )r Útr0 r ÚnowÚstrftimer9 r: rL Úget_limit_up_priceÚfloatr$ Úto_priceÚdecimalÚDecimalr r? r; Úlenr> Zget_time_as_secondsÚabsr r ÚsetÚround)Ústrra ÚdayÚdictrT rU r rV rE Z
|
dataIndexsÚlimit_up_priceZ same_time_numÚitemr0 rW rX rY rZ r[ r\ r* Zts1Zts_nowr r r r Ú parseL2Data¹ sP
|
|
|
"
|
*rq c C sx t | ¡}|d krg }x\|D ]T}xN|D ]F}|d |d kr&|d |d kr&t|d |d }||d< ||d< q&W q W |S )Nr* rK )r8 r Úmax)r Z_datasZ latest_datarT Z_ldataZmax_rer r r Ú correct_datañ s
|
|
|
rs c C sl t ¡ }| d | ¡t ¡ t |¡¡ | tkr8|t| < n t | |¡ t
|
| t | t |dkrht | | d S )Nzl2-data-latest-{}r ) r r r& r r$ r% r9 rO r8 r; Ú__set_l2_data_latest_countrh rS )r rE Ú add_datasr r r r Ú save_l2_data s
|
rv c C sÐ |d k rt |dk rg S d}t | ¡}|d k rFt |dkrF|d d }d}d}x2t|D ]&}|d7 }|d |krXt || }P qXW t |dkr¼|dk s¦|d t |krªg S ||d d
S n||d d
S d S )Nr r2 r r^ r* )rh r8 r Úreversed)r rE Zlast_keyZ__latest_datasÚcountrQ Únr r r Ú get_add_data s$
|
rz c C s | d¡}t|d d t|d d t|d }| d¡}t|d d t|d d t|d }t|| dk rdS d S d S )
|
Nr1 r i r é< r r_ TF)Úsplitr ri )Ztime1Ztime2Ztime1_sZ time1_secondZtime2_sZ time2_secondr r r Ú__is_same_time( s
|
,
|
,r} c
|
C sà t ¡ d¡}tt ¡ d }z¸t|dkrÖt | t |d d d ¡slt
|
t
|
j d | |d d d ¡t | t| |}t| |}t|dkrÊt| |¡ t t| |¡ |t|d d d }t||rÊt | ¡\}}|d krt| t|d d }|rt | ¡ t| t|d
|
d
|
}|d k rÌt| } t d | t | | ¡¡¡ d}
|
x®t |t| D ]} | | d } t!| d dkr¾t!| d dkr¾|
|
t!| d t!| | d 7 }
|
nDt!| d dkrht!| d dkrh|
|
t!| d t!| | d 8 }
|
qhW t "| |
|
|¡ t# $| ¡} | d k rÌ|
|
| d dkrÌt d | t | d ¡¡¡ yt %| ¡ t &| ¡ W n$ t'k
|
r } zW d d }~X Y nX n2d}
|
x|D ]}|d } t!| d dkròt!| d dkrò|
|
t!| d t!|d 7 }
|
n@t!| d dkr¤t!| d dkr¤|
|
t!| d t!|d 8 }
|
q¤W t "| |
|
¡ ||
|
}t# $| ¡} | d k rÌ|| d dkrÌt d | t |d ¡¡¡ yt %| ¡ t &| ¡ W n$ t'k
|
rÊ } zW d d }~X Y nX |d k rÊt (| ¡}|tj)ksø|tj*krÊt +| ¡\}}|d krÐt,| t|d
|
d
|
}|d k rÊt| } t d | t | | ¡¡¡ d}xht |t| D ]V} | | d } t!| d dkrft!| d dkrf|t!| d t!| | d 7 }qfW t -| ||¡ núd}xV|D ]N}|d } t!| d dkrÚt!| d dkrÚ|t!| d t!|d 7 }qÚW t -| |¡ || }t# $| ¡} | d k rÊ|| d dkrÊt d | t |d ¡¡¡ y"t .| ¡ t /| ¡ t &| ¡ W n$ t'k
|
rÈ } zW d d }~X Y nX t0| || W d X d S )Nz%H:%M:%Siè r r/ rW u è¡ä»·ä¸å¹é
code-{} price-{}r r0 é r_ u æ¾å°ä¹°ç¹ï¼{} - {}rY rZ rX rK éd i u) æ§è¡ä¹°å
¥ï¼{} - 计ç®ç»æç¹ï¼ {}r^ u æ¾å°ä¹°æ¤ç¹ï¼{} - {}u æ§è¡æ¤éï¼{} - {})1r ra rb rk r` r0 rh Ú data_processÚis_same_code_with_pricerd r r r rI rs rz r< Úextendr> rA rB r} r r# Ú__is_have_forbidden_featureÚ trade_managerZforbidden_tradeÚ__get_limit_up_buy_startr Úinfor9 rO Úranger r+ rL rc Z start_buyr Ú ExceptionZget_trade_stateZTRADE_STATE_BUY_DELEGATEDZTRADE_STATE_BUY_PLACE_ORDERr, Ú __get_limit_up_buy_cancel_startr- Zstart_cancel_buyr rv )r rE Z now_time_strZ __start_timeru Z latest_timeZc_indexZc_numÚ forbiddenZ total_datasZbuy_numsÚiÚ_valro r5 rT Z
|
latest_numÚstateZ cancel_indexZ
|
cancel_numÚnumsZcancel_nums_addr r r Ú process_data6 s¾
|
|
|
|
|
$"$&
|
|
|
|
$ $"
|
|
|
|
|
|
|
$&
|
$"
|
|
|
|
r c C s6 | d¡}t|d d t|d d t|d S )Nr1 r i r r{ r )r| r )Útime_strÚtsr r r Ú__get_time_secondÇ s
|
r i
c C sX t | d dkrdS t | d dkr(dS t| d }t | d }|| d d k rTdS d
|
S ) NrY r FrZ r rW rX r i ¡ T)r rd )r/ rW rX r r r Ú__is_limit_up_price_buyÐ s r c C sX t | d dkrdS t | d dkr(dS t| d }t | d }|| d dk rTdS d S )
|
NrY r FrZ rW rX r i ¡ T)r rd )r/ rW rX r r r Ú __is_limit_up_price_buy_cancelÞ s r c C sâ t | }t|}||k r d S d}||kr,|}||kr<|| }d }d}d}xt|||d D ]z} || d }
|
t|
|
d tk rq^t|
|
r4| } d} d} x,t| d |D ]}t|| d r¨|} P q¨W | dkrüx,t| d |D ]}t|| d rÞ|} P qÞW | | dkr4| | dkr4t d | | || ¡¡ | S t|
|
r|d krb|| d d }d}| }n0||
|
d krz|d7 }n|| d d }d}| }n|
|
d dkr®d }d}d}|dkr^|dkr^t d | ||| ¡¡ |S q^W d S )
|
Nr r^ r r/ r0 u$ æ¾å°ç©çè¿ç»æ¶¨åä¹° {},{},{}rZ é u' æ¾å°åä¸ç§è¿ç»æ¶¨åä¹° {},{},{}) r< rh r r Ú
|
second_930r r r r )r Ú
|
data_countÚ__continue_countrE Ú__lenrQ Ú__timeZ_limit_up_count_1sZ _limit_up_count_1s_start_indexr r Úindex_0Úindex_1Úindex_2ÚjÚ_timer r r r
í sd
|
|
|
|
r
c C s, t | }t|}||k r d S d}||kr,|}||kr<|| }xêt|||d D ]Ô}|| d }t|d tk rrqPt|rP|}d} d}
|
x,t|d |D ]} t|| d r| } P qW | dkrêx,t| d |D ]} t|| d rÌ| }
|
P qÌW | | dkrP|
|
| dkrPt d | |t
|
|| ¡¡¡ |S qPW d S )Nr r r/ r0 r^ u è¿ç»3个涨åä¹°æ¤ {},{},{}) r< rh r r r r r r r r9 rO ) r r r rE r rQ r r r r r r r r r r 9 s< r c
|
C sî t | }t|}||k r d S d}||kr,|}||kr<|| }d}d}x¤t||D ]}|| d } | d dkr¨|d dkr¨||d d d dkr¨| d dkr¢|}qædS qP|dkrP| d dkrâ|| dkrâ|}|d7 }||kræd S qPdS qPW dS )
|
Nr r^ r/ r0 z09:30:00r rZ FT)r< rh r )
|
r r r rE r rQ Z cancel_startZ cancel_countr r r r r r b s2 0 r c C s$ t ¡ }d | ¡}| |d|¡ d S )Nzlatest-l2-count-{}r )r r r r& )r rx r r* r r r rt
s
|
rt c C sL | d kst | dk rdS t ¡ }d | ¡}| |¡}|d kr@dS t|S d S )Nr r zlatest-l2-count-{})rh r r r r r )r r r* Úresultr r r Úget_l2_data_latest_count s
|
|
r¡ c C sH d} t ¡ }| | ¡}|dkr(| | ¡ | | d¡ | | t ¡ ¡ d S )Nzl2-fixed-codesr Ú000000)r r Úscardr Úsaddr) r$ r% )r* r rx r r r Úinit_l2_fixed_codes s
|
|
r¥ c C s d}t ¡ }| || ¡ d S )Nzl2-fixed-codes)r r Úsrem)r r* r r r r Úremove_from_l2_fixed_codes¦ s r§ c C s, d}t ¡ }| || ¡ | |t ¡ ¡ d S )Nzl2-fixed-codes)r r r¤ r) r$ r% )r r* r r r r Úadd_to_l2_fixed_codes s r¨ c C s d}t ¡ }| || ¡S )Nzl2-fixed-codes)r r Ú sismember)r r* r r r r Úis_in_l2_fixed_codesµ s rª Ú__main__z big_data*)F)2rf r9 r0 r` r r r> ÚmysqlrL Ú
|
mongo_dataÚ redis_managerr$ r Úlogr Ú RedisManagerr r8 r< rB r r r rI rS rq rs rv rz r} r r r r r r
r r rt r¡ r¥ r§ r¨ rª r r r r= r* r r r r r Ú<module> sZ
|
D
|
*8 L)#
|
|
|
|
