B
|
¾@cO ã @ s d dl Z d dlZd dlZd dlZd dlZd dlZd dlZd dlZd dl Z d dl
|
Z
|
d dl Z d dl Z e d ¡Zdd Zdd Zdd Zdd Zd
|
d Zd d Zdd Zdd Zdd Zdd Zdd Zdd Zdd Zd d Z d d Z d d! Z d"d# Z d$d% Z d&d' Z!e"d(kre#e d) dS )*é Nc C sÄ y| ¡ }d| d| d|d d|d d|d d|d d|d d|d
|
d|d d |d d}t| | |¡ | ¡ W d Q R X W n* tk
|
r¾ } z | ¡ W d d }~X Y nX d S )Nzinsert into level2_data(day,code,time,price,num,limit_price,operate_type,cancel_time,cancel_time_unit, md5,create_time) values ('z','ÚtimeÚpricez',Únumú,Z
|
limitPriceÚ operateTypeÚ
|
cancelTimeÚcancelTimeUnitz,'Úmd5z',now()))ÚcursorÚprintÚexecuteÚcommitÚ ExceptionÚrollback)ÚdayÚcodeÚitemÚconnr
|
ÚsqlÚe© r ú"D:\workspace\trade\data_process.pyÚ_mysql_insert_data s
|
b
|
r c
|
C sv yF| ¡ 4}d | d | d ¡}t| | |¡ | ¡ W d Q R X W n* tk
|
rp } z | ¡ W d d }~X Y nX d S )Nz@update level2_data set re = {}, update_time=now() where md5='{}'Úrer )r
|
Úformatr r r r r )r r r
|
r r r r r Ú_mysql_update_data" s
|
|
r c C s t | ¡}|S )N)ÚjsonÚloads)ÚstrÚdictr r r Úparse- s
|
r c C s
|
t | ¡S )N)r Údumps)Ú_dictr r r ÚtoJson2 s r# c
|
C sD yt | ¡}|d S tk
|
r> } zt |¡ dS d }~X Y nX d S )NÚtypeéÿÿÿÿ)r r r ÚloggingZ exception)r r r r r r Ú parseType6 s
|
|
r' c C s t | ¡}|d }|S )NÚdata)r r )r r r( r r r Ú parseGPCode? s
|
r) c C s& t | ¡}|d }|d k r |S g S d S )Nr( )r r )r r" r( r r r Ú parseListE s
|
|
r* c C s t | ¡}|d }|S )Nr( )r r )r r" r( r r r Ú parseDataN s
|
r+ c C s* t | ¡}|d }|d }|d }||fS )Nr( r )r r )r r r( r Z
|
trade_datar r r ÚparseL2TradeQueueDataT s
|
|
r, c C sp t | ¡}t t t|¡t d¡ ¡}t t t|¡t d¡ ¡}|t t|¡ krd|krln ndS dS )Nz1.1z0.9TF)Úgpcode_managerZ get_price_preÚtoolZto_priceÚdecimalÚDecimalr )r r Z price_closeZ max_priceZ min_pricer r r Úis_same_code_with_price\ s
|
"r1 c C s. t ¡ }t |¡}d | ¡}| |d|¡ d S )Nztrade-queue-{}é )Ú__redisManagerÚgetRedisr r! r Úsetex)r r( ÚredisÚdata_strÚkeyr r r ÚsaveL2TradeQueueDatag s
|
|
r9 c C s> t ¡ }d | ¡}| |¡}|d ks0t|dkr4d S t |¡S )Nztrade-queue-{}r )r3 r4 r ÚgetÚlenr r )r r6 r8 r7 r r r ÚgetL2TradeQueueDatap s
|
|
r< c C s| g }t }x| D ]}| |d ¡ qW x|D ]}| d|i¡ q,W t dd|i¡}d }x|D ]}|d }P q\W td| |S )Nr Z
|
first_codez ths-industryz$orÚ_idu! æç»çäºçº§è¡ä¸å称为ï¼)ÚsetÚaddÚappendÚ
|
mongo_dataÚfindr )ÚdatasZorsZcodesr( r ÚresultZ_fnameÚar r r Ú _getIndustryy s
|
|
|
|
rF c C s x| D ]x}t |}g }xZ|D ]R}d|d i}||d< |d |d< |d |d< ttt ¡ d |d< | |¡ q W t d|¡ qW d S ) Nr= r Zsecond_industryÚzyltgbÚ zyltgb_unitiè Ú update_timezths-industry-codes)rF ÚintÚroundÚtr r@ rA Úsave)Ú datasListrC Z industry_nameÚ_listr( r" r r r ÚsaveIndustryCode s
|
|
rP c C sf g }xP| D ]H}|d |d |d t tt ¡ d d}t|d dkr
|
| |¡ q
|
W t d|¡ d S )Nr rG rH iè )r= rG rH rI r zths-zylt)rJ rK rL r Úfloatr@ rA rM )rN rO r( r" r r r Ú
|
saveZYLTSZ s
|
rR c C s, | dkr d S t ¡ }| d | ¡d|¡ d S )Nr zclient-active-{}é
|
)r3 r4 r5 r )Ú client_idÚhostr6 r r r ÚsaveClientActive§ s rV c C sZ t ¡ } | d¡}g }x$|D ] }| d¡d }| |¡ q W t ¡ }tt| t|¡S )Nzclient-active-*zclient-active-é )
|
r3 r4 ÚkeysÚsplitr@ Ú authorityÚget_l2_clientsÚlistr> Ú intersection)r6 rX Z
|
client_idsÚkr= Z
|
l2_clientsr r r ÚgetValidL2Clients® s
|
|
r_ c C s t ¡ }| d | ¡¡S )Nzclient-active-{})r3 r4 r: r )rT r6 r r r ÚgetActiveClientIPº s r` c C sb t ¡ }xT| D ]L}d |¡}| |t ¡ | | d ¡ d |¡}| |t ¡ | | d ¡ qW d S )Nz volumn-max-{}Z
|
max_volumnzvolumn-latest-{}Z latest_volumn)r3 r4 r r5 r. Z
|
get_expire)rC r6 r8 r^ r r r ÚsaveCodeVolumnÀ s
|
|
|
ra Ú__main__é )$r/ r r& r rL ÚrandomÚdatetimerZ ZmysqlÚ redis_managerr- rA r. Ú RedisManagerr3 r r r r# r' r) r* r+ r, r1 r9 r< rF rP rR rV r_ r` ra Ú__name__r r r r r Ú<module> sB
|
|
|
