短视频爬虫，短视频搜索

admin

2021-07-30 a66b556036c2b3936a51fd7b7e54a204eb31dc14

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
package com.yeshi.buwan.service.manager.search;
 
import com.yeshi.buwan.domain.solr.SolrShortVideo;
import com.yeshi.buwan.dto.search.SolrResultDTO;
import com.yeshi.buwan.dto.search.SolrShortVideoSearchFilter;
import com.yeshi.buwan.util.StringUtil;
import org.apache.solr.client.solrj.response.UpdateResponse;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.dao.InvalidDataAccessApiUsageException;
import org.springframework.data.domain.Sort;
import org.springframework.data.solr.core.SolrTemplate;
import org.springframework.data.solr.core.query.Criteria;
import org.springframework.data.solr.core.query.Query;
import org.springframework.data.solr.core.query.SimpleFilterQuery;
import org.springframework.data.solr.core.query.SimpleQuery;
import org.springframework.data.solr.core.query.result.ScoredPage;
import org.springframework.stereotype.Component;
 
import javax.annotation.Resource;
import java.util.List;
 
/**
 * 搜索引擎-短视频数据管理
 */
@Component
public class SolrShortVideoDataManager {
 
    private final String CORE_NAME = "buwan_short_video";
 
    private final Logger logger = LoggerFactory.getLogger(SolrShortVideoDataManager.class);
 
    @Resource
    private SolrTemplate solrTemplate;
 
 
    public void saveOrUpdate(SolrShortVideo solrShortVideo) {
        if (solrShortVideo.getLocalUpdateTime() == null) {
            solrShortVideo.setLocalUpdateTime(System.currentTimeMillis());
        }
        UpdateResponse updateResponse = solrTemplate.saveBean(CORE_NAME, solrShortVideo);
        if (updateResponse.getStatus() == 0) {
            solrTemplate.commit(CORE_NAME);
        } else {
            solrTemplate.rollback(CORE_NAME);
        }
    }
 
    public void saveOrUpdate(List<SolrShortVideo> shortVideoList) {
        UpdateResponse updateResponse = solrTemplate.saveBeans(CORE_NAME, shortVideoList);
        if (updateResponse.getStatus() == 0) {
            solrTemplate.commit(CORE_NAME);
        } else {
            solrTemplate.rollback(CORE_NAME);
        }
    }
 
    /**
     * 删除所有
     */
//    public void clear() {
//        Query query = new SimpleQuery("name:*");
//        UpdateResponse updateResponse = solrTemplate.delete(query);
//        if (updateResponse.getStatus() == 0) {
//            solrTemplate.commit();
//        } else {
//            solrTemplate.rollback();
//        }
//    }
    public void deleteById(String id) {
        UpdateResponse updateResponse = solrTemplate.deleteById(CORE_NAME, id);
        if (updateResponse.getStatus() == 0) {
            solrTemplate.commit(CORE_NAME);
        } else {
            solrTemplate.rollback(CORE_NAME);
        }
    }
 
    public SolrShortVideo findOne(String id) {
        SolrShortVideo solrVideo = solrTemplate.getById(CORE_NAME, id, SolrShortVideo.class);
        return solrVideo;
    }
 
    public SolrResultDTO find(SolrShortVideoSearchFilter filter, int page, int pageSize) {
        if (filter.getKey() == null) {
            filter.setKey("");
        }
        logger.info(filter.getKey() + "#" + page);
        Query query = null;
        if (!StringUtil.isNullOrEmpty(filter.getKey())) {
            //solr精准检索需要带引号
            if (filter.isFuzzy()) {
                query = new SimpleQuery(new Criteria("name").expression(filter.getKey()));
            } else {
                try {
                    query = new SimpleQuery(new Criteria("name_str").startsWith(filter.getKey()));
                } catch (InvalidDataAccessApiUsageException e) {
                    query = new SimpleQuery(new Criteria("name_str").expression("\"" + filter.getKey() + "\""));
                }
            }
        } else {
            query = new SimpleQuery("*:*");
        }
 
 
        if (filter.getRootVideoType() != null) {
            query.addFilterQuery(new SimpleFilterQuery(Criteria.where("root_video_type").is(filter.getRootVideoType())));
        }
 
        if (filter.getResourceId() != null) {
            query.addFilterQuery(new SimpleFilterQuery(Criteria.where("resource_id").is(filter.getResourceId())));
        }
        if (filter.getCategoryName() != null) {
            query.addFilterQuery(new SimpleFilterQuery(Criteria.where("free_type").contains(filter.getCategoryName())));
        }
 
        if (filter.getArea() != null) {
            query.addFilterQuery(new SimpleFilterQuery(Criteria.where("area").contains(filter.getArea())));
        }
 
 
        /** 设置分页开始记录数(第一页) 默认0 */
        query.setOffset((page - 1) * pageSize);
        /** 设置每页显示记录数，默认10 */
        query.setRows(pageSize);
        if (!StringUtil.isNullOrEmpty(filter.getSortKey())) {
            query.addSort(new Sort(Sort.Direction.DESC, filter.getSortKey()));
        }
        ScoredPage<SolrShortVideo> result = solrTemplate.queryForPage(CORE_NAME, query, SolrShortVideo.class);
        System.out.println("总记录数：" + result.getTotalElements());
        List<SolrShortVideo> list = result.getContent();
        return new SolrResultDTO(list, (int) result.getTotalElements());
    }
 
}