Logo

Jkes: 基于Java、Kafka和ElasticSearch的强大搜索框架

Jkes搜索框架JavaKafkaElasticSearchGithub开源项目
Ray

Jkes简介

Jkes是一个基于Java、Kafka和ElasticSearch的强大搜索框架。它为开发人员提供了一种简单而强大的方式来实现搜索功能,大大简化了搜索相关的开发工作。Jkes的核心设计理念是通过注解驱动的方式实现对象/文档映射,并提供RESTful风格的搜索API,让开发人员能够专注于业务逻辑的实现,而不必过多关注搜索的底层实现细节。

主要特性

Jkes框架具有以下主要特性:

  1. 注解驱动的JPA风格对象/文档映射
  2. 基于REST API的文档搜索
  3. 与Spring Data JPA无缝集成
  4. 自动索引管理和文档同步
  5. 多租户支持
  6. 灵活的配置选项

这些特性使Jkes成为一个功能全面、易于使用的搜索解决方案,适合各种规模的项目使用。

安装和配置

要开始使用Jkes,首先需要进行安装和基本配置。以下是具体步骤:

1. 安装依赖组件

Jkes依赖于以下组件:

  • Kafka和Kafka Connect
  • ElasticSearch
  • Smart Chinese Analysis Plugin (ElasticSearch插件)

确保这些组件已正确安装和配置。

2. 添加Maven依赖

在项目的pom.xml文件中添加Jkes的依赖:

<dependency>
    <groupId>com.timeyang</groupId>
    <artifactId>jkes-spring-data-jpa</artifactId>
    <version>1.1.0</version>
</dependency>

3. 配置Jkes

创建一个配置类,启用Jkes相关功能:

@EnableAspectJAutoProxy
@EnableJkes
@Configuration
public class JkesConfig {

  @Bean
  public PlatformTransactionManager transactionManager(EntityManagerFactory factory, EventSupport eventSupport) {
    return new SearchPlatformTransactionManager(new JpaTransactionManager(factory), eventSupport);
  }
}

4. 提供JkesProperties

创建一个JkesProperties的实现类,提供必要的配置信息:

@Component
@Configuration
public class JkesConf extends DefaultJkesPropertiesImpl {

    @PostConstruct
    public void setUp() {
        Config.setJkesProperties(this);
    }

    @Override
    public String getKafkaBootstrapServers() {
        return "kafka1:9092,kafka2:9092,kafka3:9092";
    }

    @Override
    public String getKafkaConnectServers() {
        return "http://connect1:8083,http://connect2:8083";
    }

    @Override
    public String getEsBootstrapServers() {
        return "http://es1:9200,http://es2:9200,http://es3:9200";
    }

    @Override
    public String getDocumentBasePackage() {
        return "com.example.domain";
    }

    @Override
    public String getClientId() {
        return "my_app";
    }
}

5. 添加索引管理端点

为了方便管理索引,可以添加一个索引管理的REST控制器:

@RestController
@RequestMapping("/api/search")
public class SearchEndpoint {

    private final Indexer indexer;

    @Autowired
    public SearchEndpoint(Indexer indexer) {
        this.indexer = indexer;
    }

    @PostMapping("/start_all")
    public void startAll() {
        indexer.startAll();
    }

    @PostMapping("/start/{entityClassName}")
    public void start(@PathVariable("entityClassName") String entityClassName) {
        indexer.start(entityClassName);
    }

    @PutMapping("/stop_all")
    public Map<String, Boolean> stopAll() {
        return indexer.stopAll();
    }

    @PutMapping("/stop/{entityClassName}")
    public Boolean stop(@PathVariable("entityClassName") String entityClassName) {
        return indexer.stop(entityClassName);
    }

    @GetMapping("/progress")
    public Map<String, IndexProgress> getProgress() {
        return indexer.getProgress();
    }
}

完成以上配置后,Jkes就可以在项目中使用了。

使用Jkes

定义文档实体

使用Jkes的第一步是定义文档实体。Jkes使用注解来标记需要索引的实体类和字段。以下是一个示例:

@Data
@Entity
@Document
public class Person extends AuditedEntity {

    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;

    @MultiFields(
            mainField = @Field(type = FieldType.Text),
            otherFields = {
                    @InnerField(suffix = "raw", type = FieldType.Keyword),
                    @InnerField(suffix = "english", type = FieldType.Text, analyzer = "english")
            }
    )
    private String name;

    @Field(type = FieldType.Keyword)
    private String gender;

    @Field(type = FieldType.Integer)
    private Integer age;

    private String description;

    @Field(type = FieldType.Object)
    @ManyToOne(fetch = FetchType.EAGER)
    @JoinColumn(name = "group_id")
    private PersonGroup personGroup;
}

在这个例子中:

  • @Document注解标记这个类为一个需要索引的文档实体。
  • @Field注解用于指定字段的索引类型。
  • @MultiFields注解允许为一个字段创建多个索引,以支持不同的查询需求。

自动索引

当使用标准的JPA操作(如save、delete等)对实体进行操作时,Jkes会自动处理索引的更新。例如:

@Service
public class PersonService {

    @Autowired
    private PersonRepository personRepository;

    @Transactional
    public Person createPerson(Person person) {
        return personRepository.save(person);
    }

    @Transactional
    public void deletePerson(Long id) {
        personRepository.deleteById(id);
    }
}

在这个服务类中,当调用createPerson方法时,Jkes会自动将新创建的Person对象索引到ElasticSearch中。同样,当调用deletePerson方法时,相应的文档也会从ElasticSearch中删除。

搜索API

Jkes提供了一个独立的搜索服务(jkes-search-service),它是一个基于Spring Boot的应用,提供RESTful搜索API。以下是一些常用的搜索示例:

  1. 简单查询
GET /api/v1/my_app_person/person/_search?q=name:John
  1. 复杂查询(使用JSON请求体)
POST /api/v1/my_app_person/person/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "name": "John" } },
        { "range": { "age": { "gte": 30 } } }
      ],
      "should": [
        { "term": { "gender": "male" } }
      ]
    }
  }
}
  1. 聚合查询
POST /api/v1/my_app_person/person/_search
{
  "size": 0,
  "aggs": {
    "gender_count": {
      "terms": { "field": "gender" }
    },
    "avg_age": {
      "avg": { "field": "age" }
    }
  }
}

这些API允许开发人员执行各种复杂的搜索操作,包括全文搜索、过滤、排序和聚合等。

Jkes架构

Jkes的架构设计充分利用了Kafka和ElasticSearch的优势,实现了高效的索引更新和灵活的搜索功能。以下是Jkes的核心架构组件:

  1. 注解处理器: 负责解析实体类上的Jkes注解,生成元数据。

  2. 索引管理器: 基于元数据创建和更新ElasticSearch索引配置。

  3. 事件拦截器: 拦截JPA操作,生成索引更新事件。

  4. Kafka生产者: 将索引更新事件发送到Kafka。

  5. Kafka Connect: 使用自定义的连接器(jkes-index-connector和jkes-delete-connector)将事件从Kafka同步到ElasticSearch。

  6. 搜索服务: 提供RESTful搜索API,处理搜索请求并返回结果。

Jkes架构图

这种架构设计带来了以下优势:

  • 解耦: 索引更新和搜索操作完全分离,提高了系统的可扩展性。
  • 可靠性: 利用Kafka的特性确保数据不会丢失,即使在系统故障时也能保证最终一致性。
  • 性能: 通过异步处理索引更新,减少了对主业务流程的影响。
  • 灵活性: 搜索服务可以独立扩展,以应对高并发的搜索请求。

高级特性

除了基本的索引和搜索功能,Jkes还提供了一些高级特性,使其能够适应更复杂的应用场景:

1. 嵌套对象支持

Jkes支持索引和搜索嵌套对象,这对于处理复杂的数据结构非常有用。例如:

@Document
public class PersonGroup {
    @Id
    private Long id;
    
    @Field(type = FieldType.Text)
    private String name;
    
    @Field(type = FieldType.Nested)
    @OneToMany(mappedBy = "personGroup")
    private List<Person> persons;
}

对应的嵌套查询:

{
  "query": {
    "nested": {
      "path": "persons",
      "query": {
        "bool": {
          "must": [
            { "match": { "persons.name": "John" } },
            { "range": { "persons.age": { "gte": 30 } } }
          ]
        }
      }
    }
  }
}

2. 多字段映射

Jkes允许为一个字段创建多个索引,以支持不同的查询需求:

@MultiFields(
    mainField = @Field(type = FieldType.Text),
    otherFields = {
        @InnerField(suffix = "raw", type = FieldType.Keyword),
        @InnerField(suffix = "english", type = FieldType.Text, analyzer = "english")
    }
)
private String name;

这样可以同时支持全文搜索、精确匹配和特定语言的分析。

3. 自定义分析器

Jkes支持使用ElasticSearch的自定义分析器,以满足特定的文本处理需求:

@Field(type = FieldType.Text, analyzer = "my_custom_analyzer")
private String description;

4. 版本控制

Jkes利用ElasticSearch的版本机制来确保不会索引过期的文档数据:

@Version
private Long version;

5. 批量索引

对于大量数据的初始化索引,Jkes提供了批量索引功能:

indexer.startAll();

这个操作会启动一个后台任务,高效地将所有实体数据索引到ElasticSearch中。

6. 索引别名

Jkes支持为索引创建别名,这在进行索引重建或者版本升级时非常有用:

@Document(type = "person_group", alias = "person_group_alias")
public class PersonGroup { ... }

7. 动态映射

虽然Jkes鼓励使用明确的字段映射,但它也支持ElasticSearch的动态映射功能,允许索引未明确定义的字段。

性能优化

为了确保Jkes在生产环境中能够高效运行,可以考虑以下性能优化策略:

  1. 索引分片: 根据数据量和查询模式合理设置索引的分片数。

  2. 批量操作: 使用批量API进行大量文档的索引或更新操作。

  3. 查询优化: 使用过滤器缓存、聚合缓存等ElasticSearch提供的优化特性。

  4. JVM调优: 为ElasticSearch和Kafka配置适当的JVM参数,以提高性能。

  5. 硬件优化: 使用SSD存储、增加内存等硬件升级方式提升整体性能。

最佳实践

在使用Jkes进行开发时,建议遵循以下最佳实践:

  1. 合理使用注解: 只索引必要的字段,避免过度索引。

  2. 规划索引策略: 根据业务需求设计合适的索引结构和映射。

  3. 异步处理: 对于非关键路径的索引更新,考虑使用异步处理。

  4. 监控和日志: 实施全面的监控和日志记录,及时发现和解决问题。

  5. 定期维护: 执行索引优化、别名切换等维护操作,保持系统健康。

  6. 安全考虑: 实施适当的安全措施,如身份验证、授权和加密。

结语

Jkes为Java开发者提供了一个强大而灵活的搜索解决方案。通过结合Java、Kafka和Elastic

avatar
0
0
0
相关项目
Project Cover

jkes

Jkes是一个整合Java、Kafka和ElasticSearch技术的搜索框架。它采用注解驱动的JPA风格对象/文档映射，并提供RESTful API进行文档搜索。该框架支持自动索引更新和删除，同时提供灵活的查询接口。Jkes易于集成，可扩展性强，适合需要高性能搜索功能的Java应用。其架构支持多租户平台，为后续引入机器学习搜索排序功能做好了准备。

最新项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号