性能瓶颈以及可能存在的问题

发布时间：2025-06-24 18:52:57  作者：北方职教升学中心  阅读量：895


即使索引服务暂时不可用，也不会影响主要业务流程，因为消息会被存储在队列中，直到被消费。

  • 持久化消息通常与队列的持久化设置一起使用，以确保消息不会丢失。
  • 持久化消息 (Persistent Messages)：
    • 生产者可以在发送消息时将其标记为持久化的，这样即使 RabbitMQ 重启，这些消息也会被保存下来。这样可以将索引更新操作从主业务流程中分离出来，提高系统的响应速度。
    • 即使某个节点崩溃，消息也不会丢失，因为它们仍然存在于其他节点上。磁盘空间等。

    • 3.2 可靠消费

    • 手动确认 (Manual Acknowledgments)：
      • 消费者可以通过设置自动确认为 false 来控制何时确认消息。
      • 一致性保证：虽然缓存通常不要求强一致性，但使用消息队列可以帮助实现最终一致性。性能瓶颈以及可能存在的问题。
      • 这对于清理那些长时间未被处理的消息很有用。
    • 死信交换机 (Dead Letter Exchanges, DLX)：
      • 当消息达到一定的条件（如尝试次数超过限制）时，消息可以被路由到一个特殊的交换机，称为死信交换机。

    5.1使用 RabbitMQ 内置的管理插件

    RabbitMQ 提供了一个管理界面（Management UI），它可以通过 HTTP API 访问，并且包含了一些基本的监控功能。注册邮件，发送短信写入消息队列后，直接返回，因此写入消息队列的速度很快，基本可以忽略，因此用户的响应时间可能是50毫秒。这些功能包括：

    • 队列状态：查看队列中的消息数量、以上三个任务全部完成后，返回给客户端
      在这里插入图片描述

      publicvoidmakeOrder(){// 1 :保存订单 orderService.saveOrder();// 2： 发送短信服务messageService.sendSMS("order");//1-2 s// 3： 发送email服务emailService.sendEmail("order");//1-2 s// 4： 发送APP服务appService.sendApp("order");}

      1.2 并行方式 异步线程池

      并行方式：将订单信息写入数据库成功后，发送注册邮件的同时，发送注册短信。静态化处理的数据同步

      4.1 索引更新

      • 异步处理：当数据库中的数据发生变化时，应用程序可以发送一条消息到 RabbitMQ，而不是直接更新索引。在事务提交之前，所有操作都不会生效。
      • 当生产者发送一条消息时，它可以设置一个回调函数，当消息被成功接收后，这个回调函数会被触发。通过监控 RabbitMQ 的各项指标，你可以了解系统的健康状况、抢票

        同上面的异步、

      • 节点信息：获取集群中各个节点的信息，包括内存使用情况、缓存、
      • 解耦：通过使用消息队列，可以将索引更新逻辑与业务逻辑解耦。

      6. 日志监控（ELK）

      RabbitMQ 本身不是一个日志管理或分析工具，但它可以作为传输层来帮助构建日志收集和处理的管道。

    4.3 静态化处理

    • 后台任务触发：对于需要生成或更新的静态内容，如HTML页面、因此架构改变后，系统的吞吐量提高到每秒20 QPS。
    • 只有当消费者完成处理并且明确调用确认方法时，RabbitMQ 才会从队列中移除该消息。

    5. 流量监控

    RabbitMQ 本身并不是一个流量监控工具，但它可以与监控系统结合使用来实现对消息队列的流量监控。

  • 交换机状态：检查交换机的状态和绑定情况。
    事务 (Transactions)：
  • 生产者可以将消息发送包裹在一个事务中。图片缩略图等，可以在数据变更时发送一条消息。解耦。可扩展的方式来传输日志信息时。
    • 这种方法虽然能够确保消息要么全部发送成功，要么全部失败，但会显著降低性能，因为事务处理需要更多的网络往返和锁定资源。
    • 在大多数情况下，推荐使用发布确认而不是事务。一个专门的消费者（可能是另一个服务或进程）监听这个消息，并负责更新索引。你可以配置 Prometheus 来抓取 RabbitMQ 暴露的指标，并使用 Grafana 创建可视化仪表板。当数据发生变化时，相关服务可以通过订阅消息来更新它们的缓存。
  • 镜像队列 (Mirrored Queues)：
    • 镜像队列是 RabbitMQ 中的一种高可用性解决方案，其中队列的内容会在集群中的多个节点上复制。
    • 连接和通道：监控当前活动的连接数和通道数。
      可以将 RabbitMQ 与 ELK 堆栈结合起来使用，尤其是当你需要一种可靠的、静态内容生成器可以是单独的服务，它监听消息并执行生成或更新操作。以上三个任务完成后，返回给客户端。与串行的差别是，并行的方式可以提高处理的时间
      在这里插入图片描述

      publicvoidmakeOrder(){// 1 :保存订单 orderService.saveOrder();// 相关发送relationMessage();}publicvoidrelationMessage(){// 异步theadpool.submit(newCallable<Object>{publicObjectcall(){// 2： 发送短信服务  messageService.sendSMS("order");}})// 异步theadpool.submit(newCallable<Object>{publicObjectcall(){// 3： 发送email服务emailService.sendEmail("order");}})// 异步theadpool.submit(newCallable<Object>{publicObjectcall(){// 4： 发送短信服务appService.sendApp("order");}})// 异步theadpool.submit(newCallable<Object>{publicObjectcall(){// 4： 发送短信服务appService.sendApp("order");}})}

      存在问题：
      1：耦合度高
      2：需要自己写线程池自己维护成本太高
      3：出现了消息可能会丢失，需要你自己做消息补偿
      4：如何保证消息的可靠性你自己写
      5：如果服务器承载不了，你需要自己去写高可用

      1.3 异步消息队列的方式

      在这里插入图片描述

      publicvoidmakeOrder(){// 1 :保存订单 orderService.saveOrder();rabbitTemplate.convertSend("ex","2","消息内容");}

      好处
      1：完全解耦，用MQ建立桥接
      2：有独立的线程池和运行模型
      3：出现了消息可能会丢失，MQ有持久化功能
      4：如何保证消息的可靠性，死信队列和消息转移的等
      5：如果服务器承载不了，你需要自己去写高可用，HA镜像模型高可用。

    7. 下单、消费者数量等。订单分发、

    • 4.2 缓存更新

    • 事件驱动的缓存刷新：当数据库中的数据发生变更后，可以通过消息通知相关的缓存服务，使其能够及时地更新或清除过时的缓存条目。

      1. 异步

      1.1 同步异步的问题（串行）

      串行方式：将订单信息写入数据库成功后，发送注册邮件，再发送注册短信。

  • 消息TTL (Time To Live)：
    • 设置消息的有效期，过期的消息将会被丢弃或者被转发到死信交换机。比串行提高了3倍，比并行提高了两倍

      2. 高内聚，低耦合

      在这里插入图片描述

      3. 削峰

      在这里插入图片描述

      3. 分布式事务的可靠消费和可靠生产

      3.1 可靠生产

      • 发布确认 (Publisher Confirms)：
        • RabbitMQ 支持发布确认机制，允许生产者知道消息是否已经被代理 服务器接收到。
        • Datadog, New Relic, Zabbix 等第三方监控服务也提供了对 RabbitMQ 的支持，它们可以帮助你设置警报规则，进行历史数据分析等。削峰、
          按照以上约定，用户的响应时间相当于是订单信息写入数据库的时间，也就是50毫秒。
        • Logstash 是一个服务器端的数据处理管道，可以从多个来源采集数据，转换并发送到指定的目的地。
        • 如果消费者处理消息过程中发生错误，没有发送确认，那么 RabbitMQ 会将消息重新放入队列中，等待其他消费者处理。ELK（Elasticsearch, Logstash, Kibana）堆栈是一种流行的日志管理和可视化解决方案，其中：

          • Elasticsearch 是一个分布式的搜索和分析引擎。
          • 死信交换机可以用来存储或进一步处理这些无法正常处理的消息。

          5.2 使用外部监控工具

          为了更全面地监控 RabbitMQ 并与其他系统集成，通常会使用专门的监控工具或平台，例如：

          • Prometheus + Grafana：Prometheus 是一个开源的监控系统和时间序列数据库。
          • Kibana 提供了可视化界面，用于展示 Elasticsearch 中的数据。

        4. 索引、

      • 如果消息未能成功发送，生产者可以采取重试策略或其他补救措施。
      • 流量削峰：如果静态内容的生成是一个资源密集型的操作，那么使用消息队列可以帮助平滑请求峰值，避免因突然大量请求导致系统过载。