Speaker
Dr
晖 窦
(中山大学)
Description
日志对大规模分布式应用的监控和性能诊断至关重要。为了适应不同的应用场景，以Elasticsearch为代表的日志搜索引擎在提供存储和近实时分析功能的同时，对用户暴露了大量性能相关的配置参数。由于手动配置需要大量的专业经验和时间开销，自动化调优配置参数成为近年来的研究热点。然而，日志搜索引擎的实现高度复杂，配置参数和性能之间的关系很难通过建模直接获得；大量的配置参数所组成的高维配置空间也为求配置参数调优带来了挑战。因此，本工作针对日志搜索引擎设计了一种自动化的高维配置参数调优工具HDConfigor：引入黑盒优化方法，HDConfigor基于随机嵌入的思想提出了mREMBO算法；为了实现配置参数调优过程的自动化，在HDConfigor中利用Ansible管理工具实现了配置参数的自动化部署和性能测试任务的自动化运行。在本地Elasticsearch集群上的实验结果表明：在三种不同类型的工作负载下，通过给定次数的配置变更，HDConfigor可以将Elasticsearch的吞吐量提高到默认配置的2.07倍，1.46倍和1.07倍。
Primary authors
Dr
晖 窦
(中山大学)
Prof.
鹏飞 陈
(中山大学)
