MongoDB流程分析，索引使用

最近使用MongoDB的聚合管道分析流程图的时候，发现了一些性能上的问题，不过问题不大顺利解决，记录一下。

环境：i5 8G Win10 vs2015 sqlserver2014
数据：10万条，复杂度高的流程运行时数据（一条数据 400行）

当需要分析这些工单的时候，如分析一段时间内 每天完成的工单 平均耗时多少。

这个分析会先按每天进行一个循环查询，从开始时间到结束时间，然后统计出一个数组,如下

{
seriesData
:
[0, 0, 441699, 1057436, 3596237, 2168424, 56, 30175, 30175, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,…]
xAxisData
:
["2017/6/25", "2017/6/26", "2017/6/27", "2017/6/28", "2017/6/29", "2017/6/30", "2017/7/1", "2017/7/2",…]
}

问题:程序逻辑写完后基本没问题 数据也正确,但是 效率太低,前后一个月的数据 花了 3500ms

分析:在分析数据前,聚合管道会先拿取数据,如果拿取的时候无法准确拿取所需数据,或者说不知道哪些数据是目标数据而进行了全表遍历,就会导致性能地下.所以这里就需要对创建工单时间来进行一个索引,让每次查询都能最快查询到所要的结果,然后进行分析

结果:性能提升10倍 花费350ms

创建索引代码留档

db.order.createIndex({"CreatedWhen":1})

c# 代码留档

private readonly IMongoDatabase _mongoDatabase;

        public RuntimeBaseAnalysisService(IMongoDatabase mongoDatabase)
        {
            _mongoDatabase = mongoDatabase;
        }
        

        public Dictionary<string, long> GetTotalElapsedTime(DateTime beginTime, DateTime endTime, int step, string collectionName)
        {
            Dictionary<string,long> Data = new Dictionary<string, long>();

            var AnalysisEndTime = beginTime.AddDays(step);
            var AnalysisbeginTime = beginTime;
            do
            {
                var re = GetTotalElapsedTimeAvg(AnalysisbeginTime, AnalysisEndTime, collectionName);
                Data.Add(AnalysisbeginTime.ToShortDateString(), re);

                AnalysisbeginTime = AnalysisEndTime;
                AnalysisEndTime = AnalysisEndTime.AddDays(step);

            } while (endTime > AnalysisEndTime);

            GetTotalElapsedTimeAvg(beginTime,endTime, collectionName);
            

            return Data;
        }

        private long GetTotalElapsedTimeAvg(DateTime? beginTime, DateTime? endTime, string collectionName)
        {
            var collection = _mongoDatabase.GetCollection<Runtime>(collectionName);
            var match = new BsonDocument()
            {
                {
                    "$match",
                    new BsonDocument
                        {{
                                "$and",new BsonArray()
                                {
                                    new BsonDocument() { { "CreatedWhen", new BsonDocument() { { "$gte", beginTime } } } },
                                    new BsonDocument(){ { "CreatedWhen", new BsonDocument() { {"$lt", endTime } } } },
                                    new BsonDocument(){ { "Status", SystemStatus.Completed } },
                                }
                        }}
                }
            };
            var project = new BsonDocument()
            {
                {
                    "$project",new BsonDocument()
                    {
                        {"_id",0 },
                        {"Duration", new BsonDocument() { { "$subtract", new BsonArray()
                        {
                            "$LastModifiedWhen","$CreatedWhen"
                        } } } }
                    }
                }
            };

            var group = new BsonDocument() {
                {
                    "$group",new BsonDocument()
                    {
                        {"_id","" },
                        {"Duration",new BsonDocument() { { "$avg", "$Duration" } } }
                    }
                } };

            var pipeline = new[] { match, project , group };
            var resultPipe = collection.Aggregate<BsonDocument>(pipeline).ToListAsync();
            BsonValue bv;
            if (resultPipe.Result.Count>0 && resultPipe.Result[0].TryGetValue("Duration", out bv))
            {
                return bv.ToInt64();
            }
            else
            {
                return 0;
            }
        }