当前位置：K88软件开发 → 文章中心 → 编程全书 → 编程全书01 → 文章内容

基于Mongodb分布式存储物理文件

减小字体 增大字体 作者：佚名  来源：翔宇亭IT乐园  发布时间：2019-1-3 0:20:56

：2010-10-16 08:40:32

在之前的文章中介绍了如何对关系型数据数据通过auto-sharding进行分布式数据存储，今天介绍如何对物理文件（小文件，基本小于100K）进行分布式存储。

 接着看一下要配置的测试环境(与前一篇中类似)：

模拟2个shard服务和一个config服务, 均运行在10.0.4.85机器上，只是端口不同：

Shard1：27020
       Shard2：27021
       Config：27022

Mongos启动时默认使用的27017端口

在C,D,E磁盘下分别建立如下文件夹：

mongodb\bin

mongodb\db

然后用CMDming令行依次打开相应文件夹下的mongd文件:

c:\mongodb\bin\mongod --dbpath c:\mongodb\db\ --port 27020

d:\mongodb\bin\mongod --dbpath d:\mongodb\db\ --port 27021

e:\mongodb\bin\mongod --configsvr --dbpath e:\mongodb\db\ --port 27022    (注:config配置服务器)

启动mongos时，默认开启了27017端口

e:\mongodb\bin\mongos --configdb 10.0.4.85:27022

然后打开mongo:

E:\mongodb\bin>mongo   回车  （有时加端口会造成下面的addshardming令出问题）

> use admin
          switched to db admin
      > db.runCommand( { addshard : "10.0.4.85:27020", allowLocal : 1, maxSize:2 , minKey:1, maxKey:10} ) 

--添加sharding,maxsize单位是M,此处设置比较小的数值只为演示sharding效果

 { "shardAdded" : "shard0000", "ok" : 1 }
      > db.runCommand( { addshard : "10.0.4.85:27021", allowLocal : 1, minKey:1000} )
         { "shardAdded" : "shard0001", "ok" : 1 }     

注：如果要移除sharding，可用下面写法

db.runCommand( { removeshard : "localhost:10000" } );

> db.runCommand({listshards:1});   --查看shard节点列表

> config = connect("10.0.4.85:27022")
      > config = config.getSisterDB("config")
      > dnt_mongodb=db.getSisterDB("dnt_mongodb");
          dnt_mongodb
      > db.runCommand({enablesharding:"dnt_mongodb"})
          { "ok" : 1 }

> db.printShardingStatus()

--- Sharding Status ---
  sharding version: { "_id" : 1, "version" : 3 }
  shards:
      {
        "_id" : "shard0000",
        "host" : "10.0.4.85:27020",
        "maxSize" : NumberLong( 2 )
      }
      { "_id" : "shard0001", "host" : "10.0.4.85:27021" }
  databases:
        { "_id" : "admin", "partitioned" : false, "primary" : "config" }
        { "_id" : "dnt_mongodb", "partitioned" : true, "primary" : "shard0001" }
 
      > db.runCommand( { shardcollection : "dnt_mongodb.attach_gfstream.chunks", key : { files_id : 1 } } )  --此处与之前的数据存储方式有些不同,目前shard似乎仅支持files_id
       { "collectionsharded" : "dnt_mongodb.attach_gfstream.chunks", "ok" : 1 }
      
       注：运行上面ming令之前需要设置files_id为唯一索引[unique index]。        
       
       创建完sharding和设置相应信息后，我们加载一下测试数据，我用下面代码来读取要本地文件，然后批量向mongodb中添加（通过循环修改文件名来添加相同大小的文件）。       
        
 
/// <summary>
        /// 上传文件到mongodb
        /// </summary>
        /// <param name="uploadDir">要上传文件所在路径</param>
        /// <param name="fileName">要上传的文件名</param>
        /// <returns></returns>
        public bool UploadFile(string uploadDir, string fileName)
        {
            for (int i = 1; i < 10000; i++)
            {
                try
                {
                    Mongo mongo = mongoDB;
                    mongo.Connect();
                    IMongoDatabase DB = mongo["dnt_mongodb"];

                    using (FileStream fileStream = new FileStream(uploadDir + fileName, FileMode.Open))
                    {
                        int nFileLen = (int)fileStream.Length;

                        byte[] myData = new Byte[nFileLen];
                        fileStream.Read(myData, 0, nFileLen);

                        GridFile fs = new GridFile(DB, "attach_gfstream");
                        using (GridFileStream gfs = fs.Create(fileName + i))
                        {
                            gfs.Write(myData, 0, nFileLen);
                        }
                    }
                    mongo.Disconnect();
                }
                catch { }                
            }
            return true;
        }

        
        在批量添加约10000次(约10000个文件)之后，mongodb开始把sharding出来的chunk从shard0000分布到shard0001上，我们可以用下面指令来进行验证：       
      
       > db.printShardingStatus()

 
--- Sharding Status ---
  sharding version: { "_id" : 1, "version" : 3 }
  shards:
      {
        "_id" : "shard0000",
        "host" : "10.0.4.85:27020",
        "maxSize" : NumberLong( 2 )
      }
      { "_id" : "shard0001", "host" : "10.0.4.85:27021" }
  databases:
        { "_id" : "admin", "partitioned" : false, "primary" : "config" }
        { "_id" : "dnt_mongodb", "partitioned" : true, "primary" : "shard0000" }

                dnt_mongodb.attach_gfstream.chunks chunks:
                        { "files_id" : { $minKey : 1 } } -->> { "files_id" : ObjectId("4c85fd02145a9b1534010d89") } on : shard0001 { "t" : 2000, "i" : 0 }
                        { "files_id" : ObjectId("4c85fd02145a9b1534010d89") } -->> { "files_id" : ObjectId("4c85fdec145a9b0b340005a7") } on : shard0000 { "t" :3000, "i" : 1 }
                        { "files_id" : ObjectId("4c85fdec145a9b0b340005a7") } -->> { "files_id" : ObjectId("4c85fe08145a9b0b34000aaf") } on : shard0001 { "t" :3000, "i" : 4 }
                        { "files_id" : ObjectId("4c85fe08145a9b0b34000aaf") } -->> { "files_id" : ObjectId("4c85fe27145a9b0b34000fb7") } on : shard0001 { "t" :4000, "i" : 1 }
                        { "files_id" : ObjectId("4c85fe27145a9b0b34000fb7") } -->> { "files_id" : ObjectId("4c85fe43145a9b0b340014bf") } on : shard0000 { "t" :4000, "i" : 7 }
                        { "files_id" : ObjectId("4c85fe43145a9b0b340014bf") } -->> { "files_id" : ObjectId("4c85fe61145a9b0b340019c7") } on : shard0000 { "t" :4000, "i" : 8 }
                        { "files_id" : ObjectId("4c85fe61145a9b0b340019c7") } -->> { "files_id" : ObjectId("4c85fe7b145a9b0b34001ecf") } on : shard0000 { "t" :5000, "i" : 1 }
                        { "files_id" : ObjectId("4c85fe7b145a9b0b34001ecf") } -->> { "files_id" : ObjectId("4c85fe9a145a9b0b340023d7") } on : shard0001 { "t" :5000, "i" : 4 }
                        { "files_id" : ObjectId("4c85fe9a145a9b0b340023d7") } -->> { "files_id" : ObjectId("4c85feb7145a9b0b340028df") } on : shard0001 { "t" :6000, "i" : 1 }
                        { "files_id" : ObjectId("4c85feb7145a9b0b340028df") } -->> { "files_id" : ObjectId("4c85feea145a9b0b340032ef") } on : shard0000 { "t" :6000, "i" : 4 }
                        { "files_id" : ObjectId("4c85feea145a9b0b340032ef") } -->> { "files_id" : ObjectId("4c85ff25145a9b0b34003cff") } on : shard0000 { "t" :7000, "i" : 1 }
                        { "files_id" : ObjectId("4c85ff25145a9b0b34003cff") } -->> { "files_id" : ObjectId("4c85ff57145a9b0b3400470f") } on : shard0001 { "t" :7000, "i" : 4 }
                        { "files_id" : ObjectId("4c85ff57145a9b0b3400470f") } -->> { "files_id" : ObjectId("4c85ff87145a9b0b3400511f") } on : shard0001 { "t" :8000, "i" : 1 }
                        { "files_id" : ObjectId("4c85ff87145a9b0b3400511f") } -->> { "files_id" : ObjectId("4c85ffcd145a9b0b34005b2f") } on : shard0000 { "t" :8000, "i" : 16 }
                        { "files_id" : ObjectId("4c85ffcd145a9b0b34005b2f") } -->> { "files_id" : ObjectId("4c85fff7145a9b0b3400653f") } on : shard0000 { "t" :8000, "i" : 17 }
                        { "files_id" : ObjectId("4c85fff7145a9b0b3400653f") } -->> { "files_id" : ObjectId("4c860021145a9b0b34006f4f") } on : shard0000 { "t" :8000, "i" : 18 }
                        { "files_id" : ObjectId("4c860021145a9b0b34006f4f") } -->> { "files_id" : ObjectId("4c86004f145a9b0b3400795f") } on : shard0000 { "t" :8000, "i" : 19 }
                        { "files_id" : ObjectId("4c86004f145a9b0b3400795f") } -->> { "files_id" : ObjectId("4c860080145a9b0b3400836f") } on : shard0000 { "t" :9000, "i" : 1 }
                        { "files_id" : ObjectId("4c860080145a9b0b3400836f") } -->> { "files_id" : ObjectId("4c8600b5145a9b0b34008d7f") } on : shard0001 { "t" :9000, "i" : 7 }
                        { "files_id" : ObjectId("4c8600b5145a9b0b34008d7f") } -->> { "files_id" : ObjectId("4c860115145a9b0b3400a183") } on : shard0001 { "t" :9000, "i" : 8 }
                        { "files_id" : ObjectId("4c860115145a9b0b3400a183") } -->> { "files_id" : ObjectId("4c860198145a9b0b3400b587") } on : shard0001 { "t" :10000, "i" : 1 }
                        { "files_id" : ObjectId("4c860198145a9b0b3400b587") } -->> { "files_id" : ObjectId("4c8601fc145a9b0b3400c98b") } on : shard0000 { "t" :10000, "i" : 11 }
                        { "files_id" : ObjectId("4c8601fc145a9b0b3400c98b") } -->> { "files_id" : ObjectId("4c86025b145a9b0b3400dd8f") } on : shard0000 { "t" :10000, "i" : 12 }
                        { "files_id" : ObjectId("4c86025b145a9b0b3400dd8f") } -->> { "files_id" : ObjectId("4c8602ca145a9b0b3400f193") } on : shard0000 { "t" :10000, "i" : 13 }
                        { "files_id" : ObjectId("4c8602ca145a9b0b3400f193") } -->> { "files_id" : ObjectId("4c860330145a9b0b34010597") } on : shard0000 { "t" :10000, "i" : 14 }
                        { "files_id" : ObjectId("4c860330145a9b0b34010597") } -->> { "files_id" : { $maxKey : 1 } } on : shard0000 { "t" : 10000, "i" : 15 }

  
     

[1] [2]  下一页


基于Mongodb分布式存储物理文件



[] [返回上一页] [打 印]

文章评论评论内容只代表网友观点，与本站立场无关！