分布式文件系统KFS源码阅读与分析(二):MetaServer元数据持久化
KFS文件系统的MetaServer元数据的持久化采用的是checkpoint + log方式,下面将结合其源码,对KFS MetaServer中元数据的持久化机制及其实现细节进行分析。
1. 相关源码文件
KFS MetaServer元数据持久化所涉及的代码所在目录为kfs-[version]/src/cc/meta
http://cyqdata.cn/cnblogs/article-detail-52779
浅谈Dynamic 关键字系列之三(下):ExpandoObject,DynamicObject,DynamicMetaObject
接上文:浅谈Dynamic关键字系列之三(上) 为什么TryXXX方法没有被调用?? 将DynamicProduct 中的name修饰符改为private: private string name; 可以在TrySetMember方法中设置断点,再次运行: 为什么访问修饰符是Public不调用TrySetMem
http://cyqdata.cn/cnblogs/article-detail-41319
浅谈Dynamic 关键字系列之三(上):ExpandoObject, DynamicObject, DynamicMetaObject
ExpandoObject:表示一个对象,该对象包含可在运行时动态添加和移除的成员。 dynamic dynEO = new ExpandoObject();
dynEO.number = 10;
dynEO.Increment = new Action(() => { dynEO.number++; });
Console.WriteLine(dynEO.number
http://cyqdata.cn/cnblogs/article-detail-41273
基于微软并行计算的工作流解决方案 (4) Cancellation, MaxDegreeOfParallelism 和CacheMetadata
上面的列子我们实现了基于System.Threading.Tasks下面的组件封装的异步并行活动AsyncParallelActivity。
为了完善这个例子我们还要实现一些并行工作流活动的基本功能
1)
设定MaxDegreeOfParallelism (并行数目控制)
2)
支持Canc
http://cyqdata.cn/cnblogs/article-detail-40050
MetaWeblog API调用
在网上闲逛,突然对博客的接口感兴趣,经考察,多数博客都对metaWeblog Api 提供了支持,虽然windows live writer是好用,不过出于对这个接口的好奇,也想自己做个能发博客的小工具. 到处浏览资料,用了一个下午终于成功发布了一篇简陋版博客:)。其实很简单,方法对了很快就连上了。 MetaWeblog API中文说明 1、什么是MetaWeblog API?
http://cyqdata.cn/cnblogs/article-detail-37450
MetaData_model_package
中间DFT_DATA 根据条件而变动
SCR_CNF的脚本为
代码
/* Microsoft SQL Server Integration Services Script Task Write scripts using Microsoft Visual C# 2008. The ScriptMain is the entry point c
http://cyqdata.cn/cnblogs/article-detail-3741
MetaData ETL 之配置
MetaData ETL
最近整合ETL MetaData
大致分为4步
1 config 整合能根据配置信息来访问不同源和目标。方便维护时迁移和临时调整
2 业务逻辑整合所有的业务指标和逻辑在动态配置表里面实现。
3 column mapping 的实现 ETL 时column mapping是个头疼的事情。有新增加字段时每次都要人工去刷新mapping。能动态的根据源头来实现mapping
4 具有一定排错,对于常见错误能有一定的排错。比如snapshot延时或者创建失败时能根据错误信息做出相对措施。保证ETL的稳定。
1 先把配置自动化掉 用script 组件实现
代码
Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighligh
http://cyqdata.cn/cnblogs/article-detail-334