Hadoop中的CRC数据校验文件
Hadoop系统为了保证数据的一致性,会对文件生成相应的校验文件,并在读写的时候进行校验,确保数据的准确性。
比如我们遇到的这个Case:
执行的命令:
hadoop jar dw-hadoop-2010_7_23.jar jobDriver -files tb_steps_url_path_dim.txt multisteps_output 2011-01-25
出错日
http://cyqdata.cn/cnblogs/article-detail-6936
[Project Euler] 来做欧拉项目练习题吧: 题目008
[Project Euler] 来做欧拉项目练习题吧:
http://cyqdata.cn/cnblogs/article-detail-6934
Hadoop in Action 翻译 第一章
Hadoop介绍 内容简介: 1. 编写可扩展的,分布式的,海量数据处理的程序的基础 2. 介绍hadoop与MapREduce 3. 编写一个简单的MapReduce程序
http://cyqdata.cn/cnblogs/article-detail-6932
热门话题:使用WCF实现SOA面向服务编程(一)——SOA的概念
SOA的概念是Gartner
在1996年提出来的,并于2002年12月进一步提出SOA是“现代应用开发领域最重要的课题”。
一、SOA的定义
SOA分为广义的SOA和狭义的SOA,广义的SOA是指一种新的企业应用架构和企业IT基础架构,它可以使企业实现跨应用,跨部门,跨企业甚至跨
行业之间的离散系统实现互连。(注意:这里所指的服务并不单单是Web
http://cyqdata.cn/cnblogs/article-detail-6931
Oracle 10g SQL函数:日期时间函数
--add_months(d,n):返回特定日期时间d之后或之前的n个月所对应的日期时间。n为正整数表示之后,n为负整数表示之前
select add_months(sysdate, -5) from dual;
输出:2010-08-26 13:24:28
--current_date:返回当前会话时区所对应的日期时间
select current_date from dua
http://cyqdata.cn/cnblogs/article-detail-6930
使用Apworks开发基于CQRS架构的应用程序(一):前言
在Apworks框架发布Alpha版本的时候,我已经针对其开发案例:Tiny Library CQRS写了Walkthrough文档,地址是:http://apworks.org/custom/documents/wlkthr_BuildAppsUsingApworks/。为了走国际化道路,这篇文章是全英文的,社区里有不少网友表示难以理解。趁着这几天不算很忙,我抽空将其又翻译回中文,并加入更多的批
http://cyqdata.cn/cnblogs/article-detail-6927
WebMisDeveloper4.5.0 基于Ext.net,Extjs,MVC/简单三层的自动生成开发利器
首先还是先来介绍下什么是WebMisDeveloper吧,以及他的功能。
1、说的直白一点他就是一款代码生成器。
2、WebMisDevelper自动生成的代码都是基于Extjs的。
3、通过WebMisDevelper,您无需接触任何开发软件,即可搭建一套基本的框架(系统目前提供三套框架)
4、WebMisDeveloper可以根据用户配置自动生成数据库,表,表字段说明等信息
5、
http://cyqdata.cn/cnblogs/article-detail-6606
第三章 配置更高效的web service开发环境
第三章 配置更高效的web service开发环境
上一章通过AXIS2实现一个简单的web service
本章主要内容:本章主要介绍了如何配置一个高效的web service 开发环境。
1.自动把类文件存放到Axis
&nbs
http://cyqdata.cn/cnblogs/article-detail-6603
Mono源代码学习笔记:Console类(六)
Unix 终端的基础知识
许多 Unix 系统使用终端。但是在今天的许多情况下,终端也许是一个运行终端程序的 PC 机。从历史上来说,不同的生产商提供了大量的硬件终端。Linux 操作系统包含一个环境变量 TERM,用来表示我们正在使用的终端的类型,如下所示:
ben@ben-m4000t:~$ w
16:35:13 up 6 days, 7:36, 2 users, load avera
http://cyqdata.cn/cnblogs/article-detail-6602
SWF文件格式和ABC代码混淆工具的开发(三) - Abc文件常量池
在2010年11月28日,我在盛大举办的WeDoSwf会议上,我做了一个演讲,主题就是关于Swf的文件格式和Abc文件的混淆。
最近一个多月的时间里面,各种零零总总的事情特别多,一直没有时间把这个东西整理好放到博客中。
首先呢,把我的演讲的视频的ppt放上来:
视频:
http://v.ku6.com/show/MwjMgfhEgUFoiZhx.html
PPT:
http://www.sl
http://cyqdata.cn/cnblogs/article-detail-6597
Mono源代码学习笔记:Console类(五)
CStreamReader 类 (internal class)
下面就是 mcs/class/corlib/System/CStreamReader.cs:
001: //
002: // System.CStreamReader
003: //
004: // Authors:
005: // Dietmar Maurer (dietmar@ximian.com)
006: /
http://cyqdata.cn/cnblogs/article-detail-6593
《C++标准程序库》学习笔记3 -- 第五章
这一章主要是大概的介绍一下容器,迭代器,算法,仿函数等,为6,7,8,9章的概括。
1.(P74)
STL的基本概念就是将数据和操作分离。数据由容器类别加以管理,操作则由可定制的算法定义。迭代器在两者之间充当粘合剂。任何算法都可以和任何容器交互运作。
2.(P75)
容器(Containers)容器类别用来管理一组元素。
总的来说,容器分为两大类:
http://cyqdata.cn/cnblogs/article-detail-6590
OOC-GCC 简介
OOC-GCC 概述 下载地址http://code.google.com/p/ooc-gcc/downloads/list 其实这还是我对用C语言进行OO方式编程的一些尝试,最早的时候我在SF建了一个叫JCOOP的项目,后来搬到GOOGLE CODE 不过随着不断的改进,也对OO有了进一步的理解, 在这里先谈一下现在我对OO的理解,
http://cyqdata.cn/cnblogs/article-detail-6521
风讯dotNETCMS源码分析—数据存取篇
前几天突然对CMS感兴趣,就去下载了风讯dotNETCMS源码。当前版本是dotnetcms1.0 sp5免费版,风讯的官方主页上可以下载。
用Visual Studio 2008打开后,初步分析了它的数据存取技术。风讯dotN
http://cyqdata.cn/cnblogs/article-detail-6519
MS CRM 2011 RC中的新特性(9)—脚本Dialog
MS Dynamics CRM 2011中,在流程处理方面,除了以往版本中具有的工作流之外,又加入了新的内容——脚本Dialog。脚本Dialog,是同步的、需要用户输入内容的流程。当启动了脚本后,系统会弹出向导风格的对话框,用户需要根据界面提示输入各类信息。
和工作流的区别在于
工作流
http://cyqdata.cn/cnblogs/article-detail-6518
Front-line of Front-end, Rational Front-end Performance Tuning in ASP.NET MVC, II
Background
In the post, Front-line of Front-end, Rational Front-end Performance Tuning in ASP.NET MVC, I, I have illustrated a way to rationally increase front-end performance. However, we still have
http://cyqdata.cn/cnblogs/article-detail-6517
Excel+GridView打造高级数据处理
利用Excel结合GridView进行数据导入/导出、编辑等功能,同时进行了扩展,好了下面简单列举实现的功能:)
原始数据表中数据:
Excel将要导入的数据:
导入后显示:
醒目/提示内容:
一键更新后显示(隐藏“一键更新”):
导入数据规则:
a. 如果编号不存在,则添加一条数据,同时状态显示黄色图标表
http://cyqdata.cn/cnblogs/article-detail-6258
【自然框架】QuickPagerSQL——专门生成分页用的SQL的类库
分享一个生成分页用SQL的函数库
一般一提到分页,大家就会想到存储过程,而大多数情况都是在存储过程里面拼接SQL,我觉得与其在存储过程里面拼接,还不如写个程序来拼接。这样更便于维护,而且效率也不差多少。
所以我就写了这个类库—— QuickPagerSQL。
一开始这个功能是在QuickPager分页控件内部
http://cyqdata.cn/cnblogs/article-detail-6253
《C++标准程序库》学习笔记2–第四章
1.(P33)
Pairs(对组)的定义
class pair可以将两个值视为一个单元。map和multimap就是通过pair来管理键值/实值(key/value)的。
在pair的定义中:
namespace std { template <class T1, class&nb
http://cyqdata.cn/cnblogs/article-detail-6251
第二章 实现一个简单的web service
第二章 实现一个简单的web service
第一章:http://www.cnblogs.com/hanlsheng/archive/2011/1/20.html
本章主要内容:如何实现第一章设计的web service 接口。
1.安装eclipse
&nb
http://cyqdata.cn/cnblogs/article-detail-6245