ad[9] - cnblogs - 秋色园关键字追寻

Hadoop in Action 翻译第二章续(介绍伪分布式)

Pseudo-distributed mode(伪分布式) 伪分布式模式就是将所有hadoop程序运行在一台服务器上.这种模式将单机模式分割为各模块,主要还是用来debug你的程序,以便于测试内存占用量,HDFS input/output问题,已经各个deamons之间的交互等等. 下面就是这种模式的配置例子: core-site.xml <?xml version=”1

http://cyqdata.cn/cnblogs/article-detail-7100 2011/1/26 16:02:10

Hadoop中的CRC数据校验文件

Hadoop系统为了保证数据的一致性，会对文件生成相应的校验文件，并在读写的时候进行校验，确保数据的准确性。比如我们遇到的这个Case：执行的命令： hadoop jar dw-hadoop-2010_7_23.jar jobDriver -files tb_steps_url_path_dim.txt multisteps_output 2011-01-25 出错日

http://cyqdata.cn/cnblogs/article-detail-6936 2011/1/25 23:14:11

Hadoop in Action 翻译第一章

Hadoop介绍内容简介: 1. 编写可扩展的,分布式的,海量数据处理的程序的基础 2. 介绍hadoop与MapREduce 3. 编写一个简单的MapReduce程序

http://cyqdata.cn/cnblogs/article-detail-6932 2011/1/25 18:28:27

HBase入门笔记（三）-- 完全分布模式Hadoop集群安装配置

本来这篇文章该在去年11月底写出来的，被各种繁杂的事情所烦扰，再者网络上也有非常多比较完善的配置的文章，但是依旧是表述不太清晰。依旧写个Step By Step的教程，留待己用。 Hadoop的部署环境是经过虚拟化之后的四台主机，OS是U

http://cyqdata.cn/cnblogs/article-detail-5431 2011/1/21 13:41:27

wdk tips (1): threaded irp和non-threaded irp

nt内核的IO模型中，IRP有两类：threaded irp和non-threaded irp，顾名思义，前者跟thread绑定，后者跟thread无关。当一个threaded irp被创建时，创建线程会有一个队列保存该irp，直到irp完成之后才释放。当你试图让这条线程退出时，系统会检测队列看里面是否还有irp没完成，如果有，线程会一直等待，直到所有的irp全部完成。而non-thread ir

http://cyqdata.cn/cnblogs/article-detail-4431 2011/1/19 13:23:14

javascript 懒加载技术(lazyload)简单实现

1.前言　　懒加载技术(简称lazyload)并不是新技术, 它是js程序员对网页性能优化的一种方案.lazyload的核心是按需加载.在大型网站中都有lazyload的身影,例如谷歌的图片搜索页,迅雷首页，淘宝网,QQ空间等.因此掌握lazyload技术是个不错的选择,可惜jquery插件lazy load官网(http://www.appelsiini.net/projects/l

http://cyqdata.cn/cnblogs/article-detail-4296 2011/1/17 23:51:30

MetaData_model_package

中间DFT_DATA 根据条件而变动 SCR_CNF的脚本为代码 /* Microsoft SQL Server Integration Services Script Task Write scripts using Microsoft Visual C# 2008. The ScriptMain is the entry point c

http://cyqdata.cn/cnblogs/article-detail-3741 2011/1/14 21:42:12

WPF下可编辑Header的Tab控件实现

介绍有这样一个需求，当用户双击Tab控件Header区域时，希望可以直接编辑。对于WPF控件，提供一个ControlTemplate在加上一些Trigger就可以实现。效果如下：代码首先，我们需要给Tab Header设计一个ControlTemplate。类似一个TextBlock，双击进入编辑状态。所以Xaml如下： <Setter Property="Template"> <Setter.Value> <ControlTemplate TargetType="{x:Type local:EditableTabHeaderControl}"> <Grid>

http://cyqdata.cn/cnblogs/article-detail-2282 2010/12/30 19:58:31

[原创][连载].基于SOPC的简易数码相框 - Nios II SBTE部分（软件部分）- ADS7843触摸屏驱动测试

准备资料 1 触摸屏控制芯片ADS7843中文资料[1]_百度文库 2 触摸屏原理与分类_百度文库 3 [原创].触摸屏滤波的一点心得 4 [笔记].如何使用Nios II的中断：PIO中断与定时器中断操作步骤步骤1 将ADS7843的驱动文件夹加入APP路径中步骤2 编写ADS7843的驱动我们先看下触摸屏芯片采样的坐标与TFT-LCD显示的坐标的区别和联系。图中的TFT-LCD方向为所定义方向，亦即#define ID_AM 110 其XY坐标与ADS7843采样之坐标翻了。故ADS7843采样及滤波之后，需要把XY坐标翻回来。此外我们可以看到TFT-LCD显示区域是触摸屏采样芯片采样区域的子集，因此如若将程序移植到你的平台上，请坐相应的坐标校准动作。这和我们的触摸屏手机的校准功能是类似的的。废话不多说，直接贴代码，有什么不明白的地方，请给我留言。代码2.

http://cyqdata.cn/cnblogs/article-detail-2265 2010/12/28 21:14:36

Silverlight杂记-自定义loading

Silverlight承载的页面中 <param name="splashScreenSource" value="SilverlightLoader.xaml" /> <param name="onSourceDownloadProgressChanged" value="appDownloadProgressChanged" /> <param name="onSourceDownloadComplete" value="appDownloadComplete" /> JS

http://cyqdata.cn/cnblogs/article-detail-2172 2010/12/26 14:52:44

c#进阶 methods中2overload methods

CLR并不知道发生了操作符重载这回事，因为在编译的过程中各种操作符都被生产了对应的代码。比如说+被生产为一个加法函数 Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->public sealed class Complex {public static Complex operator+(Complex c1, Complex c2) {//TO DO}} 自己动手为类A重载一个操作符 Code highlighting produced by Actipro Co

http://cyqdata.cn/cnblogs/article-detail-2148 2010/12/25 2:41:29

你碰到过StreamReader.Peek的异常情况

工作中有个需求需要采集每个服每天用户的登录信息、道具使用情况等(用来做数据分析)，这些信息、数据是通过技术那边的Http接口来获取，为了提高效率，节省流量，没有用XML或JSON格式的输出(数据量比较大，用XML格式或JSON格式或增加许多冗余的信息，优劣暂且不讨论)，而是用简单的文本形式，Http接口数据的输出的格式如下： 1：不同记录以"\r\n"分隔 2：不同字段以“|||”分隔举个例子(假设)，用户每天的登录信息：字段排列顺序为： GameID|||UserID|||UserName|||ServerID|||ServerName|||IP|||RegistedFrom |||FromSiteUrl|||LoginTimes|||CreateDate 下面是其中一个函数，大家如果不想看，完全可以先跳过，只是为了说

http://cyqdata.cn/cnblogs/article-detail-2139 2010/12/25 2:00:09

MetaData ETL 之配置

MetaData ETL 最近整合ETL MetaData 大致分为4步 1 config 整合能根据配置信息来访问不同源和目标。方便维护时迁移和临时调整 2 业务逻辑整合所有的业务指标和逻辑在动态配置表里面实现。 3 column mapping 的实现 ETL 时column mapping是个头疼的事情。有新增加字段时每次都要人工去刷新mapping。能动态的根据源头来实现mapping 4 具有一定排错,对于常见错误能有一定的排错。比如snapshot延时或者创建失败时能根据错误信息做出相对措施。保证ETL的稳定。 1 先把配置自动化掉用script 组件实现代码 Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighligh

http://cyqdata.cn/cnblogs/article-detail-334 2010/12/13 12:33:41

OnLoad与Page_Load的差异分析

记得最开始学习ASP.NET的时候，我们就被告知：Page_Load方法里面可以写页面加载的代码。于是我们就懵懵懂懂写了很长时间的Page_Load方法。最近回过头思考，为什么一个普通的方法，能被自动调用呢？于是就得知了AutoEventWireup属性。 <%@ Page Language="C#" AutoEventWireup="true" CodeFile="Default.aspx.cs" Inherits="Default" %> 一般我们新建页面的时候，AutoEventWireup就为true。MSDN的解释是：指示控件的事件是否自动匹配 (Autowire)。如果启用事件自动匹配，则为 true；否则为 false。默认值为 true。那么我们先得到一个结论是：AutoEventWireup为true时，Page_Load、Page_Init之类的方法

http://cyqdata.cn/cnblogs/article-detail-294 2010/12/10 14:24:16

Silverlight DataGrid使用WCF RIA Service实现Load-on-demand的数据加载

在Windows或者ASP.NET Web应用程序中，我们经常可以看到在Grid控件上通过Load-on-demand的方式来提高系统性能，提升用户体验。所谓Load-on-demand就是在最初表格数据加载时只加载当前表格中用户可以看到的行数，当用户向下滚动或拖拽纵向滚动条时，再将需要显示的数据通过某种方式动态加载进来。那么对于Silverlight，我们可以使用DataGrid通过WCF RIA Service来实现这个功能。 1. WCF RIA Service 我们将会使用WCF Service来提供数据，并且将这个WCF Service host到ASP.Net应用程序中。 - 定义数据对象 [DataCont

http://cyqdata.cn/cnblogs/article-detail-246 2010/12/8 20:37:46

机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

版权声明：本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。前言: 上次写过一篇关于贝叶斯概率论的数学，最近时间比较紧，coding的任务比较重，不过还是抽空看了一些机器学习的书和视频，其中很推荐两个：一个是stanford的machine learning公开课，在verycd可下载，可惜没有翻译。不过还是可以看。另外一个是prml-pattern recognition and machine learning, Bishop的一部反响不错的书，而且是2008年的，算是比较新的一本书了。前几天还准备写一个分布式计算的系列，只写了个开头，又换到写这个系列了。以后看哪边的心

http://cyqdata.cn/cnblogs/article-detail-187 2010/12/5 12:43:22