Kettle中GroupBy组件的Bug
这个组件的中的分组字段一定要空啊~否则下面算什么MAX MIN都是错的。不信 你Preview一下试试就知道了。
博文
Kettle UnexpectedError: java.lang.OutOfMemoryError: Java heap space
ERROR 02-11 17:09:49,963 - Center Branch Code.0 - UnexpectedError: java.lang.OutOfMemoryError: Java heap space INFO 02-11 17:11:44,655 - Only Insert AAA.0 - 完成处理 (I=1381, O=1381, R=1381, W=1381, U=0, E=0 INFO 02-11 17:11:44,655 - Column Select.0 - 完成处理 (I=0, O=0, R=53190, W=53190, U=0, E=0 INFO 02-11 17:11:44,654 - UPDATE_AAA2 2.0 - 完成处理 (I=83, O=83, R=83, W=83, U=0, E=0 ERROR 02-11 17:11:44,658 - Center Branch Code.0 - java.lang.OutOfMemoryError: Java heap space at com.mysql.jdbc.MysqlIO.buildResultSetWithRows(MysqlIO.java:2012) at com.mysql.jdbc.MysqlIO.getResultSet(MysqlIO.java:431) at com.mysql.jdbc.MysqlIO.readResultsForQueryOrUpdate(MysqlIO.java:1991) at com.mysql.jdbc.MysqlIO.readAllResults(MysqlIO.java:1413) at c...
有些书看目录就可以了
第1章 無論怎麼整理都整理不好是為什麼？ 從此擺脫「不會整理」的惡夢 千萬別被「一口氣整理完就會打回原形」給騙了！ 每天整理一點，一輩子都整理不完 「不追求完美」的大陷阱 從著手整理那一刻開始，人生就再次啟動 愈擅長收納的人，愈容易堆東西 不能按「場所類別」整理，要按「物品類別」整理 按個性改變整理方法，毫無意義！ 整理是節慶，不是每天要做的事 第2章 只留下讓你怦然心動的，其他統統「丟掉」！ 首先，要一口氣、在短時間內、徹底「丟掉」 在丟東西前，先思考「理想的生活」 碰觸到的瞬間，是否感覺「怦然心動」？ 同類的東西全部集中後，再一口氣判斷 從「紀念品」開始整理，勢必失敗 別讓家人看到丟掉的東西 讓家人也變得會整理的妙方 別把自己不要的東西送給家人 整理就是「透過物品與自己對話」 對丟不下手的東西說謝謝 第3章 按「物品類別」整理時竟如此順利 一定要按「物品類別」的正確順序整理 衣服：先把家裡所有的衣服都放在地上 家居服：「因為丟掉可惜。所以就當家居服」，萬萬不可！ 衣物的收納：「折疊收納法」一舉解決收納空間的問題 衣服的折法：完全剛好、最正確的折法 衣物的擺法：把心動的感覺帶進衣櫥的絕招 襪子類的收納：襪子或絲襪都不可以綁起來 換季：從此不需再換季的收納法 書的整理法：把所有的書排在地上，一一觸摸 還沒看的書：覺得總有一天會讀，「那一天」永遠不會到來 應該留下的書：「進入名人堂」的書，毫不猶豫地留在身邊吧！ 文件整理：「把文件全部丟掉」也沒問題 各種文件：麻煩的文件這樣整理 小東西類：只留下「心動的」，而不是留下「覺得會用到的」 零錢：趕快拯救四散的零錢吧！ 種種小東西：不知道為什麼放著的「應該丟掉的東西」 紀念品：千萬不可把老家當作紀念品的避難所 照片：比起過去的回憶，不如愛惜現在的自己！ 現場直擊！驚異連連的各種「大量庫存」 在「適切數量轉捩點」來臨前持續縮減 相信心動的感覺，人生將會有戲劇性的變化 第4章 讓人生閃閃發亮的「心動收納課」 決定家中「所有物品的定位」 切忌在丟東西前，就投向「收納絕招」的懷抱 收納要「簡化至極限為止」 不要分散「收納場所」 不必理會「動線」與「使用頻率」 不堆疊，「直立收納」才是王道！ 沒有必要使用「市售的收納商品」 ...
Kettle设计中JOB前的总控表概要
之前我们控制一个JOB运行与否的动作基本上修改Crontab等计划任务 个人觉得这个非常麻烦 也没有必要。试想如果能有一个总控机制的调度系统的话，类似的工作可以忽略很多。 因为有了总控表的概念 我们就可以在将来使用Web来实现Kettle的调度和监控。 总体的设计可以是在Kettle所属DB里添加一张表 该表的设计应该满足以下几个需求 1、设计一个EM字段来显示该JOB是否可以运行 0是ok 1是Disabled掉了 不论是什么原因 2、结合1的需求继续完善一下 设置一个轮训机制 比如设置7个Columns 分别表示周一到周日是否运行的，比如周日如果有DB维护动作 我们就可以在总控前台讲周日这个Column标记为1.当然了 这一系列的动作我们都可以在Web前台页面完成。 3、各JOB运行时间和Loading的记录以及平均值。 分别记录 最近一次运行 最高峰的一次运行 和平均运行值。 4、JOB所达主机网络状况，如果该host属于没有相应或着ping的时候没有反应的话，该JOB忽略本次运行，该线路如果长时间属于不可达状态的话，就会Email通知相关人员，CC给MIS。 5、暂时还没想到 但估计用处不止这些！
利用动态管理试图和函数来查询系统状态
/* sys.dm_exec_connections 动态试图 查询连接数据库的方式 登陆认证的方式 网络配置等等 */ SELECT connect_time,protocol_type,local_net_address,net_transport FROM sys.dm_exec_connections WHERE session_id=@@SPID; -- 查询今天修改规划过的所有数据库对象 -- USE DB SELECT name As object_name, SCHEMA_NAME(schema_id) AS schema_name, type_desc, create_date, modify_date FROM sys.objects WHERE modify_date > GETDATE() -1 order by modify_date; -- 查询数据库位置 USE master SELECT name,physical_name AS CurrentLocation FROM sys.master_files WHERE database_id=DB_ID(N'tempdb'); /* sys.sysobjects 和 sys.sysindexes 返回数据库的所有数据表所含记录数、创建日期 type='U'代表用户自定义数据表 p代表存储过程 Type可以过滤数据库的对象类 */ USE master select DB_NAME() as DB_NAME, sys.schemas.name AS SchemaName, Name=o.name, i.rows As 总比数, o.crdate As DateCreated from sys.sysobjects o left join sys.sysindexes i on o.id=i.id and i.indid<=1 join sys.schemas ON schema_id=uid where type='U' /* 查询各数据库表是否包含Identity字段 如果有就列出来 */ SELECT s.name Schame...
Mysql Last_IO_Errno: 2013
Relay_Master_Log_File: tpedb-bin.000125 Slave_IO_Running: No Slave_SQL_Running: Yes Replicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0 Last_Error: Skip_Counter: 0 Exec_Master_Log_Pos: 102855491 Relay_Log_Space: 552 Until_Condition: None ...
2020年，中国将成为世界上最穷的国家
美国的兰德公司对于绝大多数中国人而言，或闻所未闻的。而《中国经 济新闻》(CEN.com)提醒大家, 正是这个公司，在60年前，由于准确预测"一旦美国参与朝鲜战争，中国必将出兵朝鲜"，一炮走红，从此确立 了兰德公司世界第一智库的显赫地位。它可以说是当今美国乃至世界最负盛名的决策咨询机构。 兰德公司：2020年，中国将成为世界上最穷的国家 (一)中国人不了解他们作为社会个体应该对国家和社会所承担的责任和义务。 普通中国人通常只关心他们的家庭和亲属，中国的文化是建立在家族血缘关系上而不是建立在一个理性的社会基础 之上。 中国人只在乎他们直系亲属的福址，对与自己毫不相关的人所遭受的苦难则视而不见。毫无疑问，这种以血 缘关系为基础的道德观势必导致自私，冷酷，这种自私和冷酷已经成为阻碍中国社会向前发展的最关键因素。 (二)中国人是世界上少数没有信仰的可怕国家之一。 中国人没有自己的信仰，这导致自我泛滥，缺少约束，缺少统一的精神支柱，他们没有通一规范的道德意识和真理 意识，每个人只相信他自己，每个人按自己的意志确立行为，每个人都有他自己行为的道理，这导致中国人在各个 行业和生活领域中没有统一意识。中国是无神论国度，大多数人接受的是无神论者教育，蔑视宗教信仰，把宗教信 仰当做迷信，精神领域没有共同的凝聚和约束。大部分人，他们坚持认为自己是无神论者，其实质行为上却是泛神 论者，在中国，拜鬼现象非常普遍。 由于缺乏信仰，中国人没有罪恶感，没有亏欠和内疚感，只要犯罪不被知道， 就是无罪，这导致中国人在内部矛盾分歧时，在人性中的残忍和冷漠，纵观中国整个历史，最残忍的争斗和屠杀都 来自于他们内部自己。 (三)中国人所说的政治除了欺骗和背叛没有其它东西 中国从来就没有成为一个法制社会，因为中国人的思维方式与守法行为格格不入。中国人老想走捷径。他们不明白 这样一个事实：即成就来自于与努力工作和牺牲。在中国，人情高于法律，导致一代又一代人在徇私枉法贪赃受贿 的社会不公正和法律不公正中互相效法模仿，徇私枉法成为中国人的传统。在中国，政治斗争是罕见残酷而无情的 ，政治斗争让中国一代一代人失去人性。 (四)大多数中国人从来就没有学到过什么是体面和尊敬的生活意义 中国人倾向于索取而不给予。他们需要明白一个道理：生活的真蒂不在于你索取多少而在于你能给予社会和你的人 类同胞多少。大多...
斗兽棋
狮子让一只豹子管理10只狼，并给他们分发食物。 豹子领到肉之后，把肉平均分成了11份，自己要了一份，其 他给了10只狼。 这10只狼都感觉自己分的少，合起伙来跟豹子唱对台戏。虽然一只狼打不过豹子，但10只狼 豹子却没法应付了。 豹子灰溜溜的找狮子辞职。狮子说，看我的。 狮子把肉分成了11份，大小不一，自己先挑了 最大的一份，然后傲然对其他狼说：你们自己讨论这些肉怎么分。 为了争夺到大点的肉，狼群沸腾了，恶狠狠的互相攻击，全然不顾自己连平均的那点肉都没拿到。 豹子钦佩的问狮子，这是什么办法？ 狮子微微一笑，听说过人类的绩效工资吗？…… 第二天 狮子依然把肉分成11块，自己却挑走了2块，然后傲然对 其他狼说：你们自己讨论这些肉怎么分。 10只狼看了看9块肉，飞快的抢夺起来，一口肉，一口曾经的同伴，直 到最后留下一只弱小的狼倒在地上奄奄一息。 豹子钦佩的问狮子，这是什么办法？ 狮子微微一笑，听说过末位淘汰 法吗？…… 第三天 狮子把肉分成2块，自己却挑走了1块，然后傲然对其他狼说：你们自己讨论这些肉怎么分。 群 狼争夺起来，最后一只最强壮的狼打败所有狼，大摇大摆的开始享用它的战利品。狼吃饱以后才允许其它狼再来吃 ，这些狼都成了它的小弟，恭敬的服从它的管理，按照顺序来享用它的残羹。 从此狮子只需管理一只狼，只需分配 给它食物，其它的再不操心 豹子钦佩的问狮子，这是什么办法？ 狮子微微一笑，听说过竞争上岗吗？…… 最后一天 狮子把肉全占了，然后让狼去吃草。因为之前的竞争，狼群已经 无力再战了，于是只好逆来顺受。 豹子钦佩的问狮子，这是什么办法？ 狮子微微一笑，听说过和谐社会吗？
Changing Data Capture
Changing Data Capture (CDC) (捕获数据变化) 是设计和开发有效的 ETL 应用的前提。CDC 需要对不同的数据源、数据库进行分析以采用不同的 CDC 方案。常用的 CDC 有下面几种途径： Audit 字段 , 一个设计良好的 Transactional 表应该包括 Audit 字段，这些 Audit 字段通常包括：EnteredDate (记录输入时间), ModifiedDate (记录修改时间), DisabledDate(记录失效时间), EnabledFlag(记录有效标志)和 UserID (用户 ID)等，这些字段可以很容易地用于 ETL 的增量处理中过滤出数据源中的最新记录。 很遗憾并不是所有的数据源都包括这些 Audit 点段，比如说文本文件、XML 文件或者其他的不是规范设计的文件等。 Log (日志)文件 ，大多数的数据库系统都有操作日志文件，通过特殊的方法或者第三方软件我们可以从这些日志文件中我们可以获取对记录级别的修改记录。但是使用这种方法有两个问题：1）访问Log 文件非常的不安全，Log 文件往往很大，包含了系统恢复所需要的很多信息。2) 有些个 Log 文件设置成不包含对级别的修改。基于以上的考虑，使用 Log 文件跟踪被修改的记录不是一种特别有效和安全的方法。 Trigger (触发器)， 对于数据库管理系统来说，我们可以在表上建立 Insert, Update 或者是 Delete 的触发器，将被修改的记录存放在另一个数据库中。但是使用 Triger 也有相应的问题：1) 性能影响。使用Triger 将消耗大量的系统资源，尤其是在一个很大的表上建立触发器将会非常明显地影响系统的性能。2) 需要数据源的访问权限。在ETL 处理的数据源往往分布在不同的服务器上，我们有时候并没有用户访问权限去建立这些触发器。 Full Compare (全部比较), 如果以上的方法都行不通，我们只好采用逐记录，逐字段的比较，对记录数不是很多，或者属性不是很多的 Dimension 表来说，这也许不是最坏的方法。 对使用 SQL Server 2008 作为数据源的 ETL 处理，可以使用它的新功能，Changing Data Capture (CDC)，它的基础...
六种删除数据库重复行的方法
1.如果有ID字段，就是具有唯一性的字段 delect table where id not in ( select max(id) from table group by col1,col2,col3... ) group by 子句后跟的字段就是你用来判断重复的条件，如只有col1，那么只要col1字段内容相同即表示记录相同。 2. 如果是判断所有字段也可以这样 select * into #aa from table group by id1,id2,.... delete table insert into table select * from #aa 3. 没有ID的情况 select identity(int,1,1) as id,* into #temp from tabel delect # where id not in ( select max(id) from # group by col1,col2,col3...) delect table ...
数据仓库简介
-- DW 数据仓库 产生需求： 在大量数据中提取所需信息。 有些企业的数据存储在不同的逻辑和物理媒介上 不集成 得到的数据结果很可能不一致 或者说很片面。 用户希望以所有可能的方式选择、分组和操作数据。 为用户显示重要的数据。 用正确和完整的数据来作为分析的基础。 -- DW数据仓库的显著标示和关键需求 为不熟悉数据结构的用户提供可访问性 或者是可读性比较高的数据报表。 accessibility 基于企业某型的数据集成 适合该企业的数据立方体。 查询的灵活性!!!---? 从现有信息中获取最大利益 有助于针对目标分析和有效分析 多维表示--- 给用户比较只管的信息图或报表 集成数据的正确性和完整性 -- Define DW 数据仓库是面向主题的 依赖于企业的特定概念。 比如客户、产品、销售和订单。 数据绝不能从数据仓库中删除 数据仓库的数据采用一种多维表示方法，数据就是空间中的一个点，其纬度对应着多个可能的分析纬度。(每隔空间点代表企业中发生的一个事件，并且由一组与决策制定过程相关的度量描述) @比如某年某月某个产品的销售量 -- note 数据仓库会利用到多个数据源 因此有必要建立一个统一的试图。 OLTP 搜索某个客户的数据以插入一个新的客户订单 OLAP 动态、多维分析的数据查询 数据仓库的体系结构 事务处理和分析处理要分开。-- 分离性 数据量和用户需求的增长，升级硬件和软件体系必须很容易。 -- 可扩展性 战略数据和企业核心数据都在其中，访问安全和监控是必要的。 --安全性 还有可管理型。 体系结构大致可以分为两种 面向结构的和应用不同数据层来创建面向企业或面向部门的数据仓库试图。 单层体系结构： 不常用，目标是创建最小化存储的数据量。也就是说需要研究的重点是消除数据的冗余。 两层体系结构 典型体系结构。物理可用数据源层和数据仓库层的分离 由4个数据流阶段组成。 数据源层：异构数据源和公司以外的数据 数据准备层：ETL部分 抽取、清洗以清除不一致和填充空白 最终将异构数据源合并成一个公用模式 数据仓库层：数据仓库 数据集市 元数据 分析曾：OLAP report等 数据集市是存储在数据仓库的数据的子集或聚合。对大中型企业的数据仓库系统非常有...
我们都能成为天使——[阿根廷]何塞·罗德里格斯
我还是一名中学生时候，发生了一件难忘的小事。 那是一个星期五，我在放学回家的路上看到刚转到我们班的同学凯尔，他手中抱着一摞厚厚的书。我想：为什么要 把所有书都带回家呢？他一定是个书呆子。这时，突然来了一大帮孩子，故意把他手中的书打翻在地，还有人在凯 尔脚下使了个绊儿，他随即倒地。 凯尔的眼镜飞了出去，他抬起头看了看，我从他眼中读出了痛苦，我的心随之一紧，然后朝他跑去。他趴在地上摸 索着找眼镜。我把眼镜递到了他手上。他向我道谢，脸上浮现出了笑容，那是发自肺腑的感激的笑容。 我得知，原来我们住的地方相距不远。于是，我们结伴回了家，我觉的他这个人还不错，就问他是否有兴趣周六一 起去踢球，他欣然同意了。 整个周末我们都混在一起，他给我和我的朋友们留下了非常好的印象。 此后，我和凯尔成了最好的朋友。 多年后，凯尔特别邀请我去参加他的大学毕业典礼。他在致词中说：“毕业典礼是对帮助过我们的人表达谢意的最 好时刻。我要借这个机会，感谢我最好的朋友。” 接着，他开始讲我们相识的故事，我惊讶得睁大了眼睛。直到那天我才知道。多年前的那个周末，他原本是打算自 杀的！他说自己已整理好了学校的柜子，并把所有的书都抱回家，这样，妈妈在他死后就不必特意去学校整理他的 遗物。说到这里，他看着坐在台下的我，脸上浮现出笑容，他接着说：“然而，我很幸运，是我的朋友把我从死亡 的边缘拉了回来。” 那一刻，我才真正理解了他的话：“永远不要低估了你的行为能够产生的力量，你一些小小的举动就可能改变一个 人的命运。上天让我们每个人都面对一些生命，让我们以某种方式影响一些生命。” 用自己的快乐和爱心去照亮他人的生活，这样做永远都是值得的。当我们的翅膀折断，无力飞翔时，身边的朋友就 是把我们拥入怀中的天使。
暴力与解决-《搏击俱乐部》
与《猜火车》中用吸毒、偷盗来实现自我虚无、自动放弃价值不一样，《搏击俱乐部》延续了暴力反抗旧有价值体制束缚的主题。在战后西方社会，随着民众对政府不信和敌对态度的增强，旧统治体系威望的减退、经济的迅速发展而导致的人与社会之间的关系复杂化和尖锐化，使暴力逐渐成为西方现代电影中战后几代青年发泄不满、表示怀疑与抗争的主要手段，早在六七十年代，《精疲力尽》、《狂人彼埃洛》、《邦妮和克莱德》、《发条桔》等一系列影片已经为暴力体现矛盾、冲突的电影打开了一条康庄大道，而近年来如法国的《恨》，美国的《天生杀人狂》更是挥舞着这面关系到社会问题的大旗，相比之下，《搏击俱乐部》中的暴力则少了几分明目张胆与毫无节制的血腥，多了几分克制与回避。 对于参加“搏击俱乐部”的人来讲，“搏击俱乐部”取代了宗教与疾病治疗团体所起的慰藉寄托与释压作用，对那些一样和杰克在两种极端夹攻下，充满失落挫折、绝望、精神真空的人而言，搏击是对精力、压抑、无由来的恐惧的发泄，除此之外还可以在集体之内忘却孤独并找回男性尊严，所以他们对搏击表现出了宗教般的狂想。这时的暴力还仅仅停留在单纯的肉体层次上，不具反社会的毁灭倾向，而且暴力行为产生的后果被内部所消化，并不危害社会。除了鼻青脸肿、眼圈乌黑影响美观，受伤上医院花些钱外，“搏击俱乐部”中点到为止的暴力对即使个人也不构成生命威胁，但对抱着反抗两种极端对自己的危害的杰克来讲，他已迈出了打倒上一代人即父亲们强加于自己价值观的第一步。 杰克先是通过与另一个我——“泰勒”的搏击，把自己痛揍了一顿，打自己这个举动有着较深的含义，一体现了杰克作为白领的懦弱性，即使到后来，他也没有对自己痛恨的老板动武，只是打自己唬住了他；二体现了杰克对作为白领的“我”的痛恨与厌恶到了自虐、对己施暴的程度。 对于打倒“父亲”，影片中有三段杰克与“泰勒”的对话颇令人回味。第一次“泰勒”问杰克最想跟谁打，杰克说要跟老板，“泰勒”则要跟老爸；第二次杰克问“泰勒”跟哪个名人打，“泰勒”说跟海明威，杰克则要跟莎士比亚；第三次更是充满亵渎，搏击对阵成了杰克对甘地，“泰勒”对林肯，对一般人来讲，甘地与林肯是近乎神的伟人，但在杰克心中这两位精神上的“父亲”却成了可以痛揍的对象，到这时，父权的丰碑已经轰然倒下，杰克不再把谁放在眼里。 随着俱乐部的不断壮大（说明了“患病”者的惊人数量和普遍），“泰勒”看出自己...
人格分裂下的黑色暴力—《搏击俱乐部》
人格分裂下的黑色暴力—《搏击俱乐部》 剧情方面： 杰克（爱德华诺顿）一个算是事业有成的而立之人，看似体面的过着中产阶级的富裕生活，每天朝九晚五两点一线的穿梭在办公楼和住家公寓之间，吃着现代社会统一的速食快餐，开着时尚的宝马轿车，干着保险理赔的惬意行当。然而整晚的失眠、紧张的工作压力、人与人之间的尔虞我诈，钩心斗角驱使浑浑噩噩的杰克滑向崩溃的边缘。心理治疗、转移注意力、寻找新的人生目标等等努力都无法促使杰克重新焕发出对生命的渴望和对生活的激情，杰克开始怀疑美国自工业革命以来形成的中产阶级的价值观，难道人生所有的努力就是为了这些？该怎么办？杰克在自问，在彷徨、在等待…… 杰克曾试图尝试通过与身染重疾患者团体的交流来抚慰茫然而又无助的心灵（毕竟古话有云：“人之将死其言也善嘛！！！”），然而短暂的平静由于女烟枪玛拉（海伦娜宝汉卡特）的出现再起波澜，玛拉参加此种社团聚会的理由竟然仅仅是想骗取一杯免费的咖啡而已（相对于杰克骗取临死之人的感情，一杯咖啡又算得了什么呢？），由于一个正常人的介入，再也无法泰然处之的杰克又该何去何从呢？（此处实际上暗喻了杰克无法通过消极的“休克疗法”来治愈精神创伤……） 卖肥皂的商人泰勒（布莱德皮特），一个乘飞机周游世界的不羁浪子，一个不被主流社会接纳的异类，凭借着嬉皮士的生活哲学苟活在贫民窟内，吃着过期的食物，住着三面透风的老房（看来老美也应该启动新一轮的危房改造工程啦^_^）。暴戾、忧郁、被歧视的社会地位等等这一切注定了反抗是迟早的事。 然而就是这样两个处于绝对价值对立面的代表因为杰克公寓离奇地被炸毁阴错阳差的走到了一起，出于相同的对刺激的渴望，原始的以暴力为招牌的“搏击俱乐部”初具雏形，随着破坏性活动的升级，它很快成为了一个全国性地下组织。所有的这一切令被尊称为“教父”的杰克史料不及，当杰克试图扭转这种形势的时候，才蓦然发现泰勒实际上是自己另外一个分裂的人格，（怎么现在表现人格分裂的片子怎么那么多呐？远的如《记忆的碎片》中的Leonard Shelby，近的象《无间道3》刘建民，不过毕竟没有《致命ID》里面11个分裂人格强！），虽然杰克最终终结了泰勒的“生命”，但破坏行动还是发生了，望着一幢幢象征着现代文明的摩天大厦铿然倒下，杰克是激动、释然还是沮丧呢？一切尽在不言中…… 情节方面： 大卫芬奇试图通过理念接近于《美国美人》但形式和内容又截然不同的...