FlowPortal 连接服务器”127.0.0.1″失败

今天早上FlowPortal系统突然出现如下报错:
连接服务器”127.0.0.1″失败。
原因:
No connection could be made because the target machine actively refused it 127.0.0.1:1590

经过一系列查询发现是角色表里有重复值造成的,如果有重复值,不重启服务,系统可以继续使用,如果有重复值,服务无法启动。
说一下查询思路:

  • 是不是服务器down掉了?发现服务器可以登录。
  • 是不是FlowPortal服务死掉了?登录查看,果然是服务没启动。尝试手动启动,结果:失败,提示如下:

提示不太明确,貌似和其它服务有关系,尝试重启服务器。结果:服务并没有自动重启,再次尝试手动启动,还是报同样的错误。

电话咨询了FlowPortal专家Troy Cui,建议先看日志,然后根据日志找原因,发现问题及时联系。

查看服务器日志,到底发生了什么。
把过去3小时的,System和Application中所有的Error和Warning日志依次查看,并没有发现和FlowPortal有关的内容。

然后查看YZSoft的日志,有很多Waring,但都没有导致服务down掉的信息。

剩下的都是Information,有三条貌似有关系。

Create connection failed(data source:Default)!reason:
A connection was successfully established with the server, but then an error occurred during the pre-login handshake. (provider: TCP Provider, error: 0 – The specified network name is no longer available.)
Create connection failed(data source:Default)!reason:
Cannot open database “BPMDB” requested by the login. The login failed.
Login failed for user ‘sa’.
OUProvider BPMOUProvider.OrgProvider failed during loading! detail:
Loading BPMOU organization fialed, System exit, Reason
Object with the same name “5/GCM Actives” already exists.
看起来前两条比较严重,都是连接数据库出了问题。

  • 基于现在的查询,猜想:系统连接数据库出了问题,应该是程序出错了,丢失了什么文件,或者数据库出错了,不能打开。然后在错误的道路上一路狂奔,搞了接近6个小时。才发现方向错了。
  • 先验证数据库是否损坏,发现未损坏,完全可以打开。
  • 那说明FlowPortal系统出了问题,把数据和所有文件全部备份,然后重新装一下。
    重新建了个数据库,重新装,装完,发现可以打开。把老程序覆盖掉新程序,发现照样可以打开。不祥的感觉,程序没问题,数据库的问题。或者说数据的问题,那么多表,怎么找到错误的数据?
  • 下载了一个Data Delta,试用14天,然后对比两个数据库,先对比结构,发现没异常,然后对比数据,把能转移的表全部转移到新数据库。有主键的数据库都可以转移过去。转移完,发现数据库还是可以使用。

手动转移那些不包含主键的表。当转移到BPMSysOURoles时,突然报错。
删掉表BPMSysOURoles,系统可以正常访问。
查看BPMSysOURoles,里面竟然有两行同样的数据。所以系统报错。删掉其中一行,系统正常访问。突然想到前面的第三个报错,里面提示的就是表里面重复行的内容信息。

回顾整个过程,如果数据有重复行,不重启服务的情况下,是可以继续使用的。如果重启,则不能启动服务。这里面也包含了系统的一个Bug,维护角色的时候,系统应该提示,不能维护相同名称的角色。

总结:对系统日志要认真读,认真思考,然后再采取行动,有的放矢。

我使用过的聊天工具

今早突然不小心打开了Skype,看到仍有几个在线的好友。想了一下,应该有2年没打开Skype了。曾经,Skype占据了我社交生活的很大一部分。如今已经不登录了。
回忆了一下,曾经用过的聊天工具。
QQ,沿用至今
UC,昙花一现
MSN,上面都是同事 – 已经不存在了
Skype,上面都是同事 – 现在基本不联系了
WhatsApp,曾是跟欧洲人联系的工具
Wechat,现在成为生活工作的一部分

回顾我使用过的聊天工具的变迁过程,小小的自己就像被夹裹在历史的滚滚洪流中的一片小树叶,顺流而下。

爬虫新技巧,Power BI如何抓取网页数据?

前几天,Tony老师帮朋友写了一个爬虫工具,抓取网页上的股票信息,后来有人问我,有其它更方便的方法吗?
还真有!不用编程,鼠标点几下,就把网页的信息抓取到表格里面去,然后还能直接分析数据,而且软件也免费。。。
这么牛逼的软件是什么呢?那就是Power BI。
接下来,Tony老师会开一系列课程,教大家学习Power BI,如果你有兴趣学Power BI,欢迎加入QQ群,共同探讨:282308215

我们以一个实际案例来学习如何抓取网页数据:
统计过去一个月上海的天气情况。

在Google上搜索上海天气,第三个链接应该是这个:
http://tianqi.2345.com/wea_history/58362.htm

打开Power BI,在数据源的地方选择Web,并输入网址。

选择Table 0,点Load,我们看到天气的数据已经被我们抓取到表格里面了。

我们看到最高气温和最低气温是字符串28℃,这样没办法做数据对比,我们要把28和℃分开。
这就要用到一个Power Query的工具。
顺便提一下,使用Power BI的顺序(一定记住了):
Power Query -> Power Pivot -> Power View
在菜单栏点Edit Queries

选中要分列的字段点右键,选中【拆分列】-【按照从数字到非数字转换】

然后把数字字段转换为浮点数据类型,同样通过点右键【更改类型】-【小数】

我们可以点【高级编辑】,看一下M语言
Power BI里面有两种语言,一个是M语言,是在Power Query里整理数据源的时候的语言,另外一种是DAX语言,类似于Excel公式的一种语言。

点击左上角的【关闭并应用】,关闭Power Query。
在View界面的可视化点【折线】并设置如下参数:

点【堆积条形图】,并设置如下参数:

瞬间可以做出下面的图表:

是不是很神奇,Tony老师试了几个能够展现出Table样式的网页,基本上都能抓取成功,包括股票,天气,成绩。。。。。。
如果你想学Power BI,欢迎关注Tony老师。或者加入QQ群,共同学习:282308215
今天先讲到这里,谢谢。

自动保存邮件附件至指定文件夹

最近有个需求,ERP系统会自动发很多csv附件到我邮箱,我需要把这些附件上传到FTP服务器,服务器会把这些csv的数据写到另外一个系统的数据库。
每次大概有30个邮件,每个邮件有一个附件,而且附件的名字都一样,是一个csv的文件,我每次需要手动的把附件另存为一个新名字存到本地,然后FTP上传。
每次大概要浪费我10分钟时间,而且毫无价值。
于是我就写了一个VBA的自动处理程序,几秒搞定。

如果你也有类似的需求,或者把附件再进行写入数据库,或者附件是Excel,需要整合到数据库,可以再在服务器开发一个自动处理机器人,设置每5分钟检测一下是否有新文件,如果有就写入数据库或添加到一个总Excel表格。这些VBA 或 C#都可以完美处理。

话说把大象装进冰箱分三个步骤:
第一步:
打开Outlook – Option – Trust Center – Truster Center Settings – Macro Settings – 勾选Enable all macros。
打开Outlook – Option – Trust Center – Truster Center Settings – Email Security – 勾选Allow script in shared folders 和 All script in public folders
重点:重启Outlook,我因为没重启outlook,浪费了很多时间。
第二步:
编写宏程序,按下Alt+F11,创建新项目,把程序copy进去,文件夹地址改一下

Private Declare Sub Sleep Lib "kernel32.dll" (ByVal dwMilliseconds As Long)

Public Sub SaveAttach(MyItem As Outlook.MailItem)
    SaveAttachment MyItem, "C:\Data\MailAttached\"
    'MsgBox "附件已保存"
End Sub

Private Sub SaveAttachment(ByVal Item As Outlook.MailItem, path, Optional condition = "*")
    Dim olAtt As Outlook.Attachment
    Dim i As Integer
    Dim dateFormat
    dateFormat = Format(Now, "yyyy-mm-dd hh-mm-ss")
    If Item.Attachments.Count > 0 Then
        For i = 1 To Item.Attachments.Count
            Set olAtt = Item.Attachments(i)
            If olAtt.FileName Like condition Then
                olAtt.SaveAsFile path & dateFormat & "_" & olAtt.FileName
            End If
        Next
    End If
    Set olAtt = Nothing
    Sleep 1000
End Sub

如下图:保存解释一下,因为我每个附件名字都相同,用时间重命名,只能到秒这个级别,所以我每次处理都Sleep 1秒,否则有可能会覆盖掉上一个文件。

第三步:制作运行规则,这一步比较简单,只放一张图片,仔细看每个设定

C# 任务调度神器 FluentScheduler

最近几天在写一些自动执行的程序,按照古老的做法就是做成exe可执行文件,并且在任务执行完自动退出。然后用Windows的Task Scheduler按照要求设置执行时间和执行频率,可以做到近乎所有能想到的执行Job。

但是有一些很频繁的任务,秒级别的,这个就实现不了了,传统的做法是只能打包成服务,安装到服务器上执行。
今天在网上突然发现了这个神器,FluentSchedule,直接在Nuget里搜索安装,调用特别方便,简直是任务调度的神器!

FluentScheduler 中 对象: IJob(工作)、Registry(注册)、Schedule(计划)

首先做一个简单的实例

using FluentScheduler;
/// <summary>
///  工作类
/// </summary>
public class MyJob : IJob
{
    public void Execute()
    {
         //编写需要工作的内容
         //比如输出一句话
         Console.WriteLine("执行工作!");
    }
}
using FluentScheduler; 
/// <summary>
///  注册表
/// </summary>
public class MyRegistry : Registry
{   
    //无参构造函数
    public MyRegistry()
    {
        //安排任务运行在一个区间
        Schedule<MyJob>().ToRunNow().AndEvery(2).Seconds(); 
        
        // 安排任务运行一次,由一个特定的时间间隔延迟。
        Schedule<MyJob>().ToRunOnceIn(5).Seconds(); 
        
        //安排一个简单的任务在一个特定的时间运行
        Schedule(() => Console.WriteLine("Timed Task - Will run every day at 9:15pm: " + DateTime.Now)).ToRunEvery(1).Days().At(21, 15);
        
        //安排一个更复杂的行动,立即运行和每月的时间间隔
        Schedule(() =>
        {
            Console.WriteLine("Complex Action Task Starts: " + DateTime.Now);
            Thread.Sleep(1000);
            Console.WriteLine("Complex Action Task Ends: " + DateTime.Now);
        }).ToRunNow().AndEvery(1).Months().OnTheFirst(DayOfWeek.Monday).At(3, 0); 
        
        //计划多个任务在一个单一的日程安排中运行
        Schedule<MyJob>().AndThen<MyOtherJob>().ToRunNow().AndEvery(5).Minutes();
    }
}

在ASP.NET程序的Global.asax文件中,首先初始化管理器,这样定时器就开启了。

protected void Application_Start()
 {
     JobManager.Initialize(new MyRegistry());
 }

以上是第一种写法,下面介绍第二种写法,这里执行多个任务 不同时间段

protected void Application_Start()
 {
     JobManager.AddJob(t=>t.ToRunEvery(1).Days().At(24,00));//每天的凌晨12点 执行 
     JobManager.AddJob(t => t.ToRunEvery(1).Months().OnTheLastDay().At(8,30));//每个月的最后一天早上八点半 执行
     JobManager.Start();//启动任务管理器
 }