Changeset 2738

trunk/exports/G2export_CIF.py

-                      r2733
+                      r2738
             #=== multiblock: multiple phases and/or histograms ====================
             nsteps = 1 + len(self.Phases) + len(self.powderDict) + len(self.xtalDict)
+            try:
+                dlg = wx.ProgressDialog('CIF progress','starting',nsteps,parent=self.G2frame)
+            dlg = wx.ProgressDialog('CIF progress','starting',nsteps,parent=self.G2frame)
 #                Size = dlg.GetSize()
 #                Size = (int(Size[0]*3),Size[1]) # increase size along x
 #                dlg.SetSize(Size)
+                dlg.CenterOnParent()
+                # publication info
+                step = 1
+                dlg.Update(step,"Exporting overall section")
+                WriteCIFitem('\ndata_'+self.CIFname+'_publ')
+                WriteAudit()
+                WriteCIFitem('_pd_block_id',
+                             str(self.CIFdate) + "|" + str(self.CIFname) + "|" +
+                             str(self.shortauthorname) + "|Overall")
+                writeCIFtemplate(self.OverallParms['Controls'],'publ') #insert the publication template
+                # ``template_publ.cif`` or a modified version
+                # overall info
+                WriteCIFitem('data_'+str(self.CIFname)+'_overall')
+                WriteOverall()
+                #============================================================
+                WriteCIFitem('# POINTERS TO PHASE AND HISTOGRAM BLOCKS')
+                datablockidDict = {} # save block names here -- N.B. check for conflicts between phase & hist names (unlikely!)
+                # loop over phase blocks
+                if len(self.Phases) > 1:
+                    loopprefix = ''
+                    WriteCIFitem('loop_   _pd_phase_block_id')
+                else:
+                    loopprefix = '_pd_phase_block_id'
+                for phasenam in sorted(self.Phases.keys()):
+                    i = self.Phases[phasenam]['pId']
+                    datablockidDict[phasenam] = (str(self.CIFdate) + "|" + str(self.CIFname) + "|" +
+                                 'phase_'+ str(i) + '|' + str(self.shortauthorname))
+                    WriteCIFitem(loopprefix,datablockidDict[phasenam])
+                # loop over data blocks
+                if len(self.powderDict) + len(self.xtalDict) > 1:
+                    loopprefix = ''
+                    WriteCIFitem('loop_   _pd_block_diffractogram_id')
+                else:
+                    loopprefix = '_pd_block_diffractogram_id'
+                for i in sorted(self.powderDict.keys()):
+                    hist = self.powderDict[i]
+                    histblk = self.Histograms[hist]
+                    instnam = histblk["Sample Parameters"]['InstrName']
+                    instnam = instnam.replace(' ','')
+                    j = histblk['hId']
+                    datablockidDict[hist] = (str(self.CIFdate) + "|" + str(self.CIFname) + "|" +
+                                             str(self.shortauthorname) + "|" +
+                                             instnam + "_hist_"+str(j))
+                    WriteCIFitem(loopprefix,datablockidDict[hist])
+                for i in sorted(self.xtalDict.keys()):
+                    hist = self.xtalDict[i]
+                    histblk = self.Histograms[hist]
+                    instnam = histblk["Instrument Parameters"][0]['InstrName']
+                    instnam = instnam.replace(' ','')
+                    i = histblk['hId']
+                    datablockidDict[hist] = (str(self.CIFdate) + "|" + str(self.CIFname) + "|" +
+                                             str(self.shortauthorname) + "|" +
+                                             instnam + "_hist_"+str(i))
+                    WriteCIFitem(loopprefix,datablockidDict[hist])
+                #============================================================
+                # loop over phases, exporting them
+                phasebyhistDict = {} # create a cross-reference to phases by histogram
+                for j,phasenam in enumerate(sorted(self.Phases.keys())):
+            dlg.CenterOnParent()
+            # publication info
+            step = 1
+            dlg.Update(step,"Exporting overall section")
+            WriteCIFitem('\ndata_'+self.CIFname+'_publ')
+            WriteAudit()
+            WriteCIFitem('_pd_block_id',
+                         str(self.CIFdate) + "|" + str(self.CIFname) + "|" +
+                         str(self.shortauthorname) + "|Overall")
+            writeCIFtemplate(self.OverallParms['Controls'],'publ') #insert the publication template
+            # ``template_publ.cif`` or a modified version
+            # overall info
+            WriteCIFitem('data_'+str(self.CIFname)+'_overall')
+            WriteOverall()
+            #============================================================
+            WriteCIFitem('# POINTERS TO PHASE AND HISTOGRAM BLOCKS')
+            datablockidDict = {} # save block names here -- N.B. check for conflicts between phase & hist names (unlikely!)
+            # loop over phase blocks
+            if len(self.Phases) > 1:
+                loopprefix = ''
+                WriteCIFitem('loop_   _pd_phase_block_id')
+            else:
+                loopprefix = '_pd_phase_block_id'
+            for phasenam in sorted(self.Phases.keys()):
+                i = self.Phases[phasenam]['pId']
+                datablockidDict[phasenam] = (str(self.CIFdate) + "|" + str(self.CIFname) + "|" +
+                             'phase_'+ str(i) + '|' + str(self.shortauthorname))
+                WriteCIFitem(loopprefix,datablockidDict[phasenam])
+            # loop over data blocks
+            if len(self.powderDict) + len(self.xtalDict) > 1:
+                loopprefix = ''
+                WriteCIFitem('loop_   _pd_block_diffractogram_id')
+            else:
+                loopprefix = '_pd_block_diffractogram_id'
+            for i in sorted(self.powderDict.keys()):
+                hist = self.powderDict[i]
+                histblk = self.Histograms[hist]
+                instnam = histblk["Sample Parameters"]['InstrName']
+                instnam = instnam.replace(' ','')
+                j = histblk['hId']
+                datablockidDict[hist] = (str(self.CIFdate) + "|" + str(self.CIFname) + "|" +
+                                         str(self.shortauthorname) + "|" +
+                                         instnam + "_hist_"+str(j))
+                WriteCIFitem(loopprefix,datablockidDict[hist])
+            for i in sorted(self.xtalDict.keys()):
+                hist = self.xtalDict[i]
+                histblk = self.Histograms[hist]
+                instnam = histblk["Instrument Parameters"][0]['InstrName']
+                instnam = instnam.replace(' ','')
+                i = histblk['hId']
+                datablockidDict[hist] = (str(self.CIFdate) + "|" + str(self.CIFname) + "|" +
+                                         str(self.shortauthorname) + "|" +
+                                         instnam + "_hist_"+str(i))
+                WriteCIFitem(loopprefix,datablockidDict[hist])
+            #============================================================
+            # loop over phases, exporting them
+            phasebyhistDict = {} # create a cross-reference to phases by histogram
+            for j,phasenam in enumerate(sorted(self.Phases.keys())):
+                step += 1
+                dlg.Update(step,"Exporting phase "+phasenam+' (#'+str(j+1)+')')
+                i = self.Phases[phasenam]['pId']
+                WriteCIFitem('\ndata_'+self.CIFname+"_phase_"+str(i))
+                WriteCIFitem('# Information for phase '+str(i))
+                WriteCIFitem('_pd_block_id',datablockidDict[phasenam])
+                # report the phase
+                writeCIFtemplate(self.Phases[phasenam]['General'],'phase',phasenam) # write phase template
+                WritePhaseInfo(phasenam)
+                # preferred orientation
+                if self.ifPWDR:
+                    SH = FormatSH(phasenam)
+                    MD = FormatHAPpo(phasenam)
+                    if SH and MD:
+                        WriteCIFitem('_pd_proc_ls_pref_orient_corr', SH + '\n' + MD)
+                    elif SH or MD:
+                        WriteCIFitem('_pd_proc_ls_pref_orient_corr', SH + MD)
+                    else:
+                        WriteCIFitem('_pd_proc_ls_pref_orient_corr', 'none')
+                # report sample profile terms
+                PP = FormatPhaseProfile(phasenam)
+                if PP:
+                    WriteCIFitem('_pd_proc_ls_profile_function',PP)
+            #============================================================
+            # loop over histograms, exporting them
+            for i in sorted(self.powderDict.keys()):
+                hist = self.powderDict[i]
+                histblk = self.Histograms[hist]
+                if hist.startswith("PWDR"):
                     step += 1
+                    dlg.Update(step,"Exporting phase "+phasenam+' (#'+str(j+1)+')')
+                    i = self.Phases[phasenam]['pId']
+                    WriteCIFitem('\ndata_'+self.CIFname+"_phase_"+str(i))
+                    WriteCIFitem('# Information for phase '+str(i))
+                    WriteCIFitem('_pd_block_id',datablockidDict[phasenam])
+                    # report the phase
+                    writeCIFtemplate(self.Phases[phasenam]['General'],'phase',phasenam) # write phase template
+                    WritePhaseInfo(phasenam)
+                    # preferred orientation
+                    if self.ifPWDR:
+                        SH = FormatSH(phasenam)
+                        MD = FormatHAPpo(phasenam)
+                        if SH and MD:
+                            WriteCIFitem('_pd_proc_ls_pref_orient_corr', SH + '\n' + MD)
+                        elif SH or MD:
+                            WriteCIFitem('_pd_proc_ls_pref_orient_corr', SH + MD)
+                        else:
+                            WriteCIFitem('_pd_proc_ls_pref_orient_corr', 'none')
+                    # report sample profile terms
+                    PP = FormatPhaseProfile(phasenam)
+                    if PP:
+                        WriteCIFitem('_pd_proc_ls_profile_function',PP)
+                #============================================================
+                # loop over histograms, exporting them
+                for i in sorted(self.powderDict.keys()):
+                    hist = self.powderDict[i]
+                    histblk = self.Histograms[hist]
+                    if hist.startswith("PWDR"):
+                        step += 1
+                        dlg.Update(step,"Exporting "+hist.strip())
+                        WriteCIFitem('\ndata_'+self.CIFname+"_pwd_"+str(i))
+                        #instnam = histblk["Sample Parameters"]['InstrName']
+                        # report instrumental profile terms
+                        WriteCIFitem('_pd_proc_ls_profile_function',
+                            FormatInstProfile(histblk["Instrument Parameters"],histblk['hId']))
+                        WriteCIFitem('# Information for histogram '+str(i)+': '+hist)
+                        WriteCIFitem('_pd_block_id',datablockidDict[hist])
+                        histprm = self.Histograms[hist]["Sample Parameters"]
+                        writeCIFtemplate(histprm,'powder',histprm['InstrName']) # powder template
+                        WritePowderData(hist)
+                for i in sorted(self.xtalDict.keys()):
+                    hist = self.xtalDict[i]
+                    histblk = self.Histograms[hist]
+                    if hist.startswith("HKLF"):
+                        step += 1
+                        dlg.Update(step,"Exporting "+hist.strip())
+                        WriteCIFitem('\ndata_'+self.CIFname+"_sx_"+str(i))
+                        #instnam = histblk["Instrument Parameters"][0]['InstrName']
+                        WriteCIFitem('# Information for histogram '+str(i)+': '+hist)
+                        WriteCIFitem('_pd_block_id',datablockidDict[hist])
+                        histprm = self.Histograms[hist]["Instrument Parameters"][0]
+                        writeCIFtemplate(histprm,'single',histprm['InstrName']) # single crystal template
+                        WriteSingleXtalData(hist)
+            except Exception:
+                import traceback
+                print(traceback.format_exc())
+                self.G2frame.ErrorDialog('Exception',
+                                         'Error occurred in CIF creation. '+
+                                         'See full error message in console output ')
+            finally:
+                dlg.Destroy()
+                    dlg.Update(step,"Exporting "+hist.strip())
+                    WriteCIFitem('\ndata_'+self.CIFname+"_pwd_"+str(i))
+                    #instnam = histblk["Sample Parameters"]['InstrName']
+                    # report instrumental profile terms
+                    WriteCIFitem('_pd_proc_ls_profile_function',
+                        FormatInstProfile(histblk["Instrument Parameters"],histblk['hId']))
+                    WriteCIFitem('# Information for histogram '+str(i)+': '+hist)
+                    WriteCIFitem('_pd_block_id',datablockidDict[hist])
+                    histprm = self.Histograms[hist]["Sample Parameters"]
+                    writeCIFtemplate(histprm,'powder',histprm['InstrName']) # powder template
+                    WritePowderData(hist)
+            for i in sorted(self.xtalDict.keys()):
+                hist = self.xtalDict[i]
+                histblk = self.Histograms[hist]
+                if hist.startswith("HKLF"):
+                    step += 1
+                    dlg.Update(step,"Exporting "+hist.strip())
+                    WriteCIFitem('\ndata_'+self.CIFname+"_sx_"+str(i))
+                    #instnam = histblk["Instrument Parameters"][0]['InstrName']
+                    WriteCIFitem('# Information for histogram '+str(i)+': '+hist)
+                    WriteCIFitem('_pd_block_id',datablockidDict[hist])
+                    histprm = self.Histograms[hist]["Instrument Parameters"][0]
+                    writeCIFtemplate(histprm,'single',histprm['InstrName']) # single crystal template
+                    WriteSingleXtalData(hist)
+            dlg.Destroy()
         WriteCIFitem('#--' + 15*'eof--' + '#')
 …
         dlg.Destroy()
         if ret == wx.ID_OK:
+            try:
+                cf = G2IO.ReadCIF(fil)
+                if len(cf.keys()) == 0:
+                    raise Exception,"No CIF data_ blocks found"
+                if len(cf.keys()) != 1:
+                    raise Exception, 'Error, CIF Template has more than one block: '+fil
+                self.dict["CIF_template"] = fil
+            except Exception as err:
+                print('\nError reading CIF: '+fil)
+                dlg = wx.MessageDialog(self.cifdefs,
+                                   'Error reading CIF '+fil,
+                                   'Error in CIF file',
+                                   wx.OK)
+                dlg.ShowModal()
+                dlg.Destroy()
+                print(err.message)
+                return
+            cf = G2IO.ReadCIF(fil)
+            if len(cf.keys()) == 0:
+                raise Exception,"No CIF data_ blocks found"
+            if len(cf.keys()) != 1:
+                raise Exception, 'Error, CIF Template has more than one block: '+fil
+            self.dict["CIF_template"] = fil
             self.repaint() #EditCIFDefaults()

trunk/imports/G2phase.py

-                      r2539
+                      r2738
     def Reader(self,filename,filepointer, ParentFrame=None, **unused):
         'Read a PDF file using :meth:`ReadPDBPhase`'
+        try:
+            self.Phase = self.ReadPDBPhase(filename, ParentFrame)
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print 'PDB read error:',detail # for testing
+            traceback.print_exc(file=sys.stdout)
+            return False
+        self.Phase = self.ReadPDBPhase(filename, ParentFrame)
+        return True
     def ReadPDBPhase(self,filename,parent=None):
 …
     def Reader(self,filename,filepointer, ParentFrame=None, **unused):
         'Read a phase from a GSAS .EXP file using :meth:`ReadEXPPhase`'
+        try:
+            self.Phase = self.ReadEXPPhase(ParentFrame, filepointer)
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print 'GSAS .EXP read error:',detail # for testing
+            traceback.print_exc(file=sys.stdout)
+            return False
+        self.Phase = self.ReadEXPPhase(ParentFrame, filepointer)
+        return True
     def ReadEXPPhase(self, G2frame,filepointer):
 …
     def Reader(self,filename,filepointer, ParentFrame=None, **unused):
         'Read a m50 file using :meth:`ReadJANAPhase`'
+        try:
+            self.Phase = self.ReadJANAPhase(filename, ParentFrame)
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print 'JANA read error:',detail # for testing
+            traceback.print_exc(file=sys.stdout)
+            return False
+        self.Phase = self.ReadJANAPhase(filename, ParentFrame)
+        return True
     def ReadJANAPhase(self,filename,parent=None):

trunk/imports/G2phase_CIF.py

-                      r2470
+                      r2738
             '_cell_length_a','_cell_length_b','_cell_length_c',
             '_cell_angle_alpha','_cell_angle_beta','_cell_angle_gamma',)
         cellwaveitems = (
             '_cell_wave_vector_seq_id',
             '_cell_wave_vector_x','_cell_wave_vector_y','_cell_wave_vector_z')
+#        cellwaveitems = (
+#            '_cell_wave_vector_seq_id',
+#            '_cell_wave_vector_x','_cell_wave_vector_y','_cell_wave_vector_z')
         reqitems = (
              '_atom_site_fract_x',
 …
             '_chemical_formula_sum'
+            )
+        try:
+            self.ShowBusy() # this can take a while
+            try:
+                cf = G2IO.ReadCIF(filename)
+            except Exception as detail:
+                self.errors = "Parse or reading of file failed in pyCifRW; check syntax of file in enCIFer or CheckCIF"
+                return False
+            finally:
+                self.DoneBusy()
+            # scan blocks for structural info
+            self.errors = 'Error during scan of blocks for datasets'
+            str_blklist = []
+            for blk in cf.keys():
+                for r in reqitems+cellitems:
+                    if r not in cf[blk].keys():
+        self.ShowBusy() # this can take a while
+        cf = G2IO.ReadCIF(filename)
+        self.DoneBusy()
+        # scan blocks for structural info
+        self.errors = 'Error during scan of blocks for datasets'
+        str_blklist = []
+        for blk in cf.keys():
+            for r in reqitems+cellitems:
+                if r not in cf[blk].keys():
+                    break
+            else:
+                str_blklist.append(blk)
+        if not str_blklist:
+            selblk = None # no block to choose
+        elif len(str_blklist) == 1: # only one choice
+            selblk = 0
+        else:                       # choose from options
+            choice = []
+            for blknm in str_blklist:
+                choice.append('')
+                # accumumlate some info about this phase
+                choice[-1] += blknm + ': '
+                for i in phasenamefields: # get a name for the phase
+                    name = cf[blknm].get(i).strip()
+                    if name is None or name == '?' or name == '.':
+                        continue
+                    else:
+                        choice[-1] += name.strip()[:20] + ', '
                         break
+                else:
+                    str_blklist.append(blk)
+            if not str_blklist:
+                selblk = None # no block to choose
+            elif len(str_blklist) == 1: # only one choice
+                selblk = 0
+            else:                       # choose from options
+                choice = []
+                for blknm in str_blklist:
+                    choice.append('')
+                    # accumumlate some info about this phase
+                    choice[-1] += blknm + ': '
+                    for i in phasenamefields: # get a name for the phase
+                        name = cf[blknm].get(i).strip()
+                        if name is None or name == '?' or name == '.':
+                            continue
+                        else:
+                            choice[-1] += name.strip()[:20] + ', '
+                            break
+                    na = len(cf[blknm].get("_atom_site_fract_x"))
+                    if na == 1:
+                        choice[-1] += '1 atom'
+                na = len(cf[blknm].get("_atom_site_fract_x"))
+                if na == 1:
+                    choice[-1] += '1 atom'
+                else:
+                    choice[-1] += ('%d' % nd) + ' atoms'
+                choice[-1] += ', cell: '
+                fmt = "%.2f,"
+                for i,key in enumerate(cellitems):
+                    if i == 3: fmt = "%.f,"
+                    if i == 5: fmt = "%.f"
+                    choice[-1] += fmt % cif.get_number_with_esd(
+                        cf[blknm].get(key))[0]
+                sg = cf[blknm].get("_symmetry_space_group_name_H-M",'')
+                if not sg: sg = cf[blknm].get("_space_group_name_H-M_alt",'')
+                if sg: choice[-1] += ', (' + sg.strip() + ')'
+            selblk = self.PhaseSelector(
+                choice,
+                ParentFrame=ParentFrame,
+                title= 'Select a phase from one the CIF data_ blocks below',
+                size=(600,100)
+                )
+        self.errors = 'Error during reading of selected block'
+        if selblk is None:
+            returnstat = False # no block selected or available
+        else:
+            blknm = str_blklist[selblk]
+            blk = cf[str_blklist[selblk]]
+            E = True
+            Super = False
+            SpGrp = blk.get("_symmetry_space_group_name_H-M",'')
+            if not SpGrp:
+                SpGrp = blk.get("_space_group_name_H-M_alt",'')
+            if not SpGrp:
+                sspgrp = blk.get("_space_group_ssg_name",'').split('(')
+                SpGrp = sspgrp[0]
+                SuperSg = '('+sspgrp[1].replace('\\','')
+                Super = True
+                SuperVec = [[0,0,.1],False,4]
+            # try normalizing the space group, to see if we can pick the space group out of a table
+            SpGrpNorm = G2spc.StandardizeSpcName(SpGrp)
+            if SpGrpNorm:
+                E,SGData = G2spc.SpcGroup(SpGrpNorm)
+            # nope, try the space group "out of the Box"
+            if E and SpGrp:
+                E,SGData = G2spc.SpcGroup(SpGrp)
+            if E:
+                if not SpGrp:
+                    self.warnings += 'No space group name was found in the CIF.'
+                    self.warnings += '\nThe space group has been set to "P 1". '
+                    self.warnings += "Change this in phase's General tab."
+                else:
+                    self.warnings += 'ERROR in space group symbol '+SpGrp
+                    self.warnings += '\nThe space group has been set to "P 1". '
+                    self.warnings += "Change this in phase's General tab."
+                    self.warnings += '\nAre there spaces separating axial fields?\n\nError msg: '
+                    self.warnings += G2spc.SGErrors(E)
+                SGData = G2IO.SGData # P 1
+            self.Phase['General']['SGData'] = SGData
+            # cell parameters
+            cell = []
+            for lbl in cellitems:
+                cell.append(cif.get_number_with_esd(blk[lbl])[0])
+            Volume = G2lat.calc_V(G2lat.cell2A(cell))
+            self.Phase['General']['Cell'] = [False,]+cell+[Volume,]
+            # read in atoms
+            self.errors = 'Error during reading of atoms'
+            atomlbllist = [] # table to look up atom IDs
+            atomloop = blk.GetLoop('_atom_site_label')
+            atomkeys = [i.lower() for i in atomloop.keys()]
+            if not blk.get('_atom_site_type_symbol'):
+                self.isodistort_warnings += '\natom types are missing. \n Check & revise atom types as needed'
+            if blk.get('_atom_site_aniso_label'):
+                anisoloop = blk.GetLoop('_atom_site_aniso_label')
+                anisokeys = [i.lower() for i in anisoloop.keys()]
+                anisolabels = blk.get('_atom_site_aniso_label')
+            else:
+                anisoloop = None
+                anisokeys = []
+                anisolabels = []
+            if Super:
+                occFloop = None
+                occCloop = None
+                occFdict = {}
+                occCdict = {}
+                displSloop = None
+                displFloop = None
+                dispSdict = {}
+                dispFdict = {}
+                UijFloop = None
+                UijFdict = {}
+                if blk.get('_atom_site_occ_Fourier_atom_site_label'):
+                    occFloop = blk.GetLoop('_atom_site_occ_Fourier_atom_site_label')
+                    occFdict = dict(occFloop.items())
+                if blk.get('_atom_site_occ_special_func_atom_site_label'):  #Crenel (i.e. Block Wave) occ
+                    occCloop = blk.GetLoop('_atom_site_occ_special_func_atom_site_label')
+                    occCdict = dict(occCloop.items())
+                if blk.get('_atom_site_displace_Fourier_atom_site_label'):
+                    displFloop = blk.GetLoop('_atom_site_displace_Fourier_atom_site_label')
+                    displFdict = dict(displFloop.items())
+                if blk.get('_atom_site_displace_special_func_atom_site_label'): #sawtooth
+                    displSloop = blk.GetLoop('_atom_site_displace_special_func_atom_site_label')
+                    displSdict = dict(displSloop.items())
+                if blk.get('_atom_site_U_Fourier_atom_site_label'):
+                    UijFloop = blk.GetLoop('_atom_site_U_Fourier_atom_site_label')
+                    UijFdict = dict(UijFloop.items())
+            self.Phase['Atoms'] = []
+            G2AtomDict = {  '_atom_site_type_symbol' : 1,
+                            '_atom_site_label' : 0,
+                            '_atom_site_fract_x' : 3,
+                            '_atom_site_fract_y' : 4,
+                            '_atom_site_fract_z' : 5,
+                            '_atom_site_occupancy' : 6,
+                            '_atom_site_aniso_u_11' : 11,
+                            '_atom_site_aniso_u_22' : 12,
+                            '_atom_site_aniso_u_33' : 13,
+                            '_atom_site_aniso_u_12' : 14,
+                            '_atom_site_aniso_u_13' : 15,
+                            '_atom_site_aniso_u_23' : 16, }
+            ranIdlookup = {}
+            for aitem in atomloop:
+                atomlist = ['','','',0,0,0,1.0,'',0,'I',0.01,0,0,0,0,0,0,0]
+                atomlist[-1] = ran.randint(0,sys.maxint) # add a random Id
+                while atomlist[-1] in ranIdlookup:
+                    atomlist[-1] = ran.randint(0,sys.maxint) # make it unique
+                for val,key in zip(aitem,atomkeys):
+                    col = G2AtomDict.get(key)
+                    if col >= 3:
+                        atomlist[col] = cif.get_number_with_esd(val)[0]
+                        if col >= 11: atomlist[9] = 'A' # if any Aniso term is defined, set flag
+                    elif col is not None:
+                        atomlist[col] = val
+                    elif key in ('_atom_site_thermal_displace_type',
+                               '_atom_site_adp_type'):   #Iso or Aniso?
+                        if val.lower() == 'uani':
+                            atomlist[9] = 'A'
+                    elif key == '_atom_site_u_iso_or_equiv':
+                        uisoval =cif.get_number_with_esd(val)[0]
+                        if uisoval is not None: atomlist[10] = uisoval
+                if not atomlist[1] and atomlist[0]:
+                    typ = atomlist[0].rstrip('0123456789-+')
+                    if G2elem.CheckElement(typ):
+                        atomlist[1] = typ
+                    if not atomlist[1]:
+                        atomlist[1] = 'Xe'
+                        self.warnings += ' Atom type '+typ+' not recognized; Xe assumed\n'
+                if atomlist[0] in anisolabels: # does this atom have aniso values in separate loop?
+                    atomlist[9] = 'A'  # set the aniso flag
+                    for val,key in zip( # load the values
+                            anisoloop.GetKeyedPacket('_atom_site_aniso_label',atomlist[0]),
+                            anisokeys):
+                        col = G2AtomDict.get(key)
+                        if col:
+                            atomlist[col] = cif.get_number_with_esd(val)[0]
+                atomlist[7],atomlist[8] = G2spc.SytSym(atomlist[3:6],SGData)[:2]
+                atomlist[1] = G2elem.FixValence(atomlist[1])
+                self.Phase['Atoms'].append(atomlist)
+                ranIdlookup[atomlist[0]] = atomlist[-1]
+                if atomlist[0] in atomlbllist:
+                    self.warnings += ' ERROR: repeated atom label: '+atomlist[0]
+                else:
+                    atomlbllist.append(atomlist[0])
+                if Super:
+                    Sfrac = []
+                    Sadp = []
+                    Spos = np.zeros((4,6))
+                    nim = -1
+                    for i,item in enumerate(displFdict['_atom_site_displace_Fourier_atom_site_label']):
+                        if item == atomlist[0]:
+                            waveType = 'Fourier'
+                            ix = ['x','y','z'].index(displFdict['_atom_site_displace_Fourier_axis'][i])
+                            im = int(displFdict['_atom_site_displace_Fourier_wave_vector_seq_id'][i])
+                            if im != nim:
+                                nim = im
+                            val = displFdict['_atom_site_displace_Fourier_param_sin'][i]
+                            Spos[im-1][ix] = cif.get_number_with_esd(val)[0]
+                            val = displFdict['_atom_site_displace_Fourier_param_cos'][i]
+                            Spos[im-1][ix+3] = cif.get_number_with_esd(val)[0]
+                    if nim >= 0:
+                        Spos = [[spos,False] for spos in Spos[:nim]]
                     else:
+                        choice[-1] += ('%d' % nd) + ' atoms'
+                    choice[-1] += ', cell: '
+                    fmt = "%.2f,"
+                    for i,key in enumerate(cellitems):
+                        if i == 3: fmt = "%.f,"
+                        if i == 5: fmt = "%.f"
+                        choice[-1] += fmt % cif.get_number_with_esd(
+                            cf[blknm].get(key))[0]
+                    sg = cf[blknm].get("_symmetry_space_group_name_H-M",'')
+                    if not sg: sg = cf[blknm].get("_space_group_name_H-M_alt",'')
+                    if sg: choice[-1] += ', (' + sg.strip() + ')'
+                selblk = self.PhaseSelector(
+                    choice,
+                    ParentFrame=ParentFrame,
+                    title= 'Select a phase from one the CIF data_ blocks below',
+                    size=(600,100)
+                    )
+            self.errors = 'Error during reading of selected block'
+            if selblk is None:
+                returnstat = False # no block selected or available
+            else:
+                blknm = str_blklist[selblk]
+                blk = cf[str_blklist[selblk]]
+                E = True
+                Super = False
+                SpGrp = blk.get("_symmetry_space_group_name_H-M",'')
+                if not SpGrp:
+                    SpGrp = blk.get("_space_group_name_H-M_alt",'')
+                if not SpGrp:
+                    sspgrp = blk.get("_space_group_ssg_name",'').split('(')
+                    SpGrp = sspgrp[0]
+                    SuperSg = '('+sspgrp[1].replace('\\','')
+                    Super = True
+                    SuperVec = [[0,0,.1],False,4]
+                # try normalizing the space group, to see if we can pick the space group out of a table
+                SpGrpNorm = G2spc.StandardizeSpcName(SpGrp)
+                if SpGrpNorm:
+                    E,SGData = G2spc.SpcGroup(SpGrpNorm)
+                # nope, try the space group "out of the Box"
+                if E and SpGrp:
+                    E,SGData = G2spc.SpcGroup(SpGrp)
+                if E:
+                    if not SpGrp:
+                        self.warnings += 'No space group name was found in the CIF.'
+                        self.warnings += '\nThe space group has been set to "P 1". '
+                        self.warnings += "Change this in phase's General tab."
+                    else:
+                        self.warnings += 'ERROR in space group symbol '+SpGrp
+                        self.warnings += '\nThe space group has been set to "P 1". '
+                        self.warnings += "Change this in phase's General tab."
+                        self.warnings += '\nAre there spaces separating axial fields?\n\nError msg: '
+                        self.warnings += G2spc.SGErrors(E)
+                    SGData = G2IO.SGData # P 1
+                self.Phase['General']['SGData'] = SGData
+                # cell parameters
+                cell = []
+                for lbl in cellitems:
+                    cell.append(cif.get_number_with_esd(blk[lbl])[0])
+                Volume = G2lat.calc_V(G2lat.cell2A(cell))
+                self.Phase['General']['Cell'] = [False,]+cell+[Volume,]
+                # read in atoms
+                self.errors = 'Error during reading of atoms'
+                atomlbllist = [] # table to look up atom IDs
+                atomloop = blk.GetLoop('_atom_site_label')
+                atomkeys = [i.lower() for i in atomloop.keys()]
+                if not blk.get('_atom_site_type_symbol'):
+                    self.isodistort_warnings += '\natom types are missing. \n Check & revise atom types as needed'
+                if blk.get('_atom_site_aniso_label'):
+                    anisoloop = blk.GetLoop('_atom_site_aniso_label')
+                    anisokeys = [i.lower() for i in anisoloop.keys()]
+                    anisolabels = blk.get('_atom_site_aniso_label')
+                else:
+                    anisoloop = None
+                    anisokeys = []
+                    anisolabels = []
+                if Super:
+                    occFloop = None
+                    occCloop = None
+                    occFdict = {}
+                    cooCdict = {}
+                    displSloop = None
+                    displFloop = None
+                    dispSdict = {}
+                    dispFdict = {}
+                    UijFloop = None
+                    UijFdict = {}
+                    if blk.get('_atom_site_occ_Fourier_atom_site_label'):
+                        occFloop = blk.GetLoop('_atom_site_occ_Fourier_atom_site_label')
+                        occFdict = dict(occFloop.items())
+                    if blk.get('_atom_site_occ_special_func_atom_site_label'):  #Crenel (i.e. Block Wave) occ
+                        occCloop = blk.GetLoop('_atom_site_occ_special_func_atom_site_label')
+                        occCdict = dict(occCloop.items())
+                    if blk.get('_atom_site_displace_Fourier_atom_site_label'):
+                        displFloop = blk.GetLoop('_atom_site_displace_Fourier_atom_site_label')
+                        displFdict = dict(displFloop.items())
+                    if blk.get('_atom_site_displace_special_func_atom_site_label'): #sawtooth
+                        displSloop = blk.GetLoop('_atom_site_displace_special_func_atom_site_label')
+                        displSdict = dict(displSloop.items())
+                    if blk.get('_atom_site_U_Fourier_atom_site_label'):
+                        UijFloop = blk.GetLoop('_atom_site_U_Fourier_atom_site_label')
+                        UijFdict = dict(UijFloop.items())
+                self.Phase['Atoms'] = []
+                G2AtomDict = {  '_atom_site_type_symbol' : 1,
+                                '_atom_site_label' : 0,
+                                '_atom_site_fract_x' : 3,
+                                '_atom_site_fract_y' : 4,
+                                '_atom_site_fract_z' : 5,
+                                '_atom_site_occupancy' : 6,
+                                '_atom_site_aniso_u_11' : 11,
+                                '_atom_site_aniso_u_22' : 12,
+                                '_atom_site_aniso_u_33' : 13,
+                                '_atom_site_aniso_u_12' : 14,
+                                '_atom_site_aniso_u_13' : 15,
+                                '_atom_site_aniso_u_23' : 16, }
+                ranIdlookup = {}
+                for aitem in atomloop:
+                    atomlist = ['','','',0,0,0,1.0,'',0,'I',0.01,0,0,0,0,0,0,0]
+                    atomlist[-1] = ran.randint(0,sys.maxint) # add a random Id
+                    while atomlist[-1] in ranIdlookup:
+                        atomlist[-1] = ran.randint(0,sys.maxint) # make it unique
+                    for val,key in zip(aitem,atomkeys):
+                        col = G2AtomDict.get(key)
+                        if col >= 3:
+                            atomlist[col] = cif.get_number_with_esd(val)[0]
+                            if col >= 11: atomlist[9] = 'A' # if any Aniso term is defined, set flag
+                        elif col is not None:
+                            atomlist[col] = val
+                        elif key in ('_atom_site_thermal_displace_type',
+                                   '_atom_site_adp_type'):   #Iso or Aniso?
+                            if val.lower() == 'uani':
+                                atomlist[9] = 'A'
+                        elif key == '_atom_site_u_iso_or_equiv':
+                            uisoval =cif.get_number_with_esd(val)[0]
+                            if uisoval is not None: atomlist[10] = uisoval
+                    if not atomlist[1] and atomlist[0]:
+                        typ = atomlist[0].rstrip('0123456789-+')
+                        if G2elem.CheckElement(typ):
+                            atomlist[1] = typ
+                        if not atomlist[1]:
+                            atomlist[1] = 'Xe'
+                            self.warnings += ' Atom type '+typ+' not recognized; Xe assumed\n'
+                    if atomlist[0] in anisolabels: # does this atom have aniso values in separate loop?
+                        atomlist[9] = 'A'  # set the aniso flag
+                        for val,key in zip( # load the values
+                                anisoloop.GetKeyedPacket('_atom_site_aniso_label',atomlist[0]),
+                                anisokeys):
+                            col = G2AtomDict.get(key)
+                            if col:
+                                atomlist[col] = cif.get_number_with_esd(val)[0]
+                    atomlist[7],atomlist[8] = G2spc.SytSym(atomlist[3:6],SGData)[:2]
+                    atomlist[1] = G2elem.FixValence(atomlist[1])
+                    self.Phase['Atoms'].append(atomlist)
+                    ranIdlookup[atomlist[0]] = atomlist[-1]
+                    if atomlist[0] in atomlbllist:
+                        self.warnings += ' ERROR: repeated atom label: '+atomlist[0]
+                    else:
+                        atomlbllist.append(atomlist[0])
+                    if Super:
+                        Sfrac = []
+                        Sadp = []
+                        Spos = np.zeros((4,6))
+                        Spos = []
+                    if UijFdict:
                         nim = -1
+                        for i,item in enumerate(displFdict['_atom_site_displace_Fourier_atom_site_label']):
+                        Sadp = np.zeros((4,12))
+                        for i,item in enumerate(UijFdict['_atom_site_U_Fourier_atom_site_label']):
                             if item == atomlist[0]:
+                                waveType = 'Fourier'
+                                ix = ['x','y','z'].index(displFdict['_atom_site_displace_Fourier_axis'][i])
+                                im = int(displFdict['_atom_site_displace_Fourier_wave_vector_seq_id'][i])
+                                ix = ['U11','U22','U33','U12','U13','U23'].index(UijFdict['_atom_site_U_Fourier_tens_elem'][i])
+                                im = int(UijFdict['_atom_site_U_Fourier_wave_vector_seq_id'][i])
                                 if im != nim:
                                     nim = im
                                 val = displFdict['_atom_site_displace_Fourier_param_sin'][i]
                                 Spos[im-1][ix] = cif.get_number_with_esd(val)[0]
                                 val = displFdict['_atom_site_displace_Fourier_param_cos'][i]
                                 Spos[im-1][ix+3] = cif.get_number_with_esd(val)[0]
+                                val = UijFdict['_atom_site_U_Fourier_param_sin'][i]
+                                Sadp[im-1][ix] = cif.get_number_with_esd(val)[0]
+                                val = UijFdict['_atom_site_U_Fourier_param_cos'][i]
+                                Sadp[im-1][ix+6] = cif.get_number_with_esd(val)[0]
                         if nim >= 0:
                             Spos = [[spos,False] for spos in Spos[:nim]]
+                            Sadp = [[sadp,False] for sadp in Sadp[:nim]]
                         else:
+                            Spos = []
+                        if UijFdict:
+                            nim = -1
+                            Sadp = np.zeros((4,12))
+                            for i,item in enumerate(UijFdict['_atom_site_U_Fourier_atom_site_label']):
+                                if item == atomlist[0]:
+                                    ix = ['U11','U22','U33','U12','U13','U23'].index(UijFdict['_atom_site_U_Fourier_tens_elem'][i])
+                                    im = int(UijFdict['_atom_site_U_Fourier_wave_vector_seq_id'][i])
+                                    if im != nim:
+                                        nim = im
+                                    val = UijFdict['_atom_site_U_Fourier_param_sin'][i]
+                                    Sadp[im-1][ix] = cif.get_number_with_esd(val)[0]
+                                    val = UijFdict['_atom_site_U_Fourier_param_cos'][i]
+                                    Sadp[im-1][ix+6] = cif.get_number_with_esd(val)[0]
+                            if nim >= 0:
+                                Sadp = [[sadp,False] for sadp in Sadp[:nim]]
+                            else:
+                                Sadp = []
+                        SSdict = {'SS1':{'waveType':waveType,'Sfrac':Sfrac,'Spos':Spos,'Sadp':Sadp,'Smag':[]}}
+                        atomlist.append(SSdict)
+                if len(atomlbllist) != len(self.Phase['Atoms']):
+                    self.isodistort_warnings += '\nRepeated atom labels prevents ISODISTORT decode'
+                for lbl in phasenamefields: # get a name for the phase
+                    name = blk.get(lbl)
+                    if name is None:
+                        continue
+                    name = name.strip()
+                    if name == '?' or name == '.':
+                        continue
+                    else:
+                        break
+                else: # no name found, use block name for lack of a better choice
+                    name = blknm
+                self.Phase['General']['Name'] = name.strip()[:20]
+                self.Phase['General']['Super'] = Super
+                if Super:
+                    self.Phase['General']['Type'] = 'modulated'
+                    self.Phase['General']['SuperVec'] = SuperVec
+                    self.Phase['General']['SuperSg'] = SuperSg
+                    self.Phase['General']['SSGData'] = G2spc.SSpcGroup(SGData,SuperSg)[1]
+                if not self.isodistort_warnings:
+                    if blk.get('_iso_displacivemode_label') or blk.get('_iso_occupancymode_label'):
+                        self.errors = "Error while processing ISODISTORT constraints"
+                        self.ISODISTORT_proc(blk,atomlbllist,ranIdlookup)
+                else:
+                    self.warnings += self.isodistort_warnings
+                returnstat = True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print 'CIF error:',detail # for testing
+            print sys.exc_info()[0] # for testing
+            import traceback
+            print traceback.format_exc()
+            returnstat = False
+                            Sadp = []
+                    SSdict = {'SS1':{'waveType':waveType,'Sfrac':Sfrac,'Spos':Spos,'Sadp':Sadp,'Smag':[]}}
+                    atomlist.append(SSdict)
+            if len(atomlbllist) != len(self.Phase['Atoms']):
+                self.isodistort_warnings += '\nRepeated atom labels prevents ISODISTORT decode'
+            for lbl in phasenamefields: # get a name for the phase
+                name = blk.get(lbl)
+                if name is None:
+                    continue
+                name = name.strip()
+                if name == '?' or name == '.':
+                    continue
+                else:
+                    break
+            else: # no name found, use block name for lack of a better choice
+                name = blknm
+            self.Phase['General']['Name'] = name.strip()[:20]
+            self.Phase['General']['Super'] = Super
+            if Super:
+                self.Phase['General']['Type'] = 'modulated'
+                self.Phase['General']['SuperVec'] = SuperVec
+                self.Phase['General']['SuperSg'] = SuperSg
+                self.Phase['General']['SSGData'] = G2spc.SSpcGroup(SGData,SuperSg)[1]
+            if not self.isodistort_warnings:
+                if blk.get('_iso_displacivemode_label') or blk.get('_iso_occupancymode_label'):
+                    self.errors = "Error while processing ISODISTORT constraints"
+                    self.ISODISTORT_proc(blk,atomlbllist,ranIdlookup)
+            else:
+                self.warnings += self.isodistort_warnings
+            returnstat = True
         return returnstat

trunk/imports/G2phase_GPX.py

-                      r1812
+                      r2738
                 self.errors = 'No phase selected'
                 return False # User pressed cancel
+        try:
+            self.Phase = G2stIO.GetAllPhaseData(filename,phasenames[selblk])
+            self.Phase['Histograms'] = {}       #remove any histograms
+            self.Phase['Pawley ref'] = []       # & any Pawley refl.
+            self.Phase['ranId'] = ran.randint(0,sys.maxint)
+            return True
+        except Exception as detail:
+            self.errors = 'Error reading selected phase'
+            self.errors += '\n  '+str(detail)
+            print self.formatName+' error:',detail # for testing
+            print sys.exc_info()[0] # for testing
+            import traceback
+            print traceback.format_exc()
+        self.Phase = G2stIO.GetAllPhaseData(filename,phasenames[selblk])
+        self.Phase['Histograms'] = {}       #remove any histograms
+        self.Phase['Pawley ref'] = []       # & any Pawley refl.
+        self.Phase['ranId'] = ran.randint(0,sys.maxint)
+        return True

trunk/imports/G2phase_INS.py

-                      r2736
+                      r2738
 '''
 import sys
-import traceback
-import math
 import numpy as np
 import random as ran
 …
     def Reader(self,filename,filepointer, ParentFrame=None, **unused):
         'Read a ins file using :meth:`ReadINSPhase`'
-        #try:
         self.Phase = self.ReadINSPhase(filename, ParentFrame)
         return True
-        #except Exception as detail:
-        #    self.errors += '\n  '+str(detail)
-        #    print 'INS read error:',detail # for testing
-        #    traceback.print_exc(file=sys.stdout)
-        #    return False
     def ReadINSPhase(self,filename,parent=None):
 …
             'SUMP','L.S.','CGLS','BLOC','DAMP','STIR','WGHT','FVAR','BOND','CONF','MPLA',
             'HTAB','LIST','ACTA','SIZE','TEMP','WPDB','FMAP','GRID','PLAN','MOLE']
-        EightPiSq = 8.*math.pi**2
         self.errors = 'Error opening file'
         file = open(filename, 'Ur')
         Phase = {}
         Title = ''
-        Compnd = ''
         Atoms = []
         aTypes = []
-        A = np.zeros(shape=(3,3))
         S = file.readline()
         line = 1
         SGData = None
         cell = None
-        numbs = [str(i) for i in range(10)]
         while S:
             if '!' in S:
 …
             self.errors = 'Error reading at line '+str(line)
             Atom = []
-            Aindx = [ch in numbs for ch in S[:4]]   #False for all letters
             if 'TITL' in S[:4].upper():
                 Title = S[4:72].strip()
 …
                 Volume = G2lat.calc_V(G2lat.cell2A(cell))
                 AA,AB = G2lat.cell2AB(cell)
-                SpGrp = 'P 1'
                 SGData = G2IO.SGData # P 1
                 self.warnings += '\nThe space group is not given in an ins file and has been set to "P 1".'

trunk/imports/G2pwd_BrukerRAW.py

-                      r2700
+                      r2738
             raise Exception    #for now
         elif 'ver. 2' in self.formatName:
+            try:
+                File.seek(4)
+                nBlock = int(st.unpack('<i',File.read(4))[0])
+                File.seek(168)
+                self.comments.append('Date/Time='+File.read(20))
+                self.comments.append('Anode='+File.read(2))
+                self.comments.append('Ka1=%.5f'%(st.unpack('<f',File.read(4))[0]))
+                self.comments.append('Ka2=%.5f'%(st.unpack('<f',File.read(4))[0]))
+                self.comments.append('Ka2/Ka1=%.5f'%(st.unpack('<f',File.read(4))[0]))
+                File.seek(206)
+                self.comments.append('Kb=%.5f'%(st.unpack('<f',File.read(4))[0]))
+                pos = 256
+                File.seek(pos)
+                blockNum = kwarg.get('blocknum',0)
+                self.idstring = ospath.basename(filename) + ' Scan '+str(blockNum)
+                if blockNum <= nBlock:
+                    for iBlock in range(blockNum):
+                        headLen = int(st.unpack('<H',File.read(2))[0])
+                        nSteps = int(st.unpack('<H',File.read(2))[0])
+                        if iBlock+1 == blockNum:
+                            File.seek(pos+12)
+                            step = st.unpack('<f',File.read(4))[0]
+                            start2Th = st.unpack('<f',File.read(4))[0]
+                            pos += headLen      #position at start of data block
+                            File.seek(pos)
+                            x = np.array([start2Th+i*step for i in range(nSteps)])
+                            y = np.array([max(1.,st.unpack('<f',File.read(4))[0]) for i in range(nSteps)])
+                            y = np.where(y<0.,y,1.)
+                            w = 1./y
+                            self.powderdata = [x,y,w,np.zeros(nSteps),np.zeros(nSteps),np.zeros(nSteps)]
+                            break
+                        pos += headLen+4*nSteps
+                        File.seek(pos)
+                    if blockNum == nBlock:
+                        self.repeat = False
+                File.close()
+            except Exception as detail:
+                self.errors += '\n  '+str(detail)
+                print self.formatName+' read error:'+str(detail) # for testing
+                import traceback
+                traceback.print_exc(file=sys.stdout)
+                return False
+            File.seek(4)
+            nBlock = int(st.unpack('<i',File.read(4))[0])
+            File.seek(168)
+            self.comments.append('Date/Time='+File.read(20))
+            self.comments.append('Anode='+File.read(2))
+            self.comments.append('Ka1=%.5f'%(st.unpack('<f',File.read(4))[0]))
+            self.comments.append('Ka2=%.5f'%(st.unpack('<f',File.read(4))[0]))
+            self.comments.append('Ka2/Ka1=%.5f'%(st.unpack('<f',File.read(4))[0]))
+            File.seek(206)
+            self.comments.append('Kb=%.5f'%(st.unpack('<f',File.read(4))[0]))
+            pos = 256
+            File.seek(pos)
+            blockNum = kwarg.get('blocknum',0)
+            self.idstring = ospath.basename(filename) + ' Scan '+str(blockNum)
+            if blockNum <= nBlock:
+                for iBlock in range(blockNum):
+                    headLen = int(st.unpack('<H',File.read(2))[0])
+                    nSteps = int(st.unpack('<H',File.read(2))[0])
+                    if iBlock+1 == blockNum:
+                        File.seek(pos+12)
+                        step = st.unpack('<f',File.read(4))[0]
+                        start2Th = st.unpack('<f',File.read(4))[0]
+                        pos += headLen      #position at start of data block
+                        File.seek(pos)
+                        x = np.array([start2Th+i*step for i in range(nSteps)])
+                        y = np.array([max(1.,st.unpack('<f',File.read(4))[0]) for i in range(nSteps)])
+                        y = np.where(y<0.,y,1.)
+                        w = 1./y
+                        self.powderdata = [x,y,w,np.zeros(nSteps),np.zeros(nSteps),np.zeros(nSteps)]
+                        break
+                    pos += headLen+4*nSteps
+                    File.seek(pos)
+                if blockNum == nBlock:
+                    self.repeat = False
+            File.close()
         elif 'ver. 3' in self.formatName:
+            try:
+                File.seek(12)
+                nBlock = int(st.unpack('<i',File.read(4))[0])
+                self.comments.append('Date='+File.read(10))
+                self.comments.append('Time='+File.read(10))
+                File.seek(326)
+                self.comments.append('Sample='+File.read(60))
+                File.seek(564)
+                radius = st.unpack('<f',File.read(4))[0]
+                self.comments.append('Gonio. radius=%.2f'%(radius))
+                self.Sample['Gonio. radius'] = radius
+                File.seek(608)
+                self.comments.append('Anode='+File.read(4))
+                File.seek(616)
+                self.comments.append('Ka mean=%.5f'%(st.unpack('<d',File.read(8))[0]))
+                self.comments.append('Ka1=%.5f'%(st.unpack('<d',File.read(8))[0]))
+                self.comments.append('Ka2=%.5f'%(st.unpack('<d',File.read(8))[0]))
+                self.comments.append('Kb=%.5f'%(st.unpack('<d',File.read(8))[0]))
+                self.comments.append('Ka2/Ka1=%.5f'%(st.unpack('<d',File.read(8))[0]))
+                pos = 712
+                File.seek(pos)      #position at 1st block header
+                blockNum = kwarg.get('blocknum',0)
+                self.idstring = ospath.basename(filename) + ' Scan '+str(blockNum)
+                if blockNum <= nBlock:
+                    for iBlock in range(blockNum):
+                        headLen = int(st.unpack('<i',File.read(4))[0])
+                        if nBlock > 1:
+                            headLen += 40
+                        nSteps = int(st.unpack('<i',File.read(4))[0])
+                        if not nSteps: break
+                        if iBlock+1 == blockNum:
+                            st.unpack('<d',File.read(8))[0]
+                            start2Th = st.unpack('<d',File.read(8))[0]
+                            File.seek(pos+212)
+                            temp = st.unpack('<f',File.read(4))[0]
+                            if temp > 0.:
+                                self.Sample['Temperature'] = temp
+                            File.seek(pos+176)
+                            step = st.unpack('<d',File.read(8))[0]
+                            pos += headLen      #position at start of data block
+                            File.seek(pos)
+                            x = np.array([start2Th+i*step for i in range(nSteps)])
+                            y = np.array([max(1.,st.unpack('<f',File.read(4))[0]) for i in range(nSteps)])
+                            w = 1./y
+                            self.powderdata = [x,y,w,np.zeros(nSteps),np.zeros(nSteps),np.zeros(nSteps)]
+                            break
+                        pos += headLen+4*nSteps
+                        File.seek(pos)
+                    if blockNum == nBlock:
+                        self.repeat = False
+                File.close()
+            except Exception as detail:
+                self.errors += '\n  '+str(detail)
+                print self.formatName+' read error:'+str(detail) # for testing
+                import traceback
+                traceback.print_exc(file=sys.stdout)
+                return False
+            File.seek(12)
+            nBlock = int(st.unpack('<i',File.read(4))[0])
+            self.comments.append('Date='+File.read(10))
+            self.comments.append('Time='+File.read(10))
+            File.seek(326)
+            self.comments.append('Sample='+File.read(60))
+            File.seek(564)
+            radius = st.unpack('<f',File.read(4))[0]
+            self.comments.append('Gonio. radius=%.2f'%(radius))
+            self.Sample['Gonio. radius'] = radius
+            File.seek(608)
+            self.comments.append('Anode='+File.read(4))
+            File.seek(616)
+            self.comments.append('Ka mean=%.5f'%(st.unpack('<d',File.read(8))[0]))
+            self.comments.append('Ka1=%.5f'%(st.unpack('<d',File.read(8))[0]))
+            self.comments.append('Ka2=%.5f'%(st.unpack('<d',File.read(8))[0]))
+            self.comments.append('Kb=%.5f'%(st.unpack('<d',File.read(8))[0]))
+            self.comments.append('Ka2/Ka1=%.5f'%(st.unpack('<d',File.read(8))[0]))
+            pos = 712
+            File.seek(pos)      #position at 1st block header
+            blockNum = kwarg.get('blocknum',0)
+            self.idstring = ospath.basename(filename) + ' Scan '+str(blockNum)
+            if blockNum <= nBlock:
+                for iBlock in range(blockNum):
+                    headLen = int(st.unpack('<i',File.read(4))[0])
+                    if nBlock > 1:
+                        headLen += 40
+                    nSteps = int(st.unpack('<i',File.read(4))[0])
+                    if not nSteps: break
+                    if iBlock+1 == blockNum:
+                        st.unpack('<d',File.read(8))[0]
+                        start2Th = st.unpack('<d',File.read(8))[0]
+                        File.seek(pos+212)
+                        temp = st.unpack('<f',File.read(4))[0]
+                        if temp > 0.:
+                            self.Sample['Temperature'] = temp
+                        File.seek(pos+176)
+                        step = st.unpack('<d',File.read(8))[0]
+                        pos += headLen      #position at start of data block
+                        File.seek(pos)
+                        x = np.array([start2Th+i*step for i in range(nSteps)])
+                        y = np.array([max(1.,st.unpack('<f',File.read(4))[0]) for i in range(nSteps)])
+                        w = 1./y
+                        self.powderdata = [x,y,w,np.zeros(nSteps),np.zeros(nSteps),np.zeros(nSteps)]
+                        break
+                    pos += headLen+4*nSteps
+                    File.seek(pos)
+                if blockNum == nBlock:
+                    self.repeat = False
+            File.close()
         elif 'ver. 4' in self.formatName:   #does not work - format still elusive
+            try:
+                File.seek(12)   #ok
+                self.comments.append('Date='+File.read(10))
+                self.comments.append('Time='+File.read(10))
+                File.seek(144)
+                self.comments.append('Sample='+File.read(60))
+                File.seek(564)  # where is it?
+                radius = st.unpack('<f',File.read(4))[0]
+                self.comments.append('Gonio. radius=%.2f'%(radius))
+                self.Sample['Gonio. radius'] = radius
+                File.seek(516)  #ok
+                self.comments.append('Anode='+File.read(4))
+                File.seek(472)  #ok
+                self.comments.append('Ka mean=%.5f'%(st.unpack('<d',File.read(8))[0]))
+                self.comments.append('Ka1=%.5f'%(st.unpack('<d',File.read(8))[0]))
+                self.comments.append('Ka2=%.5f'%(st.unpack('<d',File.read(8))[0]))
+                self.comments.append('Kb=%.5f'%(st.unpack('<d',File.read(8))[0]))
+                self.comments.append('Ka2/Ka1=%.5f'%(st.unpack('<d',File.read(8))[0]))
+                File.seek(pos)  #deliberate fail here - pos not known from file contents
+                self.idstring = ospath.basename(filename) + ' Scan '+str(1)
+                nSteps = int(st.unpack('<i',File.read(4))[0])
+                st.unpack('<d',File.read(8))[0]
+                start2Th = st.unpack('<d',File.read(8))[0]
+                File.seek(pos+176)
+                step = st.unpack('<d',File.read(8))[0]
+                pos += headLen      #position at start of data block
+                File.seek(pos)
+                x = np.array([start2Th+i*step for i in range(nSteps)])
+                y = np.array([max(1.,st.unpack('<f',File.read(4))[0]) for i in range(nSteps)])
+                w = 1./y
+                self.powderdata = [x,y,w,np.zeros(nSteps),np.zeros(nSteps),np.zeros(nSteps)]
+                File.close()
+            except Exception as detail:
+                self.errors += '\n  '+str(detail)
+                print self.formatName+' read error:'+str(detail) # for testing
+                import traceback
+                traceback.print_exc(file=sys.stdout)
+                return False
+            File.seek(12)   #ok
+            self.comments.append('Date='+File.read(10))
+            self.comments.append('Time='+File.read(10))
+            File.seek(144)
+            self.comments.append('Sample='+File.read(60))
+            File.seek(564)  # where is it?
+            radius = st.unpack('<f',File.read(4))[0]
+            self.comments.append('Gonio. radius=%.2f'%(radius))
+            self.Sample['Gonio. radius'] = radius
+            File.seek(516)  #ok
+            self.comments.append('Anode='+File.read(4))
+            File.seek(472)  #ok
+            self.comments.append('Ka mean=%.5f'%(st.unpack('<d',File.read(8))[0]))
+            self.comments.append('Ka1=%.5f'%(st.unpack('<d',File.read(8))[0]))
+            self.comments.append('Ka2=%.5f'%(st.unpack('<d',File.read(8))[0]))
+            self.comments.append('Kb=%.5f'%(st.unpack('<d',File.read(8))[0]))
+            self.comments.append('Ka2/Ka1=%.5f'%(st.unpack('<d',File.read(8))[0]))
+            File.seek(pos)  #deliberate fail here - pos not known from file contents
+            self.idstring = ospath.basename(filename) + ' Scan '+str(1)
+            nSteps = int(st.unpack('<i',File.read(4))[0])
+            st.unpack('<d',File.read(8))[0]
+            start2Th = st.unpack('<d',File.read(8))[0]
+            File.seek(pos+176)
+            step = st.unpack('<d',File.read(8))[0]
+            pos += headLen      #position at start of data block
+            File.seek(pos)
+            x = np.array([start2Th+i*step for i in range(nSteps)])
+            y = np.array([max(1.,st.unpack('<f',File.read(4))[0]) for i in range(nSteps)])
+            w = 1./y
+            self.powderdata = [x,y,w,np.zeros(nSteps),np.zeros(nSteps),np.zeros(nSteps)]
+            File.close()
         return True

trunk/imports/G2pwd_CIF.py

-                      r2516
+                      r2738
 '''
-import sys
 import numpy as np
 import os.path
 …
             self.ShowBusy() # this can take a while
             print "Starting parse of CIF file"
+            try:
+                cf = G2IO.ReadCIF(filename)
+            except Exception as detail:
+                self.errors = "Parse or reading of file failed in pyCifRW; check syntax of file in enCIFer or CheckCIF"
+                return False
+            finally:
+                self.DoneBusy()
+            cf = G2IO.ReadCIF(filename)
+            self.DoneBusy()
             print "CIF file parsed"
         # scan all blocks for sets of data
         if choicelist is None:
+            try:
+                choicelist = []
+                for blk in cf.keys():
+                    blkkeys = [k.lower() for k in cf[blk].keys()] # save a list of the data items, since we will use it often
+                    # scan through block for x items
+                    xldict = {}
+                    for x in xDataItems:
+                        if type(x) is tuple: # check for the presence of all three items that define a range of data
+                            if not all([i in blkkeys for i in x]): continue
+                            try:
+                                items = [float(cf[blk][xi]) for xi in x]
+                                l = 1 + int(0.5 + (items[1]-items[0])/items[2])
+                            except:
+                                continue
+            choicelist = []
+            for blk in cf.keys():
+                blkkeys = [k.lower() for k in cf[blk].keys()] # save a list of the data items, since we will use it often
+                # scan through block for x items
+                xldict = {}
+                for x in xDataItems:
+                    if type(x) is tuple: # check for the presence of all three items that define a range of data
+                        if not all([i in blkkeys for i in x]): continue
+                        try:
+                            items = [float(cf[blk][xi]) for xi in x]
+                            l = 1 + int(0.5 + (items[1]-items[0])/items[2])
+                        except:
+                            continue
+                    else:
+                        if x not in blkkeys: continue
+                        l = len(cf[blk][x])
+                    if xldict.get(l) is None:
+                        xldict[l] = [x]
+                    else:
+                        xldict[l].append(x)
+                # now look for matching intensity items
+                yldict = {}
+                suldict = {}
+                for y in intDataItems:
+                    if y in blkkeys:
+                        l = len(cf[blk][y])
+                        if yldict.get(l) is None:
+                            yldict[l] = [y]
                         else:
+                            if x not in blkkeys: continue
+                            l = len(cf[blk][x])
+                        if xldict.get(l) is None:
+                            xldict[l] = [x]
+                            yldict[l].append(y)
+                        # now check if the first item has an uncertainty
+                        if cif.get_number_with_esd(cf[blk][y][0])[1] is None: continue
+                        if suldict.get(l) is None:
+                            suldict[l] = [y]
                         else:
+                            xldict[l].append(x)
+                    # now look for matching intensity items
+                    yldict = {}
+                    suldict = {}
+                    for y in intDataItems:
+                        if y in blkkeys:
+                            l = len(cf[blk][y])
+                            if yldict.get(l) is None:
+                                yldict[l] = [y]
+                            else:
+                                yldict[l].append(y)
+                            # now check if the first item has an uncertainty
+                            if cif.get_number_with_esd(cf[blk][y][0])[1] is None: continue
+                            if suldict.get(l) is None:
+                                suldict[l] = [y]
+                            else:
+                                suldict[l].append(y)
+                    for y in ESDDataItems:
+                        if y in blkkeys:
+                            l = len(cf[blk][y])
+                            if suldict.get(l) is None:
+                                suldict[l] = [y]
+                            else:
+                                suldict[l].append(y)
+                    modldict = {}
+                    for y in ModDataItems:
+                        if y in blkkeys:
+                            l = len(cf[blk][y])
+                            if modldict.get(l) is None:
+                                modldict[l] = [y]
+                            else:
+                                modldict[l].append(y)
+                    for l in xldict:
+                        if yldict.get(l) is None: continue
+                        choicelist.append([blk,l,xldict[l],yldict[l],suldict.get(l,[]),modldict.get(l,[])])
+                        #print blk,l,xldict[l],yldict[l],suldict.get(l,[]),modldict.get(l,[])
+            except Exception as detail:
+                self.errors = "Error scanning blocks"
+                self.errors += "\n  Read exception: "+str(detail)
+                print self.formatName+' read error:'+str(detail) # for testing
+                import traceback
+                traceback.print_exc(file=sys.stdout)
+                #self.errors += "\n  Traceback info:\n"+str(traceback.format_exc())
+                return False
+                            suldict[l].append(y)
+                for y in ESDDataItems:
+                    if y in blkkeys:
+                        l = len(cf[blk][y])
+                        if suldict.get(l) is None:
+                            suldict[l] = [y]
+                        else:
+                            suldict[l].append(y)
+                modldict = {}
+                for y in ModDataItems:
+                    if y in blkkeys:
+                        l = len(cf[blk][y])
+                        if modldict.get(l) is None:
+                            modldict[l] = [y]
+                        else:
+                            modldict[l].append(y)
+                for l in xldict:
+                    if yldict.get(l) is None: continue
+                    choicelist.append([blk,l,xldict[l],yldict[l],suldict.get(l,[]),modldict.get(l,[])])
+                    #print blk,l,xldict[l],yldict[l],suldict.get(l,[]),modldict.get(l,[])
             print "CIF file scanned for blocks with data"
         if not choicelist:
 …
         # now read in the values
+        try:
+            self.ShowBusy() # this can also take a while
+            # x-values
+            xcf = xch[xi]
+            if type(xcf) is tuple:
+                vals = [float(cf[blk][xi]) for xi in xcf]
+                x = np.array(
+                    [(i*vals[2] + vals[0]) for i in range(1 + int(0.5 + (vals[1]-vals[0])/vals[2]))]
+                    )
+        self.ShowBusy() # this can also take a while
+        # x-values
+        xcf = xch[xi]
+        if type(xcf) is tuple:
+            vals = [float(cf[blk][ixi]) for ixi in xcf]
+            x = np.array([(i*vals[2] + vals[0]) for i in range(1 + int(0.5 + (vals[1]-vals[0])/vals[2]))])
+        else:
+            vl = []
+            for val in cf[blk].get(xcf,'?'):
+                v,e = cif.get_number_with_esd(val)
+                if v is None: # not parsed
+                    vl.append(np.NaN)
+                else:
+                    vl.append(v)
+            x = np.array(vl)
+        # y-values
+        ycf = ych[yi]
+        vl = []
+        v2 = []
+        for val in cf[blk].get(ycf,'?'):
+            v,e = cif.get_number_with_esd(val)
+            if v is None: # not parsed
+                vl.append(np.NaN)
+                v2.append(np.NaN)
             else:
+                vl = []
+                for val in cf[blk].get(xcf,'?'):
+                vl.append(v)
+                v2.append(max(e,1.0))
+        y = np.array(vl)
+        w = 1./np.array(v2)**2
+        # weights
+        if sui == -1:
+            # no weights
+            vl = np.zeros(len(x)) + 1.
+        else:
+            vl = []
+            sucf = such[sui]
+            if sucf ==  '_pd_proc_ls_weight':
+                for val in cf[blk].get(sucf,'?'):
                     v,e = cif.get_number_with_esd(val)
                     if v is None: # not parsed
+                        vl.append(0.)
+                    else:
+                        vl.append(v)
+            elif sucf ==  '_pd_meas_counts_total':
+                for val in cf[blk].get(sucf,'?'):
+                    v,e = cif.get_number_with_esd(val)
+                    if v is None: # not parsed
+                        vl.append(0.)
+                    elif v <= 0:
+                        vl.append(1.)
+                    else:
+                        vl.append(1./v)
+            else:
+                for val in cf[blk].get(sucf,'?'):
+                    v,e = cif.get_number_with_esd(val)
+                    if v is None or e is None: # not parsed or no ESD
                         vl.append(np.NaN)
+                    else:
+                        vl.append(v)
+                x = np.array(vl)
+            # y-values
+            ycf = ych[yi]
+                    elif e <= 0:
+                        vl.append(1.)
+                    else:
+                        vl.append(1./(e*e))
+#            w = np.array(vl)
+        # intensity modification factor
+        if modi >= 1:
+            ycf = modch[modi-1]
             vl = []
-            v2 = []
             for val in cf[blk].get(ycf,'?'):
                 v,e = cif.get_number_with_esd(val)
                 if v is None: # not parsed
                     vl.append(np.NaN)
-                    v2.append(np.NaN)
                 else:
                     vl.append(v)
+                    v2.append(max(e,1.0))
+            y = np.array(vl)
+            w = 1./np.array(v2)**2
+            # weights
+            if sui == -1:
+                # no weights
+                vl = np.zeros(len(x)) + 1.
+            else:
+                vl = []
+                sucf = such[sui]
+                if sucf ==  '_pd_proc_ls_weight':
+                    for val in cf[blk].get(sucf,'?'):
+                        v,e = cif.get_number_with_esd(val)
+                        if v is None: # not parsed
+                            vl.append(0.)
+                        else:
+                            vl.append(v)
+                elif sucf ==  '_pd_meas_counts_total':
+                    for val in cf[blk].get(sucf,'?'):
+                        v,e = cif.get_number_with_esd(val)
+                        if v is None: # not parsed
+                            vl.append(0.)
+                        elif v <= 0:
+                            vl.append(1.)
+                        else:
+                            vl.append(1./v)
+                else:
+                    for val in cf[blk].get(sucf,'?'):
+                        v,e = cif.get_number_with_esd(val)
+                        if v is None or e is None: # not parsed or no ESD
+                            vl.append(np.NaN)
+                        elif e <= 0:
+                            vl.append(1.)
+                        else:
+                            vl.append(1./(e*e))
+#            w = np.array(vl)
+            # intensity modification factor
+            if modi >= 1:
+                ycf = modch[modi-1]
+                vl = []
+                for val in cf[blk].get(ycf,'?'):
+                    v,e = cif.get_number_with_esd(val)
+                    if v is None: # not parsed
+                        vl.append(np.NaN)
+                    else:
+                        vl.append(v)
+                y /= np.array(vl)
+                w /= np.array(vl)
+            N = len(x)
+        except Exception as detail:
+            self.errors = "Error reading from selected block"
+            self.errors += "\n  Read exception: "+str(detail)
+            print self.formatName+' read error:'+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            #self.errors += "\n  Traceback info:\n"+str(traceback.format_exc())
+            return False
+        finally:
+            self.DoneBusy()
+            print "CIF file, read from selected block"
+            y /= np.array(vl)
+            w /= np.array(vl)
+        N = len(x)
+        self.DoneBusy()
+        print "CIF file, read from selected block"
         self.errors = "Error while storing read values"

trunk/imports/G2pwd_FP.py

-                      r2516
+                      r2738
         y = []
         w = []
+        try:
+            gotCcomment = False
+            begin = True
+            steps = False
+            Stop = False
+            N = 0
+            for i,S in enumerate(filepointer):
+                self.errors = 'Error reading line: '+str(i+1)
+                # or a block of comments delimited by /* and */
+                # or (GSAS style) each line can begin with '#' or '!'
+                if begin:
+                    if gotCcomment and S.find('*/') > -1:
+                        self.comments.append(S[:-1])
+                        begin = False
+                        continue
+                    if S.strip().startswith('/*'):
+                        self.comments.append(S[:-1])
+                        gotCcomment = True
+                        continue
+                    if S.lstrip()[0] in ["'",'#','!',]:
+                        self.comments.append(S[:-1])
+                        continue       #ignore comments, if any
+        gotCcomment = False
+        begin = True
+        steps = False
+        Stop = False
+        N = 0
+        for i,S in enumerate(filepointer):
+            self.errors = 'Error reading line: '+str(i+1)
+            # or a block of comments delimited by /* and */
+            # or (GSAS style) each line can begin with '#' or '!'
+            if begin:
+                if gotCcomment and S.find('*/') > -1:
+                    self.comments.append(S[:-1])
+                    begin = False
+                    continue
+                if S.strip().startswith('/*'):
+                    self.comments.append(S[:-1])
+                    gotCcomment = True
+                    continue
+                if S.lstrip()[0] in ["'",'#','!',]:
+                    self.comments.append(S[:-1])
+                    continue       #ignore comments, if any
+                else:
+                    begin = False
+            # valid line to read
+            if not steps:
+                vals = S.split(None,4)
+                if len(vals) >= 3:
+                    steps = True
+                    start = float(vals[0])
+                    step = float(vals[1])
+                    stop = float(vals[2])
+                    if len(vals) > 3:
+                        self.comments.append(vals[3][:-1])
+                    continue
+            vals = S.split()    #data strings
+            try:
+                for j in range(len(vals)):
+                    x.append(start+N*step)
+                    f = float(vals[j])
+                    if f <= 0.0:
+                        y.append(0.0)
+                        w.append(0.0)
                     else:
+                        begin = False
+                # valid line to read
+                if not steps:
+                    vals = S.split(None,4)
+                    if len(vals) >= 3:
+                        steps = True
+                        start = float(vals[0])
+                        step = float(vals[1])
+                        stop = float(vals[2])
+                        if len(vals) > 3:
+                            self.comments.append(vals[3][:-1])
+                        continue
+                vals = S.split()    #data strings
+                        y.append(float(vals[j]))
+                        w.append(1.0/float(vals[j]))
+                    if x[-1] >= stop:
+                        Stop = True
+                        break
+                    N += 1
+                if Stop:
+                    break
+            except ValueError:
+                msg = 'Error parsing number in line '+str(i+1)
+                print msg
+                print S
+                break
+            except:
+                msg = 'Error in line '+str(i+1)
+                print msg
+                print S
+                break
+        N = len(x)
+        if N <= 1: return False
+        self.powderdata = [
+            np.array(x), # x-axis values
+            np.array(y), # powder pattern intensities
+            np.array(w), # 1/sig(intensity)^2 values (weights)
+            np.zeros(N), # calc. intensities (zero)
+            np.zeros(N), # calc. background (zero)
+            np.zeros(N), # obs-calc profiles
+            ]
+        self.powderentry[0] = filename
+        #self.powderentry[1] = pos # bank offset (N/A here)
+        #self.powderentry[2] = 1 # xye file only has one bank
+        self.idstring = ospath.basename(filename)
+        # scan comments for temperature
+        Temperature = 300
+        for S in self.comments:
+            if 'Temp' in S.split('=')[0]:
                 try:
+                    for j in range(len(vals)):
+                        x.append(start+N*step)
+                        f = float(vals[j])
+                        if f <= 0.0:
+                            y.append(0.0)
+                            w.append(0.0)
+                        else:
+                            y.append(float(vals[j]))
+                            w.append(1.0/float(vals[j]))
+                        if x[-1] >= stop:
+                            Stop = True
+                            break
+                        N += 1
+                    if Stop:
+                        break
+                except ValueError:
+                    msg = 'Error parsing number in line '+str(i+1)
+                    print msg
+                    print S
+                    break
+                    Temperature = float(S.split('=')[1])
                 except:
+                    msg = 'Error in line '+str(i+1)
+                    print msg
+                    print S
+                    break
+            N = len(x)
+            if N <= 1: return False
+            self.powderdata = [
+                np.array(x), # x-axis values
+                np.array(y), # powder pattern intensities
+                np.array(w), # 1/sig(intensity)^2 values (weights)
+                np.zeros(N), # calc. intensities (zero)
+                np.zeros(N), # calc. background (zero)
+                np.zeros(N), # obs-calc profiles
+                ]
+            self.powderentry[0] = filename
+            #self.powderentry[1] = pos # bank offset (N/A here)
+            #self.powderentry[2] = 1 # xye file only has one bank
+            self.idstring = ospath.basename(filename)
+            # scan comments for temperature
+            Temperature = 300
+            for S in self.comments:
+                if 'Temp' in S.split('=')[0]:
+                    try:
+                        Temperature = float(S.split('=')[1])
+                    except:
+                        pass
+            self.Sample['Temperature'] = Temperature
+                    pass
+        self.Sample['Temperature'] = Temperature
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print self.formatName+' read error:'+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+        return True

trunk/imports/G2pwd_GPX.py

-                      r1574
+                      r2738
                     rdbuffer['selections'] = selections
+        try:
+            fl = open(filename,'rb')
+            fl.seek(poslist[selblk])
+            data = cPickle.load(fl)
+            N = len(data[0][1][1][0])
+            #self.powderdata = data[0][1][1]
+            self.powderdata = [
+                data[0][1][1][0], # x-axis values
+                data[0][1][1][1], # powder pattern intensities
+                data[0][1][1][2], # 1/sig(intensity)^2 values (weights)
+                np.zeros(N), # calc. intensities (zero)
+                np.zeros(N), # calc. background (zero)
+                np.zeros(N), # obs-calc profiles
+            ]
+            self.powderentry[0] = filename
+            self.powderentry[2] = selblk+1
+            # pull some sections from the PWDR children
+            for i in range(1,len(data)):
+                if data[i][0] == 'Comments':
+                    self.comments = data[i][1]
+                    continue
+                elif data[i][0] == 'Sample Parameters':
+                    self.Sample = data[i][1]
+                    continue
+                for keepitem in ('Limits','Background','Instrument Parameters'):
+                    if data[i][0] == keepitem:
+                        self.pwdparms[data[i][0]] = data[i][1]
+                        break
+            self.idstring = data[0][0][5:]
+            self.repeat_instparm = False # prevent reuse of iparm when several hists are read
+            return True
+        except Exception as detail:
+            self.errors = 'Error reading selected histogram\n  '+str(detail)
+            print self.formatName+' error:',detail # for testing
+            print sys.exc_info()[0] # for testing
+            import traceback
+            print traceback.format_exc()
+            return False
+        finally:
+            fl.close()
+        fl = open(filename,'rb')
+        fl.seek(poslist[selblk])
+        data = cPickle.load(fl)
+        N = len(data[0][1][1][0])
+        #self.powderdata = data[0][1][1]
+        self.powderdata = [
+            data[0][1][1][0], # x-axis values
+            data[0][1][1][1], # powder pattern intensities
+            data[0][1][1][2], # 1/sig(intensity)^2 values (weights)
+            np.zeros(N), # calc. intensities (zero)
+            np.zeros(N), # calc. background (zero)
+            np.zeros(N), # obs-calc profiles
+        ]
+        self.powderentry[0] = filename
+        self.powderentry[2] = selblk+1
+        # pull some sections from the PWDR children
+        for i in range(1,len(data)):
+            if data[i][0] == 'Comments':
+                self.comments = data[i][1]
+                continue
+            elif data[i][0] == 'Sample Parameters':
+                self.Sample = data[i][1]
+                continue
+            for keepitem in ('Limits','Background','Instrument Parameters'):
+                if data[i][0] == keepitem:
+                    self.pwdparms[data[i][0]] = data[i][1]
+                    break
+        self.idstring = data[0][0][5:]
+        self.repeat_instparm = False # prevent reuse of iparm when several hists are read
+        fl.close()
+        return True

trunk/imports/G2pwd_csv.py

-                      r2516
+                      r2738
 '''
-import sys
 import os.path as ospath
 import numpy as np
 …
         y = []
         w = []
+        try:
+            begin = True
+            for i,S in enumerate(filepointer):
+                vals = S.replace(',',' ').replace(';',' ').split()
+                if len(vals) < 2 and i > 0:
+                    print 'Line '+str(i+1)+' cannot be read:\n\t'+S
+                    continue
+        for i,S in enumerate(filepointer):
+            vals = S.replace(',',' ').replace(';',' ').split()
+            if len(vals) < 2 and i > 0:
+                print 'Line '+str(i+1)+' cannot be read:\n\t'+S
+                continue
+            try:
+                x.append(float(vals[0]))
+                f = float(vals[1])
+                if f <= 0.0:
+                    y.append(0.0)
+                    w.append(0.0)
+                elif len(vals) == 3:
+                    y.append(float(vals[1]))
+                    w.append(1.0/float(vals[2])**2)
+                else:
+                    y.append(float(vals[1]))
+                    w.append(1.0/float(vals[1]))
+                err = False
+            except ValueError:
+                err = True
+                msg = 'Error parsing number in line '+str(i+1)
+            except:
+                err = True
+                msg = 'Error in line '+str(i+1)
+            if err and i > 0:
+                print msg
+                print S
+                break
+        N = len(x)
+        self.powderdata = [
+            np.array(x), # x-axis values
+            np.array(y), # powder pattern intensities
+            np.array(w), # 1/sig(intensity)^2 values (weights)
+            np.zeros(N), # calc. intensities (zero)
+            np.zeros(N), # calc. background (zero)
+            np.zeros(N), # obs-calc profiles
+            ]
+        self.powderentry[0] = filename
+        #self.powderentry[1] = pos # bank offset (N/A here)
+        #self.powderentry[2] = 1 # xye file only has one bank
+        self.idstring = ospath.basename(filename)
+        # scan comments for temperature
+        Temperature = 300
+        for S in self.comments:
+            if 'Temp' in S.split('=')[0]:
                 try:
+                    x.append(float(vals[0]))
+                    f = float(vals[1])
+                    if f <= 0.0:
+                        y.append(0.0)
+                        w.append(0.0)
+                    elif len(vals) == 3:
+                        y.append(float(vals[1]))
+                        w.append(1.0/float(vals[2])**2)
+                    else:
+                        y.append(float(vals[1]))
+                        w.append(1.0/float(vals[1]))
+                    err = False
+                except ValueError:
+                    err = True
+                    msg = 'Error parsing number in line '+str(i+1)
+                    Temperature = float(S.split('=')[1])
                 except:
+                    err = True
+                    msg = 'Error in line '+str(i+1)
+                if err and i > 0:
+                    print msg
+                    print S
+                    break
+            N = len(x)
+            self.powderdata = [
+                np.array(x), # x-axis values
+                np.array(y), # powder pattern intensities
+                np.array(w), # 1/sig(intensity)^2 values (weights)
+                np.zeros(N), # calc. intensities (zero)
+                np.zeros(N), # calc. background (zero)
+                np.zeros(N), # obs-calc profiles
+                ]
+            self.powderentry[0] = filename
+            #self.powderentry[1] = pos # bank offset (N/A here)
+            #self.powderentry[2] = 1 # xye file only has one bank
+            self.idstring = ospath.basename(filename)
+            # scan comments for temperature
+            Temperature = 300
+            for S in self.comments:
+                if 'Temp' in S.split('=')[0]:
+                    try:
+                        Temperature = float(S.split('=')[1])
+                    except:
+                        pass
+            self.Sample['Temperature'] = Temperature
+                    pass
+        self.Sample['Temperature'] = Temperature
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print self.formatName+' read error:'+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+        return True

trunk/imports/G2pwd_fxye.py

-                      r2516
+                      r2738
         def Tmap2TOF(TMap,clockWd):
             TOF = []
-            chWdt = []
             Tch,T,Step = TMap[0]
             for tmap in TMap[1:]:
 …
             return TOF
-        x = []
-        y = []
-        w = []
         Banks = []
         Pos = []
 …
         # in the input file.
         if len(Banks) != len(Pos) or len(Banks) == 0:
+            try:
+                i = -1
+                while True:
+                    i += 1
+                    S = filepointer.readline()
+                    if len(S) == 0: break
+                    if i==0: # first line is always a comment
+                        self.errors = 'Error reading title'
+                        title = S[:-1]
+                        comments = [[title,]]
+                        continue
+                    if i==1 and S[:4].lower() == 'inst' and ':' in S:
+                        # 2nd line is instrument parameter file (optional)
+                        self.errors = 'Error reading instrument parameter filename'
+                        self.instparm = S.split(':')[1].strip('[]').strip()
+                        continue
+                    if S[0] == '#': # allow comments anywhere in the file
+                        # comments in fact should only preceed BANK lines
+                        comments[-1].append(S[:-1])
+                        continue
+                    if S[:4] == 'BANK':
+                        self.errors = 'Error reading bank:'
+                        self.errors += '  '+str(S)
+                        comments.append([title,])
+                        Banks.append(S)
+                        Pos.append(filepointer.tell())
+                    if S[:8] == 'TIME_MAP':     #assumes one time map; HIPPO has multiple time maps
+                        if len(Banks) == 0:
+                            self.errors = 'Error reading time map before any bank lines'
+                        else:
+                            self.errors = 'Error reading time map after bank:\n  '+str(Banks[-1])
+                        timemap,clockwd,mapNo = GetTimeMap(filepointer,filepointer.tell(),S)
+                        self.TimeMap[mapNo] = timemap
+                        self.clockWd[mapNo] = clockwd
+            except Exception as detail:
+                self.errors += '\n  '+str(detail)
+                print self.formatName+' scan error:'+str(detail) # for testing
+                import traceback
+                traceback.print_exc(file=sys.stdout)
+                return False
+            i = -1
+            while True:
+                i += 1
+                S = filepointer.readline()
+                if len(S) == 0: break
+                if i==0: # first line is always a comment
+                    self.errors = 'Error reading title'
+                    title = S[:-1]
+                    comments = [[title,]]
+                    continue
+                if i==1 and S[:4].lower() == 'inst' and ':' in S:
+                    # 2nd line is instrument parameter file (optional)
+                    self.errors = 'Error reading instrument parameter filename'
+                    self.instparm = S.split(':')[1].strip('[]').strip()
+                    continue
+                if S[0] == '#': # allow comments anywhere in the file
+                    # comments in fact should only preceed BANK lines
+                    comments[-1].append(S[:-1])
+                    continue
+                if S[:4] == 'BANK':
+                    self.errors = 'Error reading bank:'
+                    self.errors += '  '+str(S)
+                    comments.append([title,])
+                    Banks.append(S)
+                    Pos.append(filepointer.tell())
+                if S[:8] == 'TIME_MAP':     #assumes one time map; HIPPO has multiple time maps
+                    if len(Banks) == 0:
+                        self.errors = 'Error reading time map before any bank lines'
+                    else:
+                        self.errors = 'Error reading time map after bank:\n  '+str(Banks[-1])
+                    timemap,clockwd,mapNo = GetTimeMap(filepointer,filepointer.tell(),S)
+                    self.TimeMap[mapNo] = timemap
+                    self.clockWd[mapNo] = clockwd
         # Now select the bank to read
 …
         except ValueError:
             bnkNo = 1
+        try:
+            if 'FXYE' in Bank:
+                self.errors = 'Error reading FXYE data in Bank\n  '+Banks[selblk]
+                self.powderdata = GetFXYEdata(filepointer,Pos[selblk],Banks[selblk])
+            elif 'FXY' in Bank:
+                self.errors = 'Error reading FXY data in Bank\n  '+Banks[selblk]
+                self.powderdata = GetFXYdata(filepointer,Pos[selblk],Banks[selblk])
+            elif 'ESD' in Bank:
+                self.errors = 'Error reading ESD data in Bank\n  '+Banks[selblk]
+                self.powderdata = GetESDdata(filepointer,Pos[selblk],Banks[selblk])
+            elif 'STD' in Bank:
+                self.errors = 'Error reading STD data in Bank\n  '+Banks[selblk]
+                self.powderdata = GetSTDdata(filepointer,Pos[selblk],Banks[selblk])
+            elif 'ALT' in Bank:
+                self.errors = 'Error reading ALT data in Bank\n  '+Banks[selblk]
+                self.powderdata = GetALTdata(filepointer,Pos[selblk],Banks[selblk])
+            else:
+                self.errors = 'Error reading STD data in Bank\n  '+Banks[selblk]
+                self.powderdata = GetSTDdata(filepointer,Pos[selblk],Banks[selblk])
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print self.formatName+' read error:'+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+        if 'FXYE' in Bank:
+            self.errors = 'Error reading FXYE data in Bank\n  '+Banks[selblk]
+            self.powderdata = GetFXYEdata(filepointer,Pos[selblk],Banks[selblk])
+        elif 'FXY' in Bank:
+            self.errors = 'Error reading FXY data in Bank\n  '+Banks[selblk]
+            self.powderdata = GetFXYdata(filepointer,Pos[selblk],Banks[selblk])
+        elif 'ESD' in Bank:
+            self.errors = 'Error reading ESD data in Bank\n  '+Banks[selblk]
+            self.powderdata = GetESDdata(filepointer,Pos[selblk],Banks[selblk])
+        elif 'STD' in Bank:
+            self.errors = 'Error reading STD data in Bank\n  '+Banks[selblk]
+            self.powderdata = GetSTDdata(filepointer,Pos[selblk],Banks[selblk])
+        elif 'ALT' in Bank:
+            self.errors = 'Error reading ALT data in Bank\n  '+Banks[selblk]
+            self.powderdata = GetALTdata(filepointer,Pos[selblk],Banks[selblk])
+        else:
+            self.errors = 'Error reading STD data in Bank\n  '+Banks[selblk]
+            self.powderdata = GetSTDdata(filepointer,Pos[selblk],Banks[selblk])
         self.errors = 'Error processing information after read complete'

trunk/imports/G2pwd_xye.py

-                      r2516
+                      r2738
 '''
-import sys
 import os.path as ospath
 import numpy as np
 …
         y = []
         w = []
+        try:
+            gotCcomment = False
+            begin = True
+            for i,S in enumerate(filepointer):
+                self.errors = 'Error reading line: '+str(i+1)
+                # or a block of comments delimited by /* and */
+                # or (GSAS style) each line can begin with '#'
+                if begin:
+                    if gotCcomment and S.find('*/') > -1:
+                        self.comments.append(S[:-1])
+                        begin = False
+                        continue
+                    if S.strip().startswith('/*'):
+                        self.comments.append(S[:-1])
+                        gotCcomment = True
+                        continue
+                    if S[0] in ["'",'#']:
+                        self.comments.append(S[:-1])
+                        continue       #ignore comments, if any
+                    else:
+                        begin = False
+                # valid line to read
+                #vals = S.split()
+                vals = S.replace(',',' ').replace(';',' ').split()
+                if len(vals) < 2:
+                    print 'Line '+str(i+1)+' cannot be read:\n\t'+S
+        gotCcomment = False
+        begin = True
+        for i,S in enumerate(filepointer):
+            self.errors = 'Error reading line: '+str(i+1)
+            # or a block of comments delimited by /* and */
+            # or (GSAS style) each line can begin with '#'
+            if begin:
+                if gotCcomment and S.find('*/') > -1:
+                    self.comments.append(S[:-1])
+                    begin = False
                     continue
+                if S.strip().startswith('/*'):
+                    self.comments.append(S[:-1])
+                    gotCcomment = True
+                    continue
+                if S[0] in ["'",'#']:
+                    self.comments.append(S[:-1])
+                    continue       #ignore comments, if any
+                else:
+                    begin = False
+            # valid line to read
+            #vals = S.split()
+            vals = S.replace(',',' ').replace(';',' ').split()
+            if len(vals) < 2:
+                print 'Line '+str(i+1)+' cannot be read:\n\t'+S
+                continue
+            try:
+                x.append(float(vals[0]))
+                f = float(vals[1])
+                if f <= 0.0:
+                    y.append(0.0)
+                    w.append(0.0)
+                elif len(vals) == 3:
+                    y.append(float(vals[1]))
+                    w.append(1.0/float(vals[2])**2)
+                else:
+                    y.append(float(vals[1]))
+                    w.append(1.0/float(vals[1]))
+            except ValueError:
+                msg = 'Error parsing number in line '+str(i+1)
+                print msg
+                print S
+                break
+            except:
+                msg = 'Error in line '+str(i+1)
+                print msg
+                print S
+                break
+        N = len(x)
+        self.powderdata = [
+            np.array(x), # x-axis values
+            np.array(y), # powder pattern intensities
+            np.array(w), # 1/sig(intensity)^2 values (weights)
+            np.zeros(N), # calc. intensities (zero)
+            np.zeros(N), # calc. background (zero)
+            np.zeros(N), # obs-calc profiles
+            ]
+        self.powderentry[0] = filename
+        #self.powderentry[1] = pos # bank offset (N/A here)
+        #self.powderentry[2] = 1 # xye file only has one bank
+        self.idstring = ospath.basename(filename)
+        # scan comments for temperature
+        Temperature = 300
+        for S in self.comments:
+            if 'Temp' in S.split('=')[0]:
                 try:
+                    x.append(float(vals[0]))
+                    f = float(vals[1])
+                    if f <= 0.0:
+                        y.append(0.0)
+                        w.append(0.0)
+                    elif len(vals) == 3:
+                        y.append(float(vals[1]))
+                        w.append(1.0/float(vals[2])**2)
+                    else:
+                        y.append(float(vals[1]))
+                        w.append(1.0/float(vals[1]))
+                except ValueError:
+                    msg = 'Error parsing number in line '+str(i+1)
+                    print msg
+                    print S
+                    break
+                    Temperature = float(S.split('=')[1])
                 except:
+                    msg = 'Error in line '+str(i+1)
+                    print msg
+                    print S
+                    break
+            N = len(x)
+            self.powderdata = [
+                np.array(x), # x-axis values
+                np.array(y), # powder pattern intensities
+                np.array(w), # 1/sig(intensity)^2 values (weights)
+                np.zeros(N), # calc. intensities (zero)
+                np.zeros(N), # calc. background (zero)
+                np.zeros(N), # obs-calc profiles
+                ]
+            self.powderentry[0] = filename
+            #self.powderentry[1] = pos # bank offset (N/A here)
+            #self.powderentry[2] = 1 # xye file only has one bank
+            self.idstring = ospath.basename(filename)
+            # scan comments for temperature
+            Temperature = 300
+            for S in self.comments:
+                if 'Temp' in S.split('=')[0]:
+                    try:
+                        Temperature = float(S.split('=')[1])
+                    except:
+                        pass
+            self.Sample['Temperature'] = Temperature
+                    pass
+        self.Sample['Temperature'] = Temperature
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print self.formatName+' read error:'+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+        return True

trunk/imports/G2sad_xye.py

-                      r1300
+                      r2738
         y = []
         w = []
+        try:
+            wave = 1.5428   #Cuka default
+            Temperature = 300
+            Ndata = 0
+            for i,S in enumerate(filepointer):
+                if len(S) == 1:     #skip blank line
+                    continue
+                if '=' in S:
+                    self.comments.append(S[:-1])
+                    if 'wave' in S.split('=')[0].lower():
+                        try:
+                            wave = float(S.split('=')[1])
+                        except:
+                            pass
+                    continue
+                vals = S.split()
+                if len(vals) >= 2:
+        wave = 1.5428   #Cuka default
+        Temperature = 300
+        for i,S in enumerate(filepointer):
+            if len(S) == 1:     #skip blank line
+                continue
+            if '=' in S:
+                self.comments.append(S[:-1])
+                if 'wave' in S.split('=')[0].lower():
                     try:
+                        data = [float(val) for val in vals]
+                        x.append(float(data[0]))
+                        f = float(data[1])
+                        if f <= 0.0:
+                            del x[-1]
+                            continue
+                        elif len(vals) > 2:
+                            y.append(float(data[1]))
+                            w.append(1.0/float(data[2])**2)
+                        else:
+                            y.append(float(data[1]))
+                            w.append(1.0/float(data[1]))
+                    except ValueError:
+                        msg = 'Error in line '+str(i+1)
+                        print msg
+                        continue
+            N = len(x)
+            for S in self.comments:
+                if 'Temp' in S.split('=')[0]:
+                    try:
+                        Temperature = float(S.split('=')[1])
+                        wave = float(S.split('=')[1])
                     except:
                         pass
+            self.instdict['wave'] = wave
+            self.instdict['type'] = 'LXC'
+            x = np.array(x)
+            self.smallangledata = [
+                x, # x-axis values q
+                np.array(y), # small angle pattern intensities
+                np.array(w), # 1/sig(intensity)^2 values (weights)
+                np.zeros(N), # calc. intensities (zero)
+                np.zeros(N), # obs-calc profiles
+                np.zeros(N), # fix bkg
+                ]
+            self.smallangleentry[0] = filename
+            self.smallangleentry[2] = 1 # xye file only has one bank
+            self.idstring = ospath.basename(filename)
+            # scan comments for temperature
+            self.Sample['Temperature'] = Temperature
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print self.formatName+' read error:'+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+                continue
+            vals = S.split()
+            if len(vals) >= 2:
+                try:
+                    data = [float(val) for val in vals]
+                    x.append(float(data[0]))
+                    f = float(data[1])
+                    if f <= 0.0:
+                        del x[-1]
+                        continue
+                    elif len(vals) > 2:
+                        y.append(float(data[1]))
+                        w.append(1.0/float(data[2])**2)
+                    else:
+                        y.append(float(data[1]))
+                        w.append(1.0/float(data[1]))
+                except ValueError:
+                    msg = 'Error in line '+str(i+1)
+                    print msg
+                    continue
+        N = len(x)
+        for S in self.comments:
+            if 'Temp' in S.split('=')[0]:
+                try:
+                    Temperature = float(S.split('=')[1])
+                except:
+                    pass
+        self.instdict['wave'] = wave
+        self.instdict['type'] = 'LXC'
+        x = np.array(x)
+        self.smallangledata = [
+            x, # x-axis values q
+            np.array(y), # small angle pattern intensities
+            np.array(w), # 1/sig(intensity)^2 values (weights)
+            np.zeros(N), # calc. intensities (zero)
+            np.zeros(N), # obs-calc profiles
+            np.zeros(N), # fix bkg
+            ]
+        self.smallangleentry[0] = filename
+        self.smallangleentry[2] = 1 # xye file only has one bank
+        self.idstring = ospath.basename(filename)
+        # scan comments for temperature
+        self.Sample['Temperature'] = Temperature
+        return True
 class txt_nmXRayReaderClass(G2IO.ImportSmallAngleData):
 …
         y = []
         w = []
+        try:
+            wave = 1.5428   #Cuka default
+            Temperature = 300
+            Ndata = 0
+            for i,S in enumerate(filepointer):
+                if len(S) == 1:     #skip blank line
+                    continue
+                if '=' in S:
+                    self.comments.append(S[:-1])
+                    if 'wave' in S.split('=')[0].lower():
+                        try:
+                            wave = float(S.split('=')[1])
+                        except:
+                            pass
+                    continue
+                vals = S.split()
+                if len(vals) >= 2:
+        wave = 1.5428   #Cuka default
+        Temperature = 300
+        for i,S in enumerate(filepointer):
+            if len(S) == 1:     #skip blank line
+                continue
+            if '=' in S:
+                self.comments.append(S[:-1])
+                if 'wave' in S.split('=')[0].lower():
                     try:
+                        data = [float(val) for val in vals]
+                        x.append(float(data[0])/10.)        #convert nm-1 to A-1
+                        f = float(data[1])
+                        if f <= 0.0:
+                            x.pop()
+                            continue
+                        elif len(vals) > 2:
+                            y.append(float(data[1]))
+                            w.append(1.0/float(data[2])**2)
+                        else:
+                            y.append(float(data[1]))
+                            w.append(1.0/float(data[1]))
+                    except ValueError:
+                        msg = 'Error in line '+str(i+1)
+                        print msg
+                        continue
+            N = len(x)
+            for S in self.comments:
+                if 'Temp' in S.split('=')[0]:
+                    try:
+                        Temperature = float(S.split('=')[1])
+                        wave = float(S.split('=')[1])
                     except:
                         pass
+            self.instdict['wave'] = wave
+            self.instdict['type'] = 'LXC'
+            x = np.array(x)
+            self.smallangledata = [
+                x, # x-axis values q
+                np.array(y), # small angle pattern intensities
+                np.array(w), # 1/sig(intensity)^2 values (weights)
+                np.zeros(N), # calc. intensities (zero)
+                np.zeros(N), # obs-calc profiles
+                np.zeros(N), # fix bkg
+                ]
+            self.smallangleentry[0] = filename
+            self.smallangleentry[2] = 1 # xye file only has one bank
+            self.idstring = ospath.basename(filename)
+            # scan comments for temperature
+            self.Sample['Temperature'] = Temperature
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print self.formatName+' read error:'+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+                continue
+            vals = S.split()
+            if len(vals) >= 2:
+                try:
+                    data = [float(val) for val in vals]
+                    x.append(float(data[0])/10.)        #convert nm-1 to A-1
+                    f = float(data[1])
+                    if f <= 0.0:
+                        x.pop()
+                        continue
+                    elif len(vals) > 2:
+                        y.append(float(data[1]))
+                        w.append(1.0/float(data[2])**2)
+                    else:
+                        y.append(float(data[1]))
+                        w.append(1.0/float(data[1]))
+                except ValueError:
+                    msg = 'Error in line '+str(i+1)
+                    print msg
+                    continue
+        N = len(x)
+        for S in self.comments:
+            if 'Temp' in S.split('=')[0]:
+                try:
+                    Temperature = float(S.split('=')[1])
+                except:
+                    pass
+        self.instdict['wave'] = wave
+        self.instdict['type'] = 'LXC'
+        x = np.array(x)
+        self.smallangledata = [
+            x, # x-axis values q
+            np.array(y), # small angle pattern intensities
+            np.array(w), # 1/sig(intensity)^2 values (weights)
+            np.zeros(N), # calc. intensities (zero)
+            np.zeros(N), # obs-calc profiles
+            np.zeros(N), # fix bkg
+            ]
+        self.smallangleentry[0] = filename
+        self.smallangleentry[2] = 1 # xye file only has one bank
+        self.idstring = ospath.basename(filename)
+        # scan comments for temperature
+        self.Sample['Temperature'] = Temperature
+        return True
 class txt_CWNeutronReaderClass(G2IO.ImportSmallAngleData):
 …
         y = []
         w = []
+        try:
+            wave = 1.5428   #Cuka default
+            Temperature = 300
+            Ndata = 0
+            for i,S in enumerate(filepointer):
+                if len(S) == 1:     #skip blank line
+                    continue
+                if '=' in S:
+                    self.comments.append(S[:-1])
+                    if 'wave' in S.split('=')[0].lower():
+                        try:
+                            wave = float(S.split('=')[1])
+                        except:
+                            pass
+                    continue
+                vals = S.split()
+                if len(vals) >= 2:
+        wave = 1.5428   #Cuka default
+        Temperature = 300
+        for i,S in enumerate(filepointer):
+            if len(S) == 1:     #skip blank line
+                continue
+            if '=' in S:
+                self.comments.append(S[:-1])
+                if 'wave' in S.split('=')[0].lower():
                     try:
+                        data = [float(val) for val in vals]
+                        x.append(float(data[0]))
+                        f = float(data[1])
+                        if f <= 0.0:
+                            y.append(0.0)
+                            w.append(1.0)
+                        elif len(vals) > 2:
+                            y.append(float(data[1]))
+                            w.append(1.0/float(data[2])**2)
+                        else:
+                            y.append(float(data[1]))
+                            w.append(1.0/float(data[1]))
+                    except ValueError:
+                        msg = 'Error in line '+str(i+1)
+                        print msg
+                        continue
+            N = len(x)
+            for S in self.comments:
+                if 'Temp' in S.split('=')[0]:
+                    try:
+                        Temperature = float(S.split('=')[1])
+                        wave = float(S.split('=')[1])
                     except:
                         pass
+            self.instdict['wave'] = wave
+            self.instdict['type'] = 'LNC'
+            x = np.array(x)
+            if np.any(x > 2.):         #q must be nm-1
+                x /= 10.
+            self.smallangledata = [
+                x, # x-axis values q
+                np.array(y), # small angle pattern intensities
+                np.array(w), # 1/sig(intensity)^2 values (weights)
+                np.zeros(N), # calc. intensities (zero)
+                np.zeros(N), # obs-calc profiles
+                np.zeros(N), # fix bkg
+                ]
+            self.smallangleentry[0] = filename
+            self.smallangleentry[2] = 1 # xye file only has one bank
+            self.idstring = ospath.basename(filename)
+            # scan comments for temperature
+            self.Sample['Temperature'] = Temperature
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print self.formatName+' read error:'+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+                continue
+            vals = S.split()
+            if len(vals) >= 2:
+                try:
+                    data = [float(val) for val in vals]
+                    x.append(float(data[0]))
+                    f = float(data[1])
+                    if f <= 0.0:
+                        y.append(0.0)
+                        w.append(1.0)
+                    elif len(vals) > 2:
+                        y.append(float(data[1]))
+                        w.append(1.0/float(data[2])**2)
+                    else:
+                        y.append(float(data[1]))
+                        w.append(1.0/float(data[1]))
+                except ValueError:
+                    msg = 'Error in line '+str(i+1)
+                    print msg
+                    continue
+        N = len(x)
+        for S in self.comments:
+            if 'Temp' in S.split('=')[0]:
+                try:
+                    Temperature = float(S.split('=')[1])
+                except:
+                    pass
+        self.instdict['wave'] = wave
+        self.instdict['type'] = 'LNC'
+        x = np.array(x)
+        if np.any(x > 2.):         #q must be nm-1
+            x /= 10.
+        self.smallangledata = [
+            x, # x-axis values q
+            np.array(y), # small angle pattern intensities
+            np.array(w), # 1/sig(intensity)^2 values (weights)
+            np.zeros(N), # calc. intensities (zero)
+            np.zeros(N), # obs-calc profiles
+            np.zeros(N), # fix bkg
+            ]
+        self.smallangleentry[0] = filename
+        self.smallangleentry[2] = 1 # xye file only has one bank
+        self.idstring = ospath.basename(filename)
+        # scan comments for temperature
+        self.Sample['Temperature'] = Temperature
+        return True
 class txt_nmCWNeutronReaderClass(G2IO.ImportSmallAngleData):
 …
         y = []
         w = []
+        try:
+            wave = 1.5428   #Cuka default
+            Temperature = 300
+            Ndata = 0
+            for i,S in enumerate(filepointer):
+                if len(S) == 1:     #skip blank line
+                    continue
+                if '=' in S:
+                    self.comments.append(S[:-1])
+                    if 'wave' in S.split('=')[0].lower():
+                        try:
+                            wave = float(S.split('=')[1])
+                        except:
+                            pass
+                    continue
+                vals = S.split()
+                if len(vals) >= 2:
+        wave = 1.5428   #Cuka default
+        Temperature = 300
+        for i,S in enumerate(filepointer):
+            if len(S) == 1:     #skip blank line
+                continue
+            if '=' in S:
+                self.comments.append(S[:-1])
+                if 'wave' in S.split('=')[0].lower():
                     try:
+                        data = [float(val) for val in vals]
+                        x.append(float(data[0])/10.)    #convert to A-1
+                        f = float(data[1])
+                        if f <= 0.0:
+                            y.append(0.0)
+                            w.append(1.0)
+                        elif len(vals) > 2:
+                            y.append(float(data[1]))
+                            w.append(1.0/float(data[2])**2)
+                        else:
+                            y.append(float(data[1]))
+                            w.append(1.0/float(data[1]))
+                    except ValueError:
+                        msg = 'Error in line '+str(i+1)
+                        print msg
+                        continue
+            N = len(x)
+            for S in self.comments:
+                if 'Temp' in S.split('=')[0]:
+                    try:
+                        Temperature = float(S.split('=')[1])
+                        wave = float(S.split('=')[1])
                     except:
                         pass
+            self.instdict['wave'] = wave
+            self.instdict['type'] = 'LNC'
+            x = np.array(x)
+            self.smallangledata = [
+                x, # x-axis values q
+                np.array(y), # small angle pattern intensities
+                np.array(w), # 1/sig(intensity)^2 values (weights)
+                np.zeros(N), # calc. intensities (zero)
+                np.zeros(N), # obs-calc profiles
+                np.zeros(N), # fix bkg
+                ]
+            self.smallangleentry[0] = filename
+            self.smallangleentry[2] = 1 # xye file only has one bank
+            self.idstring = ospath.basename(filename)
+            # scan comments for temperature
+            self.Sample['Temperature'] = Temperature
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print self.formatName+' read error:'+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+                continue
+            vals = S.split()
+            if len(vals) >= 2:
+                try:
+                    data = [float(val) for val in vals]
+                    x.append(float(data[0])/10.)    #convert to A-1
+                    f = float(data[1])
+                    if f <= 0.0:
+                        y.append(0.0)
+                        w.append(1.0)
+                    elif len(vals) > 2:
+                        y.append(float(data[1]))
+                        w.append(1.0/float(data[2])**2)
+                    else:
+                        y.append(float(data[1]))
+                        w.append(1.0/float(data[1]))
+                except ValueError:
+                    msg = 'Error in line '+str(i+1)
+                    print msg
+                    continue
+        N = len(x)
+        for S in self.comments:
+            if 'Temp' in S.split('=')[0]:
+                try:
+                    Temperature = float(S.split('=')[1])
+                except:
+                    pass
+        self.instdict['wave'] = wave
+        self.instdict['type'] = 'LNC'
+        x = np.array(x)
+        self.smallangledata = [
+            x, # x-axis values q
+            np.array(y), # small angle pattern intensities
+            np.array(w), # 1/sig(intensity)^2 values (weights)
+            np.zeros(N), # calc. intensities (zero)
+            np.zeros(N), # obs-calc profiles
+            np.zeros(N), # fix bkg
+            ]
+        self.smallangleentry[0] = filename
+        self.smallangleentry[2] = 1 # xye file only has one bank
+        self.idstring = ospath.basename(filename)
+        # scan comments for temperature
+        self.Sample['Temperature'] = Temperature
+        return True

trunk/imports/G2sfact.py

-                      r2138
+                      r2738
 import sys
 import numpy as np
-import copy
 import GSASIIIO as G2IO
 import GSASIIpath
 …
     def Reader(self,filename,filepointer, ParentFrame=None, **unused):
         'Read the file'
+        try:
+            for line,S in enumerate(filepointer):
+                self.errors = '  Error reading line '+str(line+1)
+                if S[0] == '#': continue       #ignore comments, if any
+                h,k,l,Fo,sigFo = S.split()
+                h,k,l = [int(h),int(k),int(l)]
+                if not any([h,k,l]):
+                    break
+                Fo = float(Fo)
+                sigFo = float(sigFo)
+                # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                self.RefDict['RefList'].append([h,k,l,1,0,Fo**2,2.*Fo*sigFo,0,Fo**2,0,0,0])
+            self.errors = 'Error after reading reflections (unexpected!)'
+            self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+            self.RefDict['Type'] = 'SXC'
+            self.RefDict['Super'] = 0
+            self.UpdateParameters(Type='SXC',Wave=None) # histogram type
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print '\n\n'+self.formatName+' read error: '+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+        for line,S in enumerate(filepointer):
+            self.errors = '  Error reading line '+str(line+1)
+            if S[0] == '#': continue       #ignore comments, if any
+            h,k,l,Fo,sigFo = S.split()
+            h,k,l = [int(h),int(k),int(l)]
+            if not any([h,k,l]):
+                break
+            Fo = float(Fo)
+            sigFo = float(sigFo)
+            # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+            self.RefDict['RefList'].append([h,k,l,1,0,Fo**2,2.*Fo*sigFo,0,Fo**2,0,0,0])
+        self.errors = 'Error after reading reflections (unexpected!)'
+        self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+        self.RefDict['Type'] = 'SXC'
+        self.RefDict['Super'] = 0
+        self.UpdateParameters(Type='SXC',Wave=None) # histogram type
+        return True
 class HKLMF_ReaderClass(G2IO.ImportStructFactor):
 …
     def Reader(self,filename,filepointer, ParentFrame=None, **unused):
         'Read the file'
+        try:
+            for line,S in enumerate(filepointer):
+                self.errors = '  Error reading line '+str(line+1)
+                if S[0] == '#': continue       #ignore comments, if any
+                h,k,l,m,Fo= S.split()
+                h,k,l,m = [int(h),int(k),int(l),int(m)]
+                if h == 999 or not any([h,k,l]):
+                    break
+                Fo = float(Fo)
+                sigFo2 = Fo
+                if Fo < 1.0:
+                    sigFo2 = 1.0
+               # h,k,l,m,tw,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                self.RefDict['RefList'].append([h,k,l,m,1,0,Fo**2,sigFo2,0,Fo**2,0,0,0])
+            self.errors = 'Error after reading reflections (unexpected!)'
+            self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+            self.RefDict['Type'] = 'SXC'
+            self.RefDict['Super'] = 1
+            self.UpdateParameters(Type='SXC',Wave=None) # histogram type
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print '\n\n'+self.formatName+' read error: '+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+        for line,S in enumerate(filepointer):
+            self.errors = '  Error reading line '+str(line+1)
+            if S[0] == '#': continue       #ignore comments, if any
+            h,k,l,m,Fo= S.split()
+            h,k,l,m = [int(h),int(k),int(l),int(m)]
+            if h == 999 or not any([h,k,l]):
+                break
+            Fo = float(Fo)
+            sigFo2 = Fo
+            if Fo < 1.0:
+                sigFo2 = 1.0
+           # h,k,l,m,tw,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+            self.RefDict['RefList'].append([h,k,l,m,1,0,Fo**2,sigFo2,0,Fo**2,0,0,0])
+        self.errors = 'Error after reading reflections (unexpected!)'
+        self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+        self.RefDict['Type'] = 'SXC'
+        self.RefDict['Super'] = 1
+        self.UpdateParameters(Type='SXC',Wave=None) # histogram type
+        return True
 class SHELX4_ReaderClass(G2IO.ImportStructFactor):
 …
     def Reader(self,filename,filepointer, ParentFrame=None, **unused):
         'Read the file'
+        try:
+            for line,S in enumerate(filepointer):
+                self.errors = '  Error reading line '+str(line+1)
+                if S[0] == '#': continue       #ignore comments, if any
+                h,k,l = S[:12].split()
+                Fo,sigFo = S[12:].split()[:2]
+        for line,S in enumerate(filepointer):
+            self.errors = '  Error reading line '+str(line+1)
+            if S[0] == '#': continue       #ignore comments, if any
+            h,k,l = S[:12].split()
+            Fo,sigFo = S[12:].split()[:2]
 #                h,k,l,Fo,sigFo = S[:4],S[4:8],S[8:12],S[12:20],S[20:28]
+                h,k,l = [int(h),int(k),int(l)]
+                if not any([h,k,l]):
+                    break
+                Fo = float(Fo)
+                sigFo = float(sigFo)
+                # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                self.RefDict['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0])
+                #self.RefDict['FF'].append({}) # now done in OnImportSfact
+            self.errors = 'Error after reading reflections (unexpected!)'
+            self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+            self.RefDict['Type'] = 'SXC'
+            self.RefDict['Super'] = 0
+            self.UpdateParameters(Type='SXC',Wave=None) # histogram type
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print '\n\n'+self.formatName+' read error: '+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+            h,k,l = [int(h),int(k),int(l)]
+            if not any([h,k,l]):
+                break
+            Fo = float(Fo)
+            sigFo = float(sigFo)
+            # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+            self.RefDict['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0])
+            #self.RefDict['FF'].append({}) # now done in OnImportSfact
+        self.errors = 'Error after reading reflections (unexpected!)'
+        self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+        self.RefDict['Type'] = 'SXC'
+        self.RefDict['Super'] = 0
+        self.UpdateParameters(Type='SXC',Wave=None) # histogram type
+        return True
 class SHELX5_ReaderClass(G2IO.ImportStructFactor):
 …
         TwMax = [-1,[]]
         first = True
+        try:
+            for line,S in enumerate(filepointer):
+                self.errors = '  Error reading line '+str(line+1)
+        for line,S in enumerate(filepointer):
+            self.errors = '  Error reading line '+str(line+1)
+            if self.Super == 0:
+                SH = S[:12]
+                SF = S[12:32]
+                h,k,l = SH.split()
+                Fo,sigFo,Tw = SF.split()
+#                    h,k,l,Fo,sigFo,Tw = S[:4],S[4:8],S[8:12],S[12:20],S[20:28],S[28:32]
+                h,k,l = [int(h),int(k),int(l)]
+            elif self.Super == 1:
+                SH = S[:16]
+                SF = S[16:36]
+                h,k,l,m1 = SH.split()
+                Fo,sigFo,Tw = SF.split()
+#                    h,k,l,m1,Fo,sigFo,Tw = S[:4],S[4:8],S[8:12],S[12:16],S[16:24],S[24:32],S[32:36]
+                h,k,l,m1 = [int(h),int(k),int(l),int(m1)]
+            Tw = Tw.strip()
+            if Tw in ['','0']:
+                Tw = '1'
+            if not any([h,k,l]):
+                break
+            if '-' in Tw:
+                if Tw == '-1':  #fix reversed twin ids
+                    Tw = '-2'
+                    if first:
+                        self.warnings += '\nPrimary twin id changed to 1'
+                        first = False
+                TwId = -int(Tw)-1
+                TwSet[TwId] = np.array([h,k,l])
+                if TwId not in TwMax[1]:
+                    TwMax[1].append(TwId)
+            else:
+                if Tw != '1':  #fix reversed twin ids
+                    if first:
+                        self.warnings += '\nPrimary twin id changed to 1\nNB: multiple primary twins not working'
+                        first = False
+                    Tw = '1'
+                TwId = int(Tw)-1
+                if TwSet:
+                    TwDict[len(self.RefDict['RefList'])] = TwSet
+                    TwSet = {}
+                Fo = float(Fo)
+                sigFo = float(sigFo)
+                # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
                 if self.Super == 0:
+                    SH = S[:12]
+                    SF = S[12:32]
+                    h,k,l = SH.split()
+                    Fo,sigFo,Tw = SF.split()
+#                    h,k,l,Fo,sigFo,Tw = S[:4],S[4:8],S[8:12],S[12:20],S[20:28],S[28:32]
+                    h,k,l = [int(h),int(k),int(l)]
+                    self.RefDict['RefList'].append([h,k,l,int(Tw),0,Fo,sigFo,0,Fo,0,0,0])
                 elif self.Super == 1:
+                    SH = S[:16]
+                    SF = S[16:36]
+                    h,k,l,m1 = SH.split()
+                    Fo,sigFo,Tw = SF.split()
+#                    h,k,l,m1,Fo,sigFo,Tw = S[:4],S[4:8],S[8:12],S[12:16],S[16:24],S[24:32],S[32:36]
+                    h,k,l,m1 = [int(h),int(k),int(l),int(m1)]
+                Tw = Tw.strip()
+                if Tw in ['','0']:
+                    Tw = '1'
+                if not any([h,k,l]):
+                    break
+                if '-' in Tw:
+                    if Tw == '-1':  #fix reversed twin ids
+                        Tw = '-2'
+                        if first:
+                            self.warnings += '\nPrimary twin id changed to 1'
+                            first = False
+                    TwId = -int(Tw)-1
+                    TwSet[TwId] = np.array([h,k,l])
+                    if TwId not in TwMax[1]:
+                        TwMax[1].append(TwId)
+                else:
+                    if Tw != '1':  #fix reversed twin ids
+                        if first:
+                            self.warnings += '\nPrimary twin id changed to 1\nNB: multiple primary twins not working'
+                            first = False
+                        Tw = '1'
+                    TwId = int(Tw)-1
+                    if TwSet:
+                        TwDict[len(self.RefDict['RefList'])] = TwSet
+                        TwSet = {}
+                    Fo = float(Fo)
+                    sigFo = float(sigFo)
+                    # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                    if self.Super == 0:
+                        self.RefDict['RefList'].append([h,k,l,int(Tw),0,Fo,sigFo,0,Fo,0,0,0])
+                    elif self.Super == 1:
+                        self.RefDict['RefList'].append([h,k,l,m1,int(Tw),0,Fo,sigFo,0,Fo,0,0,0])
+                TwMax[0] = max(TwMax[0],TwId)
+            self.errors = 'Error after reading reflections (unexpected!)'
+            self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+            self.RefDict['Type'] = 'SXC'
+            self.RefDict['Super'] = self.Super
+            self.RefDict['TwDict'] = TwDict
+            self.RefDict['TwMax'] = TwMax
+            self.UpdateParameters(Type='SXC',Wave=None) # histogram type
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print '\n\n'+self.formatName+' read error: '+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+                    self.RefDict['RefList'].append([h,k,l,m1,int(Tw),0,Fo,sigFo,0,Fo,0,0,0])
+            TwMax[0] = max(TwMax[0],TwId)
+        self.errors = 'Error after reading reflections (unexpected!)'
+        self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+        self.RefDict['Type'] = 'SXC'
+        self.RefDict['Super'] = self.Super
+        self.RefDict['TwDict'] = TwDict
+        self.RefDict['TwMax'] = TwMax
+        self.UpdateParameters(Type='SXC',Wave=None) # histogram type
+        return True
 class SHELX6_ReaderClass(G2IO.ImportStructFactor):
 …
         TwMax = [-1,[]]
         first = True
+        try:
+            for line,S in enumerate(filepointer):
+                self.errors = '  Error reading line '+str(line+1)
+                h,k,l,m1,m2,m3,Fo,sigFo,Tw = S[:4],S[4:8],S[8:12],S[12:16],S[16:20],S[20:24],S[24:32],S[32:40],S[40:44]
+                h,k,l,m1,m2,m3 = [int(h),int(k),int(l),int(m1),int(m2),int(m3)]
+                if m2 or m3:
+                    self.warnings += '\n(3+2) & (3+3) Supersymmetry not allowed in GSAS-II. Reformulate as twinned (3+1) supersymmetry'
+                    raise self.ImportException("Supersymmetry too high; GSAS-II limited to (3+1) supersymmetry")
+                Tw = Tw.strip()
+                if Tw in ['','0']:
+        for line,S in enumerate(filepointer):
+            self.errors = '  Error reading line '+str(line+1)
+            h,k,l,m1,m2,m3,Fo,sigFo,Tw = S[:4],S[4:8],S[8:12],S[12:16],S[16:20],S[20:24],S[24:32],S[32:40],S[40:44]
+            h,k,l,m1,m2,m3 = [int(h),int(k),int(l),int(m1),int(m2),int(m3)]
+            if m2 or m3:
+                self.warnings += '\n(3+2) & (3+3) Supersymmetry not allowed in GSAS-II. Reformulate as twinned (3+1) supersymmetry'
+                raise self.ImportException("Supersymmetry too high; GSAS-II limited to (3+1) supersymmetry")
+            Tw = Tw.strip()
+            if Tw in ['','0']:
+                Tw = '1'
+            if not any([h,k,l]):    #look for 0 0 0 or blank line
+                break
+            if '-' in Tw:
+                if Tw == '-1':  #fix reversed twin ids
+                    Tw = '-2'
+                    if first:
+                        self.warnings += '\nPrimary twin id changed to 1'
+                        first = False
+                TwId = -int(Tw)-1
+                TwSet[TwId] = np.array([h,k,l])
+                if TwId not in TwMax[1]:
+                    TwMax[1].append(TwId)
+            else:
+                if Tw != '1':  #fix reversed twin ids
+                    if first:
+                        self.warnings += '\nPrimary twin id changed to 1\nNB: multiple primary twins not working'
+                        first = False
                     Tw = '1'
+                if not any([h,k,l]):    #look for 0 0 0 or blank line
+                    break
+                if '-' in Tw:
+                    if Tw == '-1':  #fix reversed twin ids
+                        Tw = '-2'
+                        if first:
+                            self.warnings += '\nPrimary twin id changed to 1'
+                            first = False
+                    TwId = -int(Tw)-1
+                    TwSet[TwId] = np.array([h,k,l])
+                    if TwId not in TwMax[1]:
+                        TwMax[1].append(TwId)
+                else:
+                    if Tw != '1':  #fix reversed twin ids
+                        if first:
+                            self.warnings += '\nPrimary twin id changed to 1\nNB: multiple primary twins not working'
+                            first = False
+                        Tw = '1'
+                    TwId = int(Tw)-1
+                    if TwSet:
+                        TwDict[len(self.RefDict['RefList'])] = TwSet
+                        TwSet = {}
+                    Fo = float(Fo)
+                    sigFo = float(sigFo)
+                    # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                    self.RefDict['RefList'].append([h,k,l,m1,int(Tw),0,Fo,sigFo,0,Fo,0,0,0])
+                TwMax[0] = max(TwMax[0],TwId)
+            self.errors = 'Error after reading reflections (unexpected!)'
+            self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+            self.RefDict['Type'] = 'SXC'
+            self.RefDict['Super'] = self.Super
+            self.RefDict['TwDict'] = TwDict
+            self.RefDict['TwMax'] = TwMax
+            self.UpdateParameters(Type='SXC',Wave=None) # histogram type
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print '\n\n'+self.formatName+' read error: '+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+                TwId = int(Tw)-1
+                if TwSet:
+                    TwDict[len(self.RefDict['RefList'])] = TwSet
+                    TwSet = {}
+                Fo = float(Fo)
+                sigFo = float(sigFo)
+                # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                self.RefDict['RefList'].append([h,k,l,m1,int(Tw),0,Fo,sigFo,0,Fo,0,0,0])
+            TwMax[0] = max(TwMax[0],TwId)
+        self.errors = 'Error after reading reflections (unexpected!)'
+        self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+        self.RefDict['Type'] = 'SXC'
+        self.RefDict['Super'] = self.Super
+        self.RefDict['TwDict'] = TwDict
+        self.RefDict['TwMax'] = TwMax
+        self.UpdateParameters(Type='SXC',Wave=None) # histogram type
+        return True
 class M90_ReaderClass(G2IO.ImportStructFactor):
 …
     def Reader(self,filename,filepointer, ParentFrame=None, **unused):
         'Read the file'
+        try:
+            for line,S in enumerate(filepointer):
+                self.errors = '  Error reading line '+str(line+1)
+                if S[0] == '#': continue       #ignore comments, if any
+                try:
+                    if self.Super == 0:
+                        h,k,l,Fo,sigFo = S.split()[:5]
+                        h,k,l = [int(h),int(k),int(l)]
+                    elif self.Super == 1:
+                        h,k,l,m1,Fo,sigFo = S.split()[:6]
+                        h,k,l,m1 = [int(h),int(k),int(l),int(m1)]
+                except ValueError:  #skipping text at front
+                    if not S:
+                        break
+                    text = S.split()
+                    if text[0] == 'lambda':
+                        wave = float(text[1])
+                    continue
+                Fo = float(Fo)
+                sigFo = float(sigFo)
+                # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+        for line,S in enumerate(filepointer):
+            self.errors = '  Error reading line '+str(line+1)
+            if S[0] == '#': continue       #ignore comments, if any
+            try:
                 if self.Super == 0:
+                    self.RefDict['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0])
+                    h,k,l,Fo,sigFo = S.split()[:5]
+                    h,k,l = [int(h),int(k),int(l)]
                 elif self.Super == 1:
+                    self.RefDict['RefList'].append([h,k,l,m1,1,0,Fo,sigFo,0,Fo,0,0,0])
+            self.errors = 'Error after reading reflections (unexpected!)'
+            self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+            self.RefDict['Type'] = 'SXC'
+            self.RefDict['Super'] = self.Super
+            self.UpdateParameters(Type='SXC',Wave=wave) # histogram type
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print '\n\n'+self.formatName+' read error: '+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+                    h,k,l,m1,Fo,sigFo = S.split()[:6]
+                    h,k,l,m1 = [int(h),int(k),int(l),int(m1)]
+            except ValueError:  #skipping text at front
+                if not S:
+                    break
+                text = S.split()
+                if text[0] == 'lambda':
+                    wave = float(text[1])
+                continue
+            Fo = float(Fo)
+            sigFo = float(sigFo)
+            # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+            if self.Super == 0:
+                self.RefDict['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0])
+            elif self.Super == 1:
+                self.RefDict['RefList'].append([h,k,l,m1,1,0,Fo,sigFo,0,Fo,0,0,0])
+        self.errors = 'Error after reading reflections (unexpected!)'
+        self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+        self.RefDict['Type'] = 'SXC'
+        self.RefDict['Super'] = self.Super
+        self.UpdateParameters(Type='SXC',Wave=wave) # histogram type
+        return True
 class NT_HKLF2_ReaderClass(G2IO.ImportStructFactor):
 …
         'Read the file'
         filepointer.seek(0)
+        try:
+            for line,S in enumerate(filepointer):
+                self.errors = '  Error reading line '+str(line+1)
+                if S[0] == '#': continue       #ignore comments, if any
+                data = S.split()
+                h,k,l,Fo,sigFo,bN,wave,tbar = data[:8]  #bN = 1..., 6 dir cos next
+                h,k,l = [int(h),int(k),int(l)]
+                if not any([h,k,l]):
+                    break
+                Fo = float(Fo)
+                sigFo = float(sigFo)
+                wave = float(wave)
+                tbar = float(tbar)
+                if len(self.Banks):
+                    self.Banks[int(bN)-1]['RefDict']['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
+                else:
+                # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                    self.RefDict['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
+        for line,S in enumerate(filepointer):
+            self.errors = '  Error reading line '+str(line+1)
+            if S[0] == '#': continue       #ignore comments, if any
+            data = S.split()
+            h,k,l,Fo,sigFo,bN,wave,tbar = data[:8]  #bN = 1..., 6 dir cos next
+            h,k,l = [int(h),int(k),int(l)]
+            if not any([h,k,l]):
+                break
+            Fo = float(Fo)
+            sigFo = float(sigFo)
+            wave = float(wave)
+            tbar = float(tbar)
             if len(self.Banks):
+                self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+                for Bank in self.Banks:
+                    Bank['RefDict']['RefList'] = np.array(Bank['RefDict']['RefList'])
+                    Bank['RefDict']['Type'] = 'SNT'
+                    Bank['RefDict']['Super'] = 0
+                self.Banks[int(bN)-1]['RefDict']['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
             else:
+                self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+                self.RefDict['Type'] = 'SNT'
+                self.RefDict['Super'] = 0
+                self.errors = 'Error after reading reflections (unexpected!)'
+                self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print '\n\n'+self.formatName+' read error: '+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+            # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                self.RefDict['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
+        if len(self.Banks):
+            self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+            for Bank in self.Banks:
+                Bank['RefDict']['RefList'] = np.array(Bank['RefDict']['RefList'])
+                Bank['RefDict']['Type'] = 'SNT'
+                Bank['RefDict']['Super'] = 0
+        else:
+            self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+            self.RefDict['Type'] = 'SNT'
+            self.RefDict['Super'] = 0
+            self.errors = 'Error after reading reflections (unexpected!)'
+            self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+        return True
 class NT_JANA2K_ReaderClass(G2IO.ImportStructFactor):
 …
         'Read the file'
         filepointer.seek(0)
+        try:
+            for line,S in enumerate(filepointer):
+                self.errors = '  Error reading line '+str(line+1)
+                if S[0] in ['#','(']: continue       #ignore comments & fortran format line
+                data = S.split()
+                h,k,l,Fo,sigFo,bN,wave,x,x,tbar = data[:10]  #bN = 1..., 6 dir cos next
+                h,k,l = [int(h),int(k),int(l)]
+                if not any([h,k,l]):
+                    break
+                Fo = float(Fo)
+                sigFo = float(sigFo)
+                wave = float(wave)
+                tbar = float(tbar)
+                if len(self.Banks):
+                    self.Banks[int(bN)-1]['RefDict']['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
+                else:
+                # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                    self.RefDict['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
+        for line,S in enumerate(filepointer):
+            self.errors = '  Error reading line '+str(line+1)
+            if S[0] in ['#','(']: continue       #ignore comments & fortran format line
+            data = S.split()
+            h,k,l,Fo,sigFo,bN,wave,x,x,tbar = data[:10]  #bN = 1..., 6 dir cos next
+            h,k,l = [int(h),int(k),int(l)]
+            if not any([h,k,l]):
+                break
+            Fo = float(Fo)
+            sigFo = float(sigFo)
+            wave = float(wave)
+            tbar = float(tbar)
             if len(self.Banks):
+                self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+                for Bank in self.Banks:
+                    Bank['RefDict']['RefList'] = np.array(Bank['RefDict']['RefList'])
+                    Bank['RefDict']['Type'] = 'SNT'
+                    Bank['RefDict']['Super'] = 0        #for now
+                self.Banks[int(bN)-1]['RefDict']['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
             else:
+                self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+                self.RefDict['Type'] = 'SNT'
+                self.RefDict['Super'] = 0   #for now
+                self.errors = 'Error after reading reflections (unexpected!)'
+                self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print '\n\n'+self.formatName+' read error: '+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+            # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                self.RefDict['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
+        if len(self.Banks):
+            self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+            for Bank in self.Banks:
+                Bank['RefDict']['RefList'] = np.array(Bank['RefDict']['RefList'])
+                Bank['RefDict']['Type'] = 'SNT'
+                Bank['RefDict']['Super'] = 0        #for now
+        else:
+            self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+            self.RefDict['Type'] = 'SNT'
+            self.RefDict['Super'] = 0   #for now
+            self.errors = 'Error after reading reflections (unexpected!)'
+            self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+        return True
 class ISIS_SXD_INT_ReaderClass(G2IO.ImportStructFactor):
 …
         'Read the file'
         filepointer.seek(0)
+        try:
+            for line,S in enumerate(filepointer):
+                self.errors = '  Error reading line '+str(line+1)
+                if S[0] == '#': continue       #ignore comments, if any
+                if S[0] == '(': continue        #ignore the format line
+                data = S.split()
+                h,k,l,Fo,sigFo,bN,wave,x,x,tbar = data[:10]
+                h,k,l = [int(h),int(k),int(l)]
+                if not any([h,k,l]):
+                    break
+                Fo = float(Fo)
+                sigFo = float(sigFo)
+                wave = float(wave)
+                tbar = float(tbar)
+                if len(self.Banks):
+                    self.Banks[int(bN)-1]['RefDict']['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
+                else:
+                # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                    self.RefDict['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
+        for line,S in enumerate(filepointer):
+            self.errors = '  Error reading line '+str(line+1)
+            if S[0] == '#': continue       #ignore comments, if any
+            if S[0] == '(': continue        #ignore the format line
+            data = S.split()
+            h,k,l,Fo,sigFo,bN,wave,x,x,tbar = data[:10]
+            h,k,l = [int(h),int(k),int(l)]
+            if not any([h,k,l]):
+                break
+            Fo = float(Fo)
+            sigFo = float(sigFo)
+            wave = float(wave)
+            tbar = float(tbar)
             if len(self.Banks):
+                self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+                for Bank in self.Banks:
+                    Bank['RefDict']['RefList'] = np.array(Bank['RefDict']['RefList'])
+                    Bank['RefDict']['Type'] = 'SNT'
+                    Bank['RefDict']['Super'] = 0
+                self.Banks[int(bN)-1]['RefDict']['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
             else:
+                self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+                self.RefDict['Type'] = 'SNT'
+                self.RefDict['Super'] = 0
+                self.errors = 'Error after reading reflections (unexpected!)'
+                self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print '\n\n'+self.formatName+' read error: '+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+            return False
+            # h,k,l,m,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,...
+                self.RefDict['RefList'].append([h,k,l,1,0,Fo,sigFo,0,Fo,0,0,0,wave,tbar])
+        if len(self.Banks):
+            self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+            for Bank in self.Banks:
+                Bank['RefDict']['RefList'] = np.array(Bank['RefDict']['RefList'])
+                Bank['RefDict']['Type'] = 'SNT'
+                Bank['RefDict']['Super'] = 0
+        else:
+            self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+            self.RefDict['Type'] = 'SNT'
+            self.RefDict['Super'] = 0
+            self.errors = 'Error after reading reflections (unexpected!)'
+            self.UpdateParameters(Type='SNT',Wave=None) # histogram type
+        return True

trunk/imports/G2sfact_CIF.py

-                      r2136
+                      r2738
+                      )
         Idatanames = ('_refln_intensity_meas','_refln.intensity_meas',
                       ) # not used yet
         Isignames = ('_refln_intensity_meas_sigma','_refln.intensity_meas_sigma',
                       ) # not used yet
+#        Idatanames = ('_refln_intensity_meas','_refln.intensity_meas',
+#                      ) # not used yet
+#
+#        Isignames = ('_refln_intensity_meas_sigma','_refln.intensity_meas_sigma',
+#                      ) # not used yet
         Fcalcnames = ('_refln_f_calc','_refln.f_calc','_refln.f_calc_au',
 …
         rdbuffer = kwarg.get('buffer')
         cf = None
+        if self.repeat and rdbuffer is not None:
+            cf = rdbuffer.get('lastcif')
+            print 'Reusing previously parsed CIF'
+        if cf is None:
+            self.ShowBusy() # this can take a while
+            cf = G2IO.ReadCIF(filename)
+            self.DoneBusy()
+        # scan blocks for reflections
+        self.errors = 'Error during scan of blocks for datasets'
+        blklist = []
+        for blk in cf.keys(): # scan for reflections, F or F2 values and cell lengths.
+            # Ignore blocks that do not have structure factors and a cell
+            blkkeys = [k.lower() for k in cf[blk].keys()]
+            gotFo = False
+            im = 0
+            for i in range(2):
+                if hklitems[i][3] in blkkeys:   #Super lattice reflections h,k,l,m
+                    im = 1
+                if hklitems[i][0] in blkkeys and hklitems[i][1] in blkkeys and hklitems[i][2] in blkkeys:
+                    dnIndex = i
+                    break
+            else:
+                break # no reflections
+            for dn in Fdatanames:
+                if dn in blkkeys:
+                    blklist.append(blk)
+                    gotFo = True
+                    break
+            if gotFo: break
+            for dn in F2datanames:
+                if dn in blkkeys:
+                    blklist.append(blk)
+                    break
+            else:
+                break
+        if not blklist:
+            selblk = None # no block to choose
+        elif len(blklist) == 1: # only one choice
+            selblk = 0
+        else:                       # choose from options
+            choice = []
+            for blknm in blklist:
+                choice.append('')
+                # accumulate some info about this phase
+                choice[-1] += blknm + ': '
+                for i in phasenamefields: # get a name for the phase
+                    name = cf[blknm].get(i)
+                    if name is None or name == '?' or name == '.':
+                        continue
+                    else:
+                        choice[-1] += name.strip()[:20] + ', '
+                        break
+                s = ''
+                fmt = "%.2f,"
+                for i,key in enumerate(cellitems[dnIndex]):
+                    if i == 3: fmt = "%.f,"
+                    if i == 5: fmt = "%.f"
+                    val = cf[blknm].get(key)
+                    if val is None: break
+                    s += fmt % cif.get_number_with_esd(val)[0]
+                if s: choice[-1] += ', cell: ' + s
+                for dn in SGdataname:
+                    sg = cf[blknm].get(dn)
+                    if sg:
+                        choice[-1] += ', (' + sg.strip() + ')'
+                        break
+            choice.append('Import all of the above')
+            if self.repeat: # we were called to repeat the read
+                selblk = self.repeatcount
+                self.repeatcount += 1
+                if self.repeatcount >= len(blklist): self.repeat = False
+            else:
+                selblk = self.BlockSelector(
+                    choice,
+                    ParentFrame=ParentFrame,
+                    title='Select a dataset from one the CIF data_ blocks below',
+                    size=(600,100),
+                    header='Dataset Selector')
+        self.errors = 'Error during reading of selected block'
+        if selblk is None:
+            return False # no block selected or available
+        if selblk >= len(blklist): # all blocks selected
+            selblk = 0
+            self.repeat = True
+            if rdbuffer is not None:
+                rdbuffer['lastcif'] = cf # save the parsed cif for the next loop
+            self.repeatcount = 1
+        blknm = blklist[selblk]
+        blk = cf[blklist[selblk]]
+        self.objname = os.path.basename(filename)+':'+str(blknm)
+        self.errors = 'Error during reading of reflections'
+        # read in reflections
         try:
+            if self.repeat and rdbuffer is not None:
+                cf = rdbuffer.get('lastcif')
+                print 'Reusing previously parsed CIF'
+            if cf is None:
+                self.ShowBusy() # this can take a while
+                try:
+                    cf = G2IO.ReadCIF(filename)
+                except Exception as detail:
+                    self.errors = "Parse or reading of file failed in pyCifRW; check syntax of file in enCIFer or CheckCIF"
+                    return False
+                finally:
+                    self.DoneBusy()
+            # scan blocks for reflections
+            self.errors = 'Error during scan of blocks for datasets'
+            blklist = []
+            for blk in cf.keys(): # scan for reflections, F or F2 values and cell lengths.
+                # Ignore blocks that do not have structure factors and a cell
+                blkkeys = [k.lower() for k in cf[blk].keys()]
+                gotFo = False
+                gotFo2 = False
+                im = 0
+                for i in range(2):
+                    if hklitems[i][3] in blkkeys:   #Super lattice reflections h,k,l,m
+                        im = 1
+                    if hklitems[i][0] in blkkeys and hklitems[i][1] in blkkeys and hklitems[i][2] in blkkeys:
+                        dnIndex = i
+            refloop = blk.GetLoop(hklitems[0][0])
+            dnIndex = 0
+        except KeyError:
+            try:
+                refloop = blk.GetLoop(hklitems[1][0])
+                dnIndex = 1
+            except KeyError:
+                self.errors += "\nUnexpected: '_refln[-.]index_h not found!"
+                return False
+        itemkeys = {}
+        # prepare an index to the CIF reflection loop
+        for i,key in enumerate(refloop.keys()):
+            itemkeys[key.lower()] = i
+        # scan for data names:
+        F2dn = None
+        Fdn = None
+        F2cdn = None
+        Fcdn = None
+        F2sdn = None
+        Fsdn = None
+        Phdn = None
+        FcalcPresent = False
+        for dn in F2datanames:
+            if dn in itemkeys:
+                F2dn = dn
+                for dm in F2calcnames:
+                    if dm in itemkeys:
+                        F2cdn = dm
+                        FcalcPresent = True
                         break
+                else:
+                    break # no reflections
+                for dn in Fdatanames:
+                    if dn in blkkeys:
+                        blklist.append(blk)
+                        gotFo = True
+                for dm in F2signames:
+                    if dm in itemkeys:
+                        F2sdn = dm
                         break
+                if gotFo: break
+                for dn in F2datanames:
+                    if dn in blkkeys:
+                        blklist.append(blk)
+                        break
+                else:
+                    break
+            if not blklist:
+                selblk = None # no block to choose
+            elif len(blklist) == 1: # only one choice
+                selblk = 0
+            else:                       # choose from options
+                choice = []
+                for blknm in blklist:
+                    choice.append('')
+                    # accumulate some info about this phase
+                    choice[-1] += blknm + ': '
+                    for i in phasenamefields: # get a name for the phase
+                        name = cf[blknm].get(i)
+                        if name is None or name == '?' or name == '.':
+                            continue
+                        else:
+                            choice[-1] += name.strip()[:20] + ', '
+                break
+        else:
+            for dn in Fdatanames:
+                if dn in itemkeys:
+                    Fdn = dn
+                    for dm in Fcalcnames:
+                        if dm in itemkeys:
+                            Fcdn = dm
                             break
+                    s = ''
+                    fmt = "%.2f,"
+                    for i,key in enumerate(cellitems[dnIndex]):
+                        if i == 3: fmt = "%.f,"
+                        if i == 5: fmt = "%.f"
+                        val = cf[blknm].get(key)
+                        if val is None: break
+                        s += fmt % cif.get_number_with_esd(val)[0]
+                    if s: choice[-1] += ', cell: ' + s
+                    for dn in SGdataname:
+                        sg = cf[blknm].get(dn)
+                        if sg:
+                            choice[-1] += ', (' + sg.strip() + ')'
+                            break
+                choice.append('Import all of the above')
+                if self.repeat: # we were called to repeat the read
+                    selblk = self.repeatcount
+                    self.repeatcount += 1
+                    if self.repeatcount >= len(blklist): self.repeat = False
+                else:
+                    selblk = self.BlockSelector(
+                        choice,
+                        ParentFrame=ParentFrame,
+                        title='Select a dataset from one the CIF data_ blocks below',
+                        size=(600,100),
+                        header='Dataset Selector')
+            self.errors = 'Error during reading of selected block'
+            if selblk is None:
+                return False # no block selected or available
+            if selblk >= len(blklist): # all blocks selected
+                selblk = 0
+                self.repeat = True
+                if rdbuffer is not None:
+                    rdbuffer['lastcif'] = cf # save the parsed cif for the next loop
+                self.repeatcount = 1
+            blknm = blklist[selblk]
+            blk = cf[blklist[selblk]]
+            self.objname = os.path.basename(filename)+':'+str(blknm)
+            self.errors = 'Error during reading of reflections'
+            # read in reflections
+            try:
+                refloop = blk.GetLoop(hklitems[0][0])
+                dnIndex = 0
+            except KeyError:
+                try:
+                    refloop = blk.GetLoop(hklitems[1][0])
+                    dnIndex = 1
+                except KeyError:
+                    self.errors += "\nUnexpected: '_refln[-.]index_h not found!"
+                    return False
+            itemkeys = {}
+            # prepare an index to the CIF reflection loop
+            for i,key in enumerate(refloop.keys()):
+                itemkeys[key.lower()] = i
+            # scan for data names:
+            F2dn = None
+            Fdn = None
+            F2cdn = None
+            Fcdn = None
+            F2sdn = None
+            Fsdn = None
+            Phdn = None
+            FcalcPresent = False
+            for dn in F2datanames:
+                if dn in itemkeys:
+                    F2dn = dn
+                    for dm in F2calcnames:
+                    for dm in Fsignames:
                         if dm in itemkeys:
+                            F2cdn = dm
+                            FcalcPresent = True
+                            break
+                    for dm in F2signames:
+                        if dm in itemkeys:
+                            F2sdn = dm
+                            Fsdn = dm
                             break
                     break
             else:
+                for dn in Fdatanames:
+                    if dn in itemkeys:
+                        Fdn = dn
+                        for dm in Fcalcnames:
+                            if dm in itemkeys:
+                                Fcdn = dm
+                                FcalcPresent = True
+                                break
+                        for dm in Fsignames:
+                            if dm in itemkeys:
+                                Fsdn = dm
+                                break
+                        break
+                msg = "\nno F or F2 loop value found in file\n"
+                msg += "A CIF reflection file needs to have at least one of\n"
+                for dn in F2datanames+Fdatanames:
+                    msg += dn + ', '
+                self.errors += msg
+                return False
+        for dn in phasenames:
+            if dn in itemkeys:
+                Phdn = dn
+                break
+        # loop over all reflections
+        for item in refloop:
+            F2c = 0.0
+            sigF2 = 0.0
+            HKL = []
+            try:
+                for i in hklitems[dnIndex][:3+im]: # '_refln[._]index_[hkl]'
+                    num = itemkeys.get(i)
+                    try:
+                        HKL.append(int(item[num]))
+                    except:
+                        HKL.append('.')
+                #h,k,l,tw,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,Ext
+                if im:
+                    ref = HKL+[1,0,0,0,1, 0,0,0,0,0, 0,0]
                 else:
+                    msg = "\nno F or F2 loop value found in file\n"
+                    msg += "A CIF reflection file needs to have at least one of\n"
+                    for dn in F2datanames+Fdatanames:
+                        msg += dn + ', '
+                    self.errors += msg
+                    return False
+            for dn in phasenames:
+                if dn in itemkeys:
+                    Phdn = dn
+                    break
+            # loop over all reflections
+            for item in refloop:
+                F2c = 0.0
+                sigF2 = 0.0
+                HKL = []
+                try:
+                    for i in hklitems[dnIndex][:3+im]: # '_refln[._]index_[hkl]'
+                        num = itemkeys.get(i)
+                        try:
+                            HKL.append(int(item[num]))
+                        except:
+                            HKL.append('.')
+                    #h,k,l,tw,dsp,Fo2,sig,Fc2,Fot2,Fct2,phase,Ext
+                    if im:
+                        ref = HKL+[1,0,0,0,1, 0,0,0,0,0, 0,0]
+                    ref = HKL+[1,0,0,1,0, 0,0,0,0,0, 0]
+                if F2dn:
+                    F2 = item[itemkeys[F2dn]]
+                    if '(' in F2:
+                        F2, sigF2 = cif.get_number_with_esd(F2)
+                        F2 = float(F2)
+                        sigF2 = float(sigF2)
+                    elif F2sdn:
+                        F2 = float(F2)
+                        sigF2 = float(item[itemkeys[F2sdn]])
                     else:
+                        ref = HKL+[1,0,0,1,0, 0,0,0,0,0, 0]
+                    if F2dn:
+                        F2 = item[itemkeys[F2dn]]
+                        if '(' in F2:
+                            F2, sigF2 = cif.get_number_with_esd(F2)
+                            F2 = float(F2)
+                            sigF2 = float(sigF2)
+                        elif F2sdn:
+                            F2 = float(F2)
+                            sigF2 = float(item[itemkeys[F2sdn]])
+                        else:
+                            F2 = float(F2)
+                        try:
+                            if F2cdn:
+                                F2c = float(item[itemkeys[F2cdn]])
+                        except:
+                            pass
+                    else:
+                        F = item[itemkeys[Fdn]]
+                        if '(' in F:
+                            F, sig = cif.get_number_with_esd(F)
+                        elif Fsdn:
+                            F = float(F)
+                            sig = float(item[itemkeys[Fsdn]])
+                        else:
+                            F = float(F)
+                            sig = 0.0
+                        F2 = F**2
+                        sigF2 = 2.0*F*sig
+                        try:
+                            if Fcdn:
+                                Fc = float(item[itemkeys[Fcdn]])
+                                F2c = Fc*Fc
+                        except:
+                            pass
+                    ref[8+im] = F2
+                    ref[5+im] = F2
+                    ref[6+im] = sigF2
+                    ref[9+im] = F2c
+                    ref[7+im] = F2c
+                        F2 = float(F2)
                     try:
                         if Phdn:
                             ref[10+im] = float(item[itemkeys[Phdn]])
+                        if F2cdn:
+                            F2c = float(item[itemkeys[F2cdn]])
                     except:
                         pass
+                else:
+                    F = item[itemkeys[Fdn]]
+                    if '(' in F:
+                        F, sig = cif.get_number_with_esd(F)
+                    elif Fsdn:
+                        F = float(F)
+                        sig = float(item[itemkeys[Fsdn]])
+                    else:
+                        F = float(F)
+                        sig = 0.0
+                    F2 = F**2
+                    sigF2 = 2.0*F*sig
+                    try:
+                        if Fcdn:
+                            Fc = float(item[itemkeys[Fcdn]])
+                            F2c = Fc*Fc
+                    except:
+                        pass
+                ref[8+im] = F2
+                ref[5+im] = F2
+                ref[6+im] = sigF2
+                ref[9+im] = F2c
+                ref[7+im] = F2c
+                try:
+                    if Phdn:
+                        ref[10+im] = float(item[itemkeys[Phdn]])
                 except:
+                    continue # skip over incompletely parsed reflections
+                self.RefDict['RefList'].append(ref)
+                    pass
+            except:
+                continue # skip over incompletely parsed reflections
+            self.RefDict['RefList'].append(ref)
 #                self.RefDict['FF'].append({})
+            self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+            self.errors = 'Error during reading of dataset parameters'
+            Type = 'SXC'
+            if blk.get('_diffrn_radiation_probe'):
+                if blk['_diffrn_radiation_probe'] == 'neutron':
+                    Type = 'SNC'
+            elif blk.get('_diffrn_radiation.probe'):
+                if blk['_diffrn_radiation.probe'] == 'neutron':
+                    Type = 'SNC'
+            self.RefDict['Type'] = Type
+            self.RefDict['Super'] = im
+            if blk.get('_diffrn_radiation_wavelength'):
+                wave = float(blk['_diffrn_radiation_wavelength'])
+            elif blk.get('_diffrn_radiation.wavelength'):
+                wave = float(blk['_diffrn_radiation.wavelength'])
+            else:
+                wave = 0.70926
+            self.UpdateParameters(Type=Type,Wave=wave) # histogram type
+            return True
+        except Exception as detail:
+            self.errors += '\n  '+str(detail)
+            print self.formatName+' read error:'+str(detail) # for testing
+            import traceback
+            traceback.print_exc(file=sys.stdout)
+        return False
+        self.RefDict['RefList'] = np.array(self.RefDict['RefList'])
+        self.errors = 'Error during reading of dataset parameters'
+        Type = 'SXC'
+        if blk.get('_diffrn_radiation_probe'):
+            if blk['_diffrn_radiation_probe'] == 'neutron':
+                Type = 'SNC'
+        elif blk.get('_diffrn_radiation.probe'):
+            if blk['_diffrn_radiation.probe'] == 'neutron':
+                Type = 'SNC'
+        self.RefDict['Type'] = Type
+        self.RefDict['Super'] = im
+        if blk.get('_diffrn_radiation_wavelength'):
+            wave = float(blk['_diffrn_radiation_wavelength'])
+        elif blk.get('_diffrn_radiation.wavelength'):
+            wave = float(blk['_diffrn_radiation.wavelength'])
+        else:
+            wave = 0.70926
+        self.UpdateParameters(Type=Type,Wave=wave) # histogram type
+        return True

Context Navigation

Legend:

trunk/exports/G2export_CIF.py

trunk/imports/G2phase.py

trunk/imports/G2phase_CIF.py

trunk/imports/G2phase_GPX.py

trunk/imports/G2phase_INS.py

trunk/imports/G2pwd_BrukerRAW.py

trunk/imports/G2pwd_CIF.py

trunk/imports/G2pwd_FP.py

trunk/imports/G2pwd_GPX.py

trunk/imports/G2pwd_csv.py

trunk/imports/G2pwd_fxye.py

trunk/imports/G2pwd_xye.py

trunk/imports/G2sad_xye.py

trunk/imports/G2sfact.py

trunk/imports/G2sfact_CIF.py

Download in other formats: